Luận văn Thạc sĩ Khoa học dữ liệu: Xây dựng mô hình trí tuệ nhân tạo hỗ trợ Dji Tello drone nhận diện các vật thể có dạng hình học cơ bản

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:112

Thêm vào BST

Báo xấu

27
lượt xem 8
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu chính của nghiên cứu là xây dựng một mô hình trí tuệ nhân tạo dựa trên mạng thần kinh tích chập (CNN) để hỗ trợ DJI Tello drone trong việc nhận diện và phân loại các vật thể hình học cơ bản, bao gồm hình tròn, tam giác, hình chữ nhật và ngũ giác đều.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Khoa học dữ liệu: Xây dựng mô hình trí tuệ nhân tạo hỗ trợ Dji Tello drone nhận diện các vật thể có dạng hình học cơ bản

ĐẠI HỌC HUẾ KHOA KỸ THUẬT VÀ CÔNG NGHỆ NGUYỄN QUANG PHÚ XÂY DỰNG MÔ HÌNH TRÍ TUỆ NHÂN TẠO HỖ TRỢ DJI TELLO DRONE NHẬN DIỆN CÁC VẬT THỂ CÓ DẠNG HÌNH HỌC CƠ BẢN LUẬN VĂN THẠC SĨ ỨNG DỤNG KHOA HỌC DỮ LIỆU Huế, 2023
ĐẠI HỌC HUẾ KHOA KỸ THUẬT VÀ CÔNG NGHỆ NGUYỄN QUANG PHÚ XÂY DỰNG MÔ HÌNH TRÍ TUỆ NHÂN TẠO HỖ TRỢ DJI TELLO DRONE NHẬN DIỆN CÁC VẬT THỂ CÓ DẠNG HÌNH HỌC CƠ BẢN LUẬN VĂN THẠC SĨ ỨNG DỤNG KHOA HỌC DỮ LIỆU NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. HỒ QUỐC DŨNG Huế, 2023
LỜI CAM ĐOAN Tôi xin cam đoan kết quả đạt được trong luận văn là sản phẩm nghiên cứu, tìm hiểu của riêng cá nhân tôi và được sự hướng dẫn khoa học của TS. Hồ Quốc Dũng. Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây. Trong toàn bộ nội dung của luận văn, những điều được trình bày hoặc là của cá nhân tôi hoặc là được tổng hợp từ nhiều nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp. Tôi xin hoàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình. Người hướng dẫn Học viên Cao học TS. Hồ Quốc Dũng Nguyễn Quang Phú i
LỜI CÁM ƠN Trước hết, tác giả xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất tới giảng viên hướng dẫn TS. Hồ Quốc Dũng về những ý kiến đóng góp về chuyên môn và sự động viên khích lệ của thầy trong suốt quá trình làm nghiên cứu của tôi. Tôi xin gửi lời cảm ơn chân thành tới giảng viên của Khoa Kĩ thuật và Công nghệ - Đại học Huế đã tận tình dạy dỗ và hướng dẫn cho tôi trong suốt quá trình học tập thạc sĩ tại khoa. Và tôi cũng xin gửi lời cảm ơn tới gia đình tôi về sự hỗ trợ không thể thiếu của họ. Sự khích lệ, động viên, sự quan tâm, chăm sóc của họ đã giúp tôi vượt qua tất cả khó khăn để theo học chương trình và hoàn thiện bản luận văn cuối khoá này. Mặc dù đã hết sức cố gắng hoàn thành luận văn nhưng chắc chắn sẽ không tránh khỏi những sai sót. Kính mong nhận được sự cảm thông, chỉ bảo tận tình của các quý thầy cô và các bạn. Tôi xin chân thành cảm ơn! ii
TÓM LƯỢC LUẬN VĂN Nghiên cứu tập trung vào việc phát triển mô hình trí tuệ nhân tạo nhằm tăng cường khả năng nhận diện vật thể có hình học cơ bản cho máy bay không người lái DJI Tello. Trong bối cảnh của cuộc cách mạng công nghệ, cả trí tuệ nhân tạo và máy bay không người lái đã phát triển mạnh mẽ, việc kết hợp chúng mang lại triển vọng lớn cho việc nâng cao hiệu suất và tích hợp của máy bay không người lái trong các ứng dụng thực tế. Mục tiêu chính của nghiên cứu là xây dựng một mô hình trí tuệ nhân tạo dựa trên mạng thần kinh tích chập (CNN) để hỗ trợ DJI Tello drone trong việc nhận diện và phân loại các vật thể hình học cơ bản, bao gồm hình tròn, tam giác, hình chữ nhật và ngũ giác đều. Lựa chọn của CNN dựa trên khả năng của nó trong việc trích xuất đặc trưng từ dữ liệu hình ảnh và khả năng xử lý ảnh, đặc biệt trong các tác vụ như phân loại và nhận diện. Quá trình nghiên cứu đề ra mục tiêu đạt được sẽ tập trung vào xây dựng một bộ dữ liệu ảnh đa dạng để huấn luyện mô hình. Bộ dữ liệu này sẽ bao gồm các hình ảnh về các vật thể hình học cơ bản với đa dạng màu sắc cơ bản của không gian màu RGB. Sử dụng kiến thức về học máy và cấu trúc của mạng thần kinh tích chập, nghiên cứu sẽ xây dựng một mô hình có khả năng nhận diện và phân loại các vật thể một cách chính xác. Nghiên cứu tập trung vào phát triển mô hình trí tuệ nhân tạo hỗ trợ máy bay không người lái DJI Tello nhận diện các hình dạng cơ bản như hình tròn, tam giác, chữ nhật và ngũ giác. Kết quả cho thấy mô hình đạt hiệu suất tốt với độ chính xác trên 99 % trên cả tập huấn luyện và tập kiểm tra. Các chỉ số precision, recall và F1- score cũng đều đạt giá trị tối đa 1,00 cho mỗi loại hình dạng, chứng tỏ khả năng phân loại chính xác và nhận diện hiệu quả của mô hình. iii
DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU STT Tên viết tắt Ý nghĩa 1 AI Artificial Intelligence - Trí tuệ nhân tạo Bidirectional Recurrent Neural Network – Mạng nơ ron hai 2 BRNN chiều hồi quy Convolutional Neural Network - Mạng thần kinh tích chập 3 CNN (Mạng nơ ron tích chập) 4 Drone Máy bay không người lái 5 GPU Graphic Processing Unit – Bộ xử lý đồ họa 6 RGB Red, Green, Blue - Đỏ, Lục, Lam 7 RNN Recurrent Neural Network - Mạng nơ ron hồi quy 8 UAV Unmanned Aerial Vehicle - Thiết bị bay không người lái iv
MỤC LỤC LỜI CAM ĐOAN ........................................................................................................i LỜI CÁM ƠN ............................................................................................................ ii TÓM LƯỢC LUẬN VĂN ........................................................................................ iii DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU ................................................iv MỤC LỤC ...................................................................................................................v DANH MỤC BẢNG BIỂU .................................................................................... viii DANH MỤC HÌNH VẼ, SƠ ĐỒ, ĐỒ THỊ ...............................................................ix DANH MỤC THUẬT TOÁN ...................................................................................xi PHẦN I MỞ ĐẦU ......................................................................................................1 1. Lý do chọn đề tài ................................................................................................ 1 2. Mục tiêu nghiên cứu ........................................................................................... 2 2.1. Mục tiêu tổng quát ......................................................................................... 2 2.2. Mục tiêu cụ thể .............................................................................................. 2 3. Đối tượng và phạm vi nghiên cứu ...................................................................... 3 3.1. Đối tượng nghiên cứu .................................................................................... 3 3.2. Phạm vi nghiên cứu ....................................................................................... 4 4. Phương pháp nghiên cứu .................................................................................... 5 5. Cấu trúc của luận văn.......................................................................................... 6 PHẦN II NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU ..............................................7 CHƯƠNG I: CƠ SỞ LÝ THUYẾT ............................................................................7 1.1 Tổng quan về drone ....................................................................................... 7 v
1.1.1 Giới thiệu về drone ..................................................................................... 7 1.1.2 Ứng dụng của drone ................................................................................... 9 1.1.3 Giới thiệu về DJI Tello Drone.................................................................... 9 1.2 Tổng quan về học máy................................................................................. 10 1.2.1 Giới thiệu về học máy ............................................................................... 10 1.2.2 Phân loại các phương pháp học máy ....................................................... 10 1.2.3 Ứng dụng của học máy ............................................................................. 14 1.2.4 Một số phương pháp đánh giá hệ thống phân loại .................................. 15 1.2.4.1 Ma trận nhầm lẫn (Confusion Matrix) ................................................. 15 1.2.4.2 True/False Positive/Negative ................................................................ 17 1.2.4.3 Độ chính xác (Precision) và Độ nhạy (Recall) ..................................... 19 1.3 Tổng quan về học sâu .................................................................................. 21 1.3.1 Giới thiệu về học sâu ................................................................................ 21 1.3.2 Cách thức hoạt động của học sâu ............................................................ 23 1.3.3 Ứng dụng của học sâu .............................................................................. 24 1.4 Tổng quan mạng thần kinh tích chập .......................................................... 27 1.4.1 Giới thiệu về mạng thần kinh tích chập ................................................... 27 1.4.2 Kiến trúc mạng thần kinh tích chập ......................................................... 29 1.4.3 Ứng dụng của mạng thần kinh tích chập trong nhận diện vật thể ........... 35 1.5 Ngôn ngữ lập trình Python cho học máy ..................................................... 38 1.5.1 Giới thiệu chung ....................................................................................... 38 1.5.2 Các thư viện Python phổ biến hỗ trợ học máy ......................................... 39 1.5.3 DjiTelloPy – Bộ thư viện hỗ trợ điều khiển DJI Tello Drone .................. 40 1.5.4 Nền tảng trực tuyến Google Colab .......................................................... 41 vi
1.6 Các công trình nghiên cứu liên quan ........................................................... 45 CHƯƠNG II: HUẤN LUYỆN THIẾT BỊ BAY KHÔNG NGƯỜI LÁI NHẬN DẠNG VẬT THỂ CÓ DẠNG HÌNH HỌC CƠ BẢN..............................................49 2.1. Tổng quan phương pháp .............................................................................. 49 2.1.1. Sơ đồ tổng thể phương pháp .................................................................... 49 2.1.2. Giải thích các bước trong sơ đồ tổng thể phương pháp .......................... 49 2.2. Mô tả và xây dựng bộ dữ liệu hình ảnh vật thể ........................................... 52 2.2.1. Giới thiệu tổng quan về bộ dữ liệu hình ảnh vật thể ................................ 52 2.2.2. Xây dựng thuật toán hỗ trợ việc xây dựng bộ dữ liệu hình ảnh ............... 54 2.3. Ứng dụng thuật toán mạng thần kinh tích chập trong việc giải quyết bài toán nhận diện vật thể có dạng hình học cơ bản.................................................... 59 2.4. Nhận diện vật thể có dạng hình học cơ bản thông qua camera ................... 61 CHƯƠNG III: KẾT QUẢ THỰC NGHIỆM VÀ BÀN LUẬN ...............................63 3.1. Kết quả thực nghiệm.................................................................................... 63 3.1.1. Kết quả nhận diện vật thể hình chữ nhật ................................................. 68 3.1.2. Kết quả nhận diện vật thể hình tam giác.................................................. 69 3.1.3. Kết quả nhận diện vật thể hình tròn ......................................................... 70 3.1.4. Kết quả nhận diện vật thể hình ngũ giác đều ........................................... 71 PHẦN III KẾT LUẬN ..............................................................................................72 1. Kết quả thu được ............................................................................................... 72 2. Hạn chế ............................................................................................................. 72 3. Hướng phát triển của bài toán ........................................................................... 73 TÀI LIỆU THAM KHẢO .........................................................................................74 vii
DANH MỤC BẢNG BIỂU Bảng 1.1. Ví dụ về ma trận nhầm lẫn (Confusion matrix) ........................................ 16 Bảng 1.2. Minh họa ma trận nhầm lẫn với hai lớp Positive và Negative ................. 18 Bảng 1.3. Minh họa về TPR, FNR, FPR, TNR ......................................................... 19 Bảng 1.4. So sánh tính năng giữa các bản Google Colab ......................................... 45 Bảng 2.4 Cấu hình mô hình CNN ............................................................................. 61 Bảng 3.1 Kết quả huấn luyện .................................................................................... 64 Bảng 3.2. Kết quả mô hình phân loại ........................................................................ 65 viii
DANH MỤC HÌNH VẼ, SƠ ĐỒ, ĐỒ THỊ Hình 1. Các vật thể có dạng hình học cơ bản với màu sắc đỏ, lục, lam .................... 5 Hình 1.1 Các phân loại drone khác nhau .................................................................... 8 Hình 1.2. Hình ảnh về một số loại drone cánh quạt và cánh cứng ............................. 8 Hình 1.3. Các thuật toán trong học máy ................................................................... 14 Hình 1.4. Các ứng dụng của học máy ....................................................................... 15 Hình 1.5. Minh họa về ma trận nhầm lẫn không chuẩn hóa và ma trận nhầm lẫn chuẩn hóa................................................................................................................... 17 Hình 1.6. Cách tính Precision và Recall ................................................................... 20 Hình 1.7. Ứng dụng của học sâu ............................................................................... 26 Hình 1.8. Kiến trúc cơ bản của một mạng nơ ron tích chập ..................................... 29 Hình 1.9. Mạng nơ ron với nhiều lớp chập ............................................................... 29 Hình 1.10. Ví dụ về cấu trúc CNN – LeNet – 5 ........................................................ 30 Hình 1.11. Ma trận ảnh nhân ma trận bộ lọc............................................................. 30 Hình 1.12. Ma trận đầu ra ......................................................................................... 31 Hình 1.13. Một số bộ lọc phổ biến ............................................................................ 32 Hình 1.14. Bước nhảy 2 pixel ................................................................................... 33 Hình 1.15. Hoạt động ReLU ..................................................................................... 34 Hình 1.16. Phương thức Average pooling và Max pooling ...................................... 34 Hình 1.17. Sau khi gộp lớp và làm phẳng thành lớp kết nối đầy đủ ......................... 35 Hình 1.18. Kiến trúc mạng nơ ron tích chập hoàn chỉnh .......................................... 35 Hình 1.19. Cửa sổ làm việc trên trình duyệt của Google Colab ............................... 42 Hình 1.20. Cấu hình CPU bản Google Colab Free cung cấp .................................... 43 Hình 1.21. Cấu hình GPU Nvidia A100, GPU Nvidia T4, GPU Nvidia V100 ........ 44 Hình 2.1. Minh họa về bộ dữ liệu hình tròn (circle) ................................................. 53 Hình 2.2. Minh họa về bộ dữ liệu hình tam giác (triangle) ....................................... 53 Hình 2.3. Minh họa về bộ dữ liệu hình chữ nhật (rectangle) .................................... 54 Hình 2.4. Minh họa về bộ dữ liệu hình ngũ giác đều (pentagon) ............................. 54 ix
Hình 2.5 Tổng thể kiến trúc CNN được sử dụng ...................................................... 60 Hình 3.1. Kết quả huấn luyện.................................................................................... 63 Hình 3.2. Kết quả nhận diện vật thể hình chữ nhật ................................................... 68 Hình 3.3. Kết quả nhận diện vật thể hình tam giác ................................................... 69 Hình 3.4. Kết quả nhận diện vật thể hình tròn .......................................................... 70 Hình 3.5. Kết quả nhận diện vật thể hình ngũ giác đều ............................................ 71 Sơ đồ 2.1. Sơ đồ tổng thể phương pháp .................................................................... 49 Đồ thị 3.1. Đồ thị biểu diễn kết quả độ chính xác của mô hình CNN ...................... 64 Biểu đồ 3.1. Ma trận nhầm lẫn không chuẩn hóa (Unnormalized Confusion Matrix) và ma trận nhầm lẫn chuẩn hóa (Normalized Confusion Matrix) ............................ 67 x
DANH MỤC THUẬT TOÁN Thuật toán 2.1. Mã code mô tả thuật toán di chuyển hình ảnh vật thể sang phải ..... 56 Thuật toán 2.2. Mã code mô tả thuật toán di chuyển hình ảnh vật thể xuống phía dưới ........................................................................................................................... 57 Thuật toán 2.3. Mã code mô tả thuật toán di chuyển hình ảnh vật thể vừa sang phải và vừa xuống phía dưới ............................................................................................. 59 xi
PHẦN I MỞ ĐẦU 1. Lý do chọn đề tài Tự động hóa và trí tuệ nhân tạo (Artificial Intelligence - AI) đã trở thành hai lĩnh vực nổi bật trong thời đại công nghệ hiện đại. Sự phát triển nhanh chóng của công nghệ này đã tạo ra nhiều ứng dụng đa dạng, từ tự lái ô tô đến hệ thống nhận diện giọng nói. Các mô hình trí tuệ nhân tạo như học sâu, mạng nơ ron hay học tăng cường đang được sử dụng để xây dựng các hệ thống thiết bị bay không người lái (Unmanned Aerial Vehicle - UAV, hay còn gọi là drone) thông minh. Trong thời đại cách mạng công nghệ 4.0, drone đang phát triển và trở thành một phần không thể thiếu trong cuộc sống hàng ngày. Các tập đoàn lớn và chính phủ đều chạy đua để phát triển ứng dụng của công nghệ này. Cùng với sự phát triển của AI, drone đã trở thành một công cụ không thể thiếu trong nhiều lĩnh vực, bao gồm tìm kiếm cứu hộ, giám sát, chữa cháy, giám sát thời tiết, khảo sát [1], quy hoạch, quản lý đô thị [2], giám sát sinh thái môi trường [3] cả giám sát, khảo sát địa hình, quay phim và chụp ảnh từ không gian cao [1]. Tuy nhiên, để tăng tính tự động hóa và khả năng thực hiện nhiều nhiệm vụ khác nhau, việc tích hợp trí tuệ nhân tạo vào drone là cần thiết và ngày càng phổ biến [4]. Trong các bài toán AI, việc nhận diện các vật thể có dạng hình học cơ bản là một vấn đề quan trọng trong hình hình thành khả năng bay qua các vật cản như cửa ra vào, cửa sổ hoặc các vật thể có hình tròn, hình tam giác, hình chữ nhật, hình ngũ giác đều. Ví dụ, việc nhận diện vật thể có dạng hình học cơ bản có thể có ứng dụng trong việc phân loại và định vị vật thể, tạo ra độ tin cậy cao hơn trong việc điều khiển drone, giảm rủi ro va chạm trong quá trình bay của drone, giúp kiểm soát đường bay chính xác. Bằng cách xây dựng mô hình trí tuệ nhân tạo hỗ trợ DJI Tello drone nhận diện các vật thể có dạng hình học cơ bản đa dạng góp phần nâng cao khả năng phát hiện và phản ứng tự động của drone, đảm bảo an toàn và hiệu quả cho quá trình bay. Thuật toán mạng thần kinh tích chập (Convolutional Neural Network – CNN) được lựa chọn để xây dựng mô hình trí tuệ nhân tạo thực hiện nhiệm vụ nhận diện 1
vật thể có dạng hình học cơ bản như hình tròn, hình tam giác, hình chữ nhật và hình ngũ giác đều. Mạng thần kinh tích chập là một trong những phương pháp tiên tiến và mạnh mẽ trong lĩnh vực thị giác máy tính, đặc biệt trong việc phân loại và nhận diện hình ảnh. Với cấu trúc và cách hoạt động của phương pháp này, mạng thần kinh tích chập có khả năng tự động học và trích xuất các đặc trưng quan trọng từ dữ liệu hình ảnh, từ đó giúp tối ưu hóa quá trình nhận diện và phân loại. Bên cạnh đó, DJI Tello drone là máy bay không người lái được thiết kế nhỏ gọn, dễ sử dụng, giá thành hợp lý và có tính năng cơ bản như bay tự động, giữ độ cao và chụp ảnh hoặc video. Điều này làm cho Tello drone trở thành một lựa chọn phổ biến cho các nhà phát triển drone và các nhà nghiên cứu trí tuệ nhân tạo. Việc xây dựng mô hình trí tuệ nhân tạo hỗ trợ DJI Tello drone nhận diện các vật thể có dạng hình học cơ bản sẽ giúp drone có thể tự động phân biệt, theo dõi các đối tượng trong quá trình thực hiện nhiệm vụ, nâng cao tính an toàn, tối ưu hóa tối ưu hiệu suất hoạt động của máy bay không người lái và mở ra nhiều ứng dụng mới. Bằng việc tích hợp thuật toán mạng thần kinh tích chập (CNN) vào drone, mô hình trí tuệ nhân tạo này đã giúp đỡ, hỗ trợ drone phát hiện và phân loại các vật thể có dạng hình học cơ bản như hình tròn, hình tam giác, hình chữ nhật và hình ngũ giác đều. Từ đó, giúp drone nâng cao khả năng tự động hóa, giúp drone mở ra các khả năng bay qua các vật cản và thực hiện nhiều nhiệm vụ an toàn và hiệu quả hơn. 2. Mục tiêu nghiên cứu 2.1. Mục tiêu tổng quát Xây dựng mô hình trí tuệ nhân tạo huấn luyện DJI Tello drone nhận diện, phân loại các vật thể có dạng hình học cơ bản như hình tròn, hình tam giác, hình chữ nhật, hình ngũ giác đều. 2.2. Mục tiêu cụ thể Xây dựng các vật thể có dạng hình tròn, hình tam giác, hình chữ nhật, hình ngũ giác đều có các màu sắc cơ bản đỏ, lục, lam để kiểm tra nhận diện vật thể của máy bay không người lái. Xây dựng bộ dữ liệu ảnh phù hợp hỗ trợ cho việc huấn luyện cho máy bay không 2
người lái. Bộ ảnh phải có kích thước phù hợp với camera của drone DJI Tello. Tập dữ liệu ảnh đa dạng các hình ảnh và thông tin vị trí khác nhau của các vật thể. Tìm hiểu, vận dụng ngôn ngữ lập trình Python trong việc xây dựng và triển khai mô hình nhận diện vật thể trên DJI Tello Drone. Nghiên cứu, tìm hiểu và áp dụng kiến thức, một số ứng dụng về học máy (Machine learning), đặc biệt trong linh vực nhận diện đối tượng, tìm hiểu các thuật toán và phương pháp học máy để xây dựng mô hình nhận diện vật thể. Nâng cao hiểu biết về cơ sở lý thuyết và vận dụng được mô hình học sâu (Deep Learning), đặc biệt mô hình mạng thần kinh tích chập (Convolutional Neural Network) thường được sử dụng trong nhận diện vật thể. Ứng dụng mô hình mạng thần kinh tích chập phù hợp để drone có khả năng nhận diện các vật thể có dạng hình tròn, hình chữ nhật, hình tam giác, hinh ngũ giác đều với các màu sắc cơ bản đỏ, lục, lam. Xây dựng thuật toán để huấn luyện máy bay không người lái nhận diện vật thể có dạng hình học cơ bản khác nhau như hình tròn, hình tam giác, hình chữ nhật, hình ngũ giác đều với ngôn ngữ lập trình Python. Tìm hiểu và vận dụng được kiến thức về thiết bị bay không người lái DJI Tello Drone, tìm hiểu về chức năng và cách điều khiển của drone để có thể tương tác và hỗ trợ thiết bị bay không người lái trong quá trình nhận diện vật thể. Nghiên cứu cách giao tiếp và tích hợp mô hình học máy đã xây dựng được ở trên vào hệ thống điều khiển của drone DJI Tello. Kiểm tra, đánh giá độ chính xác và hiệu quả của mô hình mạng thần kinh tích chập đã xây dựng thông qua việc tiến hành các thực nghiệm cho drone nhận dạng các vật thể được đặt ở vị trí cố định. 3. Đối tượng và phạm vi nghiên cứu 3.1. Đối tượng nghiên cứu Nghiên cứu các thư viện Python hỗ trợ cho quá trình xây dựng bộ dữ liệu và mô hình mạng thần kinh tích chập như Matplotlib, OpenCV. Nghiên cứu lý thuyết về mô hình mạng thần kinh tích chập (Convolutional 3
Neural Network – CNN) và ứng dụng mô hình mạng thần kinh tích chập CNN trong phát hiện, phân loại và nhận diện vật thể. Nghiên cứu các phương pháp nhận diện phù hợp cho drone, đặc biệt là drone DJI Tello. Nghiên cứu các giải thuật sử dụng ngôn ngữ lập trình Python để huấn luyện máy bay không người lái xử lý dữ liệu và nhận diện các vật thể có dạng hình tròn, tam giác, hình chữ nhật, hình ngũ giác đều với các màu sắc cơ bản trong hệ màu đỏ lục lam theo từng tình huống phù hợp. Nghiên cứu bộ thư viện DJITelloPy, để lập trình các tác vụ cho drone, điều khiển bay, thực hiện các chuyển động chụp ảnh và quay video, nhận và hiển thị các dữ liệu từ cảm biến, từ đó tiếp cận tương tác và lập trình cho máy bay không người lái DJI Tello. 3.2. Phạm vi nghiên cứu Giới hạn không gian thử nghiệm: Môi trường trong nhà có độ sáng ổn định. Khung nền ở phía trong không gian thực nghiệm không trùng với 3 màu đỏ, lục, lam Thời gian thực hiện nghiên cứu: Từ tháng 2/2023 đến tháng 8/2023 Đề tài được nghiên cứu và thực nghiệm thông qua các vật thể có dạng hình tròn, hình tam giác, hình chữ nhất, hinh ngũ giác đều có các màu cơ bản đỏ, lục, lam. 4
Hình 1. Các vật thể có dạng hình học cơ bản với màu sắc đỏ, lục, lam DJI Tello drone là máy bay không người lái được sử dụng chính trong việc nghiên cứu và thực nghiệm đề tài xây dựng mô hình trí tuệ nhân tạo hỗ trợ drone nhận diện vật thể có dạng hình học cơ bản. Các thông số cơ bản và khả năng giới hạn của DJI Tello drone: - Độ phân giải video 720p hoặc độ phân giải camera 5 MP (2592 × 1936). - Thời gian bay tối đa 13 phút. - Khoảng cách bay tối đa 100 m. - Trọng lượng 80 g. - Kích thước 98 × 92.5 × 41 mm, với 4 cánh quạt. - Tốc độ bay tối đa 8 m/s, độ cao bay tối đa 30 m. - Phạm vi quan sát của video (Field of View – FOV) 82.6. - Các chức năng tích hợp khác như máy ảnh quan trắc (Range Finder), Khí áp kế (Barometer), đèn led, hệ thống tầm nhìn, wifi 2.4 Hz 802.11n. 4. Phương pháp nghiên cứu 5
- Phương pháp xây dựng vật thể: Dựa trên các dụng cụ, nguyên vật liệu thông dụng (giấy màu, giấy bìa cứng,), tiến hành chế tạo vật thể có dạng hình tròn, hình tam giác, hình chữ nhật, hình ngũ giác đều; màu sắc vật thể là đỏ, lục, lam (ba màu cơ bản) để phục vụ cho việc kiểm thử nhận diện vật thể của máy bay không người lái. - Phương pháp xây dựng bộ dữ liệu ảnh phù hợp hỗ trợ việc huấn luyện cho máy bay không người lái: Bộ dữ liệu ảnh này dưới được xây dựng với hệ màu trắng đen. Máy bay không người lái nhận diện vật thể dưới dạng màu trắng, tất cả các vật thể còn lại trong phạm vi nhận diện của máy bay không người lái sẽ chuyển đổi sang màu đen. - Phương pháp nhận diện: Việc tích hợp ứng dụng mô hình mạng thần kinh tích chập (Convolutional Neural Network – CNN) vào máy bay không người lái, giúp nhận diện và chuyển đổi các màu đỏ, lục, lam của vật thể sang hệ màu trắng đen. Ba màu đỏ, lục, lam của vật thể được máy bay không người lái nhận diện và chuyển đổi sang màu trắng và các vật thể còn lại trong không gian xung quanh phạm vi nhận diện sẽ chuyển sang màu đen. - Phương pháp thực nghiệm, theo dõi: Kiểm thử độ hiệu quả của mô hình trí tuệ nhân tạo huấn luyện cho drone. Các vật thể với màu sắc khác nhau và có dạng hình tròn, hình chữ nhật, hình tam giác, hình ngũ giác đều sẽ được đặt ở một số vị trí để kiểm thử độ hiệu quả của các phương pháp trên. 5. Cấu trúc của luận văn Nội dung đề tài luận văn gồm 3 phần: Phần I: Mở đầu Phần II: Nội dung và kết quả nghiên cứu Chương I: Cơ sở lý thuyết Chương II: Huấn luyện thiết bị bay không người lái nhận dạng vật thể có dạng hình học cơ bản Chương III: Kết quả thực nghiệm và bàn luận Phần III: Kết luận 6
PHẦN II NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU CHƯƠNG I: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan về drone 1.1.1 Giới thiệu về drone Máy bay không người lái hay còn thường được gọi là drone hay UAVs (Unmanned aerial vehicles) hay phương tiện bay không người lái nhỏ gọn (Micro aerial vehicles – MAVs), được sử dụng cho nhiều ứng dụng và nhiệm vụ dân sự và quân sự [5]. Máy bay không người lái có khả năng hoạt động với nhiều mức độ tự động khác nhau, bao gồm: điều khiển từ xa bởi người điều khiển, tự động hoàn toàn hoặc theo một chế độ không liên tục, được điều khiển bởi một máy tính trên máy bay. Các máy bay không người lái này có thể được trang bị với nhiều loại cảm biến khác nhau, tuỳ thuộc vào nhiệm vụ mà chúng được giao. Các cảm biến này bao gồm âm thanh, hình ảnh, hóa học, và sinh học để tăng cường hiệu suất và hiệu quả của drone. Các nhà nghiên cứu đã tập trung vào tối ưu hóa thiết kế để phát triển và sản xuất nhiều loại phương tiện bay đa dạng. Máy bay không người lái có lịch sử sử dụng bắt đầu từ Chiến tranh Đầu tiên của Ý (1849). Đế quốc Áo phát triển hệ thống khinh khí cầu không người lái để thả bom xuống Venice. Sự phát triển này dẫn đến việc sử dụng khinh khí cầu và diều gắn thông tin trao đổi trong các cuộc chiến như Chiến tranh Nội binh Mỹ và Chiến tranh Mỹ-Tây Ban Nha. Kể từ đó, máy bay không người lái đã tiếp tục được phát triển cho mục đích quân sự. Trong thời kỳ Chiến tranh Lạnh, Mỹ bắt đầu một chương trình nghiên cứu về máy bay không người lái dưới tên mã "Red Wagon". Đồng thời, GPS (Global Positioning System) dựa trên hệ thống định vị toàn cầu đã được giới thiệu. Máy bay không người lái thương mại đầu tiên được tạo ra bởi DJI vào năm 2006 [6]. Các drone thường được phân loại theo đa dạng tùy thuộc vào nhiệm vụ mà chúng được giao và dựa trên cấu hình của chúng [7]. Drone có thể chia thành thành chín loại khác nhau, ví dụ như drone cánh cố định, drone cánh quạt quay, drone cánh đập, drone cánh quạt nghiêng, drone quạt có ống, trực thăng, chim cánh cụt và các loại drone không thông thường khác [7]. 7