Luận án Tiến sĩ Kỹ thuật viễn thông: Nghiên cứu phát triển hệ thống IoT thu thập dữ liệu và thuật toán phân vùng, phân loại cá thể sử dụng học sâu định hướng ứng dụng trong nuôi trồng thủy sản

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:133

Thêm vào BST

Báo xấu

7
lượt xem 1
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận án Tiến sĩ Kỹ thuật viễn thông "Nghiên cứu phát triển hệ thống IoT thu thập dữ liệu và thuật toán phân vùng, phân loại cá thể sử dụng học sâu định hướng ứng dụng trong nuôi trồng thủy sản" trình bày các nội dung chính sau: Tổng quan về internet kết nối vạn vật IoT và mạng nơ ron học sâu ứng dụng trong thủy sản; Mô hình hệ thống IoT định hướng ứng dụng trong nuôi trồng thủy sản tại Kiên Giang; Thuật toán phân vùng ảnh và phân loại cá thể tại trung tâm thu thập và xử lý dữ liệu trong hệ thống, định hướng ứng dụng trong nuôi thủy sản.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án Tiến sĩ Kỹ thuật viễn thông: Nghiên cứu phát triển hệ thống IoT thu thập dữ liệu và thuật toán phân vùng, phân loại cá thể sử dụng học sâu định hướng ứng dụng trong nuôi trồng thủy sản

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ THANH VIỆT NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG IoT THU THẬP DỮ LIỆU VÀ THUẬT TOÁN PHÂN VÙNG, PHÂN LOẠI CÁ THỂ SỬ DỤNG HỌC SÂU ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI TRỒNG THỦY SẢN LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG Hà Nội - 2024
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI LÊ THANH VIỆT NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG IoT THU THẬP DỮ LIỆU VÀ THUẬT TOÁN PHÂN VÙNG, PHÂN LOẠI CÁ THỂSỬ DỤNG HỌC SÂU ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI TRỒNG THỦY SẢN Ngành: Kỹ thuật Viễn thông Mã số: 9520208 LUẬN ÁN TIẾN SĨ KỸ THUẬT VIỄN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS VŨ VĂN YÊM TS. VƯƠNG HOÀNG NAM Hà Nội - 2024
LỜI CAM ĐOAN Tôi xin cam đoan luận án “Nghiên cứu phát triển hệ thống IoT thu thập dữ liệu và thuật toán phân vùng, phân loại cá thể sử dụng học sâu định hướng ứng dụng trong nuôi trồng thủy sản” là kết quả nghiên cứu của riêng tôi. Các số liệu, kết quả nghiên cứu trình bày trong luận án là trung thực, một phần đã được công bố trên các tạp chí khoa học chuyên ngành trong và ngoài nước trong danh mục các công trình khoa học đã công bố của luận án. Phần còn lại chưa được ai công bố trong bất kỳ công trình nghiên cứu nào. Hà Nội, ngày tháng năm 2024 Giảng viên hướng dẫn Tác giả luận án GS.TS. Vũ Văn Yêm TS. Vương Hoàng Nam Lê Thanh Việt i
LỜI CẢM ƠN Lời đầu tiên, tôi xin bày tỏ lòng biết ơn sâu sắc tới GS.TS. Vũ Văn Yêm và TS. Vương Hoàng Nam, người đã tận tình hướng dẫn trực tiếp nghiên cứu sinh về mặt khoa học cũng như phần thực hành chế tạo thiết bị và hỗ trợ về mọi mặt để tôi có thể hoàn thành bản luận án này sau 7 năm làm nghiên cứu sinh. Qua đây, tôi cũng xin cảm ơn Bộ môn hệ thống viễn thông, Viện Điện tử - Viễn thông trước đây, nay là Khoa kỹ thuật truyền thông, Trường Điện - Điện tử Đại học Bách khoa Hà Nội đã tạo mọi điều kiện thuận lợi cho nghiên cứu sinh trong quá trình học tập, nghiên cứu. Bản thân cũng xin gửi lời cảm ơn chân thành tới các thành viên nghiên cứu của RF lab, Đại học Bách khoa Hà Nội đã đồng hành cùng tôi trong suốt thời gian nghiên cứu vừa qua. Cuối cùng, tôi cũng xin cảm ơn gia đình, bạn bè, đồng nghiệp và người thân đã giúp đỡ, chia sẻ những khó khăn, khích lệ, động viên để tôi có thể hoàn thành luận án này. Xin trân trọng cảm ơn. Hà Nội, ngày tháng năm 2024 Tác giả luận án Lê Thanh Việt ii
MỤC LỤC LỜI CAM ĐOAN ............................................................................................. i LỜI CẢM ƠN .................................................................................................. ii MỤC LỤC ....................................................................................................... iii DANH MỤC CÁC CHỮ VIẾT TẮT........................................................... vii DANH MỤC CÁC HÌNH VẼ........................................................................ xi MỞ ĐẦU ........................................................................................................ 14 CHƯƠNG 1. TỔNG QUAN VỀ INTERNET KẾT NỐI VẠN VẬT VÀ MẠNG NƠ RON HỌC SÂU ỨNG DỤNG TRONG THỦY SẢN............ 21 1.1. Tổng quan về hệ thống IoT.................................................................... 21 1.2. Hiện trạng và nhu cầu ứng dụng IoT cho nuôi thủy sản .................... 29 1.3. Kiến trúc và các giao thức hệ thống IoT ............................................... 31 1.3.1. Kiến trúc hệ thống IoT ......................................................................... 31 1.3.2. Giao thức truyền thông LORA trong IoT ............................................ 31 1.4. Tổng quan về ứng dụng xử lý ảnh trong phân vùng và phân loại thủy sản .................................................................................................................. 33 1.4.1. Giới thiệu chung ................................................................................... 33 1.4.2. Các thách thức trong phát hiện và ước lượng mật độ cá thể ................ 34 1.4.3. Các mô hình thị giác máy tính dùng trong phát hiện cá thể ................ 36 1.4.4. Ước lượng và đếm cá thể thủy sản ....................................................... 37 1.5. Các kỹ thuật phát hiện vật thể trong thị giác máy tính ........................ 39 1.5.1. Giới thiệu chung về một số kỹ thuật trong thị giác máy tính .............. 39 1.5.2. Một số phương pháp phân vùng ảnh cổ điển ....................................... 40 1.5.3. Các phương pháp phát hiện vật thể hiện đại dùng học sâu .................. 44 1.6. Các vấn đề nghiên cứu cần giải quyết .................................................. 55 1.7. Kết luận chương 1 .................................................................................. 55 CHƯƠNG 2. MÔ HÌNH HỆ THỐNG IoT ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI THỦY SẢN TẠI KIÊN GIANG ....................................... 57 2.1. Quy định, tiêu chuẩn về các tham số môi trường nước trong nuôi trồng thủy sản .......................................................................................................... 57 2.2. Mô hình hệ thống IoT ứng dụng trong nuôi thủy sản ......................... 64 2.2.1. Nghiên cứu thiết kế mô hình hệ thống IoT .......................................... 64 2.2.2. Mô hình hệ thống IoT khi triển khai thực nghiệm tại hiện trường ...... 66 iii
2.2.3. Yêu cầu kỹ thuật, xây dựng giải pháp cho các khối trong hệ thống .... 67 2.3. Thiết kế, chế tạo phần cứng và thiết kế phần mềm hệ thống IoT ứng dụng trong nuôi thủy sản .............................................................................. 68 2.3.1. Thiết kế, chế tạo thiết bị đầu cuối IoT thu thập dữ liệu từ cảm biến ... 68 2.3.2. Thiết kế, chế tạo thiết bị IoT điều khiển cơ cấu chấp hành (IoT control node) ............................................................................................................... 72 2.3.3. Thiết kế và chế tạo IoT cổng (IoT gateway) ........................................ 73 2.3.4. Hệ thống camera thu thập hình ảnh ..................................................... 75 2.3.5. Thiết kế phần mềm giám sát và điều khiển trung tâm ......................... 76 2.4. Tích hợp và thử nghiệm hệ thống IoT .................................................. 87 2.4.1. Tích hợp thiết bị ................................................................................... 87 2.4.2. Thử nghiệm trong môi trường thực tế tại Kiên Giang ......................... 89 2.5. Kết luận chương 2 .................................................................................. 96 CHƯƠNG 3. THUẬT TOÁN PHÂN VÙNG ẢNH VÀ PHÂN LOẠI CÁ THỂ TẠI TRUNG TÂM THU THẬP VÀ XỬ LÝ DỮ LIỆU TRONG HỆ THỐNG ĐỊNH HƯỚNG ỨNG DỤNG TRONG NUÔI THỦY SẢN ...... 98 3.1. Phát hiện và phân loại cá thể dùng học sâu ......................................... 98 3.1.1. Phát hiện cá dùng phương pháp phân vùng ......................................... 98 3.1.2. Phân loại cá .......................................................................................... 99 3.1.3. Phát hiện cá thể kết hợp phân loại ..................................................... 101 3.2. Mô hình mạng nơ ron tích chập sử dụng khối giảm chiều đa tỉ lệ theo không gian và hàm mất mát dựa trên đường bao cục bộ và ứng dụng cho phân vùng hình ảnh cá thể ......................................................................... 102 3.2.1. Mô hình mạng nơ ron tích chập sử dụng khối giảm chiều đa tỉ lệ theo không gian .................................................................................................... 102 3.2.2. Hàm mất mát cho mô hình bài toán phân đoạn ảnh cá ...................... 103 3.2.3. Kết quả thực nghiệm .......................................................................... 104 3.3. Mô hình tập trung chú ý ConvMixer và áp dụng cho phân loại các loài cá .................................................................................................................. 110 3.3.1. Mô hình tập trung chú ý ConvMixer đề xuất ..................................... 110 3.3.2. Kết quả thực nghiệm .......................................................................... 112 3.4. Kết luận chương 3 ................................................................................ 116 KẾT LUẬN .................................................................................................. 118 iv
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN .... 121 DANH MỤC TÀI LIỆU THAM KHẢO ................................................... 122 v
DANH MỤC CÁC KÝ HIỆU STT Kí hiệu Mô tả 1 µ Hệ số trong hàm mất mát 2 α Hệ số trong hàm mất mát 𝐿𝐿 𝐶𝐶𝐶𝐶 3 λ Hệ số trong hàm mất mát 𝐿𝐿 𝐿𝐿𝐿𝐿𝐿𝐿 4 Tổn thất entropy chéo 𝐿𝐿 𝐿𝐿𝐿𝐿𝐿𝐿 5 Tổn thất đường viền hoạt động dựa trên cục bộ 6 Độ dài 7 W Chiều rộng của hình ảnh 8 H Chiều cao của hình ảnh 9 TP Số lượng đúng dự đoán dương tính 10 FN Số lượng đúng dự đoán âm tính giả 11 FP Số lượng đúng dự đoán dương tính giả 12 SF Hệ số trải phổ 13 BW Băng thông 14 CR Tốc độ mã hóa 15 F Kích thước ảnh đầu ra bộ lọc 16 S Độ trượt 17 P Padding 𝐿𝐿 𝐷𝐷𝐷𝐷 𝑐𝑐 𝑐𝑐 18 O Kích thước đầu ra bộ lọc 𝐿𝐿 𝐵𝐵𝐶𝐶𝐶𝐶 19 Hàm mất mát Dice 𝐿𝐿 𝐶𝐶𝐶𝐶_𝐴𝐴𝐴𝐴 20 Hàm mất mát binary cross entropy (BCE 21 Hàm mất mát đề xuất vi
DANH MỤC CÁC CHỮ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt ACL Access Control List Danh sách kiểm soát truy cập ADC Analog to Digital Bộ chuyển đổi tín hiệu tương tự/số AES Advanced Encryption Standard Chuẩn mật mã hóa tiên tiến AP Access Point Điểm truy cập AIoT Artificial Intelligence Of Things Trí tuệ nhân tạo của vạn vật Application Programming API Giao diện lập trình ứng dụng Interface BW Bandwidth Băng thông CDMA Code Division Multiple Access Đa truy cập phân chia theo mã Nông nghiệp thích ứng với khí CSA Climate-SmartTech hậu CSMA/CA Carrier Senser Multiple Access Đa truy nhập theo cảm nhận sóng with Collision Avoidance mang cùng cơ chế tránh xung đột CSS Chirp Spread Spectrum Trải phổ xung chirp CR Coding Rate Tốc độ mã hóa DDOS Distributed Denial of Service Tấn công từ chối dịch vụ phân tán DHCP Dynamic Host Configuration Giao thức cấu hình động máy chủ Protocol Enhanced Data for GSM Di động theo chuẩn EDGE EDGE Evolution (2.75G) Food and Agriculture Tổ chức Lương thực và Nông FAO Organizationof the United nghiệp Liên Hiệp Quốc Nations FDMA Frequency Division Multiple Đa truy nhập phân chia theo tần Access số FSK Frequency Shift Keying Khoa dịch tần số FTP File Transfer Protocol Giao thức chuyển tệp tin GPIO General Purpose Input Output Đầu vào ra đa mục đích GPRS Generla Packet Radio Services Dịch vụ vô tuyến gói chung Hệ thống thông tin di động toàn GSM Global System For Mobile cầu HTTP Hyper Text Transfer Protocol Giao thức truyền tải siêu văn bản ICSP In Ciruit Serial Programming Lập trình trong mạch nối tiếp IDS Instruction Detection System Hệ thống phát hiện xâm nhập Institute of Electrical and IEEE Viện các kỹ sư điện, điện tử Electronics Engineers vii
Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt International Fund for Quỹ phát triển nông nghiệp quốc IFAD Agriculture Development tế IoT Internet Of Things Internet vạn vật IFTTT If This Then That Dịch vụ trung gian IPS Intrusion Prevention Systems Hệ thống ngăn ngừa xâm nhập JSON JavaScript Object Notation Ký hiệu đối tượng JavaScript LAN Local Area Network Mạng cục bộ LoRA Long Range Application Truyền thông cự ly xa theo chuẩn Lora LoRaWAN Long Range Wireless Area Mạng không dây tầm xa Network LPWAN Low-Powered Wide Area Mạng diện rộng công suất thấp Network MA Multiple Access Đa truy nhập MSSP Master Synchronous Serial Port Cổng giao tiếp nối tiếp chính NAT Network Address Translation Biên dịch địa chỉ mạng Negative Temperature NTC Điện trở nhiệt hệ số âm Coefficient OTA Over The Air Qua môi trường không dây OTP One Time Programmable Được lập trình một lần PSP Parallel Slave Port Cổng giao tiếp song song PWM Pulse Width Modulation Điều chế độ rộng xung RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RFID Radio Frequency Identification Nhận thực sử dụng sóng vô tuyến RSTP Real Time Streaming Protocol Giao thức phát thời gian thực RX Receiver Máy thu SDMA Space Division Multiple Access Đa truy nhập phân chia theo không gian SSP Synchoronous Serial Port Cổng giao tiếp nối tiếp SSL Secure Sockets Layer Lớp cổng bảo mật SPI Serial Peripheral Interface Giao diện ngoại vi nối tiếp viii
Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt SIEM Security Information and Event Giải pháp quản lý và phân tích sự Management kiện an toàn thông tin Snort Network Intrusion detection Hệ thống phát hiện xâm nhập system mạng mã nguồn mở SF Spreading Factor Hệ số trải phổ Transport Control Giao thức điều khiển kết nối / TCP/IP Protocol/Internet Protocol Giao thức Internet TDMA Time Division Multiple Access Đa truy nhập phân chia theo thời gian TX Transmitter Máy phát Universal Asynchronous Thu phát không đồng bộ chuyển UART Receiver/ Transmitter giao UDP User Datagram Protocol Giao thức gói dữ liệu người dùng UE User Equipment Thiết bị đầu cuối di động United Nations Environment Chương trình môi trường Liên UNEP Programme hợp quốc WAN Wide Area Network Mạng diện rộng WEP Wired Equivalent Privacy Bảo mật tương đương có dây WFP World Food Programme Chương trình lương thực thế giới WPA WiFi Protected Access Bảo vệ truy nhập WiFi WSN Wireless Sensor Network Mạng cảm biến vô tuyến ix
DANH MỤC CÁC BẢNG Bảng 2-1: Bảng tổng hợp tính độc của NH3 theo pH và NH4 ......................... 61 Bảng 2-2: Dải đo và tín hiệu ra của bộ cảm biến ............................................ 67 Bảng 2-3: Cơ sở dữ liệu cần thu thập .............................................................. 77 Bảng 2-4: Kết quả đo các thông số trung bình 1 ngày ................................... 91 Bảng 2-5: Kết quả đo các thông số trung bình 1 tháng ................................... 91 Bảng 2-6: Đánh giá về chức năng phần mềm quan trắc .................................. 91 Bảng 2-7: Đánh giá về chức năng phần mềm quan trắc .................................. 92 Bảng 2-8: Các sự cố liên quan của hệ thống quan trắc ................................... 94 Bảng 3-1: So sánh giữa các phương pháp phân đoạn cá khác trên dữ liệu DeepFish ........................................................................................................ 106 Bảng 3-2: So sánh giữa các phương pháp phân vùng cá khác trên dữ liệu SIUM ....................................................................................................................... 108 Bảng 3-3: So sánh hiệu năng phân vùng cá khi sử dụng mô đun WASP (w/WASP) và không sử dụng WASP (w/o WASP) ..................................... 109 Bảng 3-4: So sánh giữa hiệu năng phân vùng cá khi sử dụng hàm tổn thất đề xuất và tổn thất Entropy chéo........................................................................ 109 Bảng 3-5: Thông tin về lớp và số lượng mỗi loại cá của các tập dữ liệu dùng để đánh giá ......................................................................................................... 113 Bảng 3-6: Kết quả so sánh của mô hình, phương pháp đề xuất so với các phương pháp khác ....................................................................................................... 114 Bảng 3-7: So sánh về số lượng tham số huấn luyện và hiệu năng của phương pháp đề xuất so với các phương pháp khác................................................... 115 Bảng 3-8: Vai trò của việc sử dụng PCA, PSA trên ConvMixer .................. 116 x
DANH MỤC CÁC HÌNH VẼ Hình 1-1: Nguyên lý điều chế tín hiệu LoRa .................................................. 32 Hình 1-2: Thành phần một gói dữ liệu được truyền và nhận .......................... 32 Hình 1-3: Sơ đồ khối của một hệ thống quyết định thông minh trong nuôi trồng thủy sản............................................................................................................ 34 Hình 1-4: Phân loại các thách thức trong việc phát hiện cá thể ...................... 35 Hình 1-5: Minh họa các thách thức trong việc phát hiện cá thể. Nguồn ảnh từ Fish4-Knowledge [58] và NOAA [59]. .......................................................... 35 Hình 1-6: Hệ thống thu thập hình ảnh 2D và 3D ............................................ 36 Hình 1-7: Minh họa hình ảnh trong các trường hợp mật độ cá thể khác nhau: a- c: mật độ thưa, d-h: mật độ dày....................................................................... 38 Hình 1-8: Một số kỹ thuật trong thị giác máy tính.......................................... 40 Hình 1-9: Minh họa cho kĩ thuật lan vùng ...................................................... 42 Hình 1-10: Minh họa phương pháp K-means Clutering ................................. 42 Hình 1-11: Sự biến đổi của Active contour từ vị trí ban đầu tới biên của đối tượng quan tâm ................................................................................................ 43 Hình 1-12: Level set hoạt động trong trường hợp ảnh có những vật thể riêng biệt ................................................................................................................... 44 Hình 1-13: Minh họa một mạng nơ ron tích chập CNN ................................. 45 Hình 1-14: Minh họa hai công đoạn phát hiện đội tượng ............................... 46 Hình 1-15: Mạng R-CNN................................................................................ 47 Hình 1-16: Mạng Fast R-CNN ........................................................................ 47 Hình 1-17: Minh họa mạng Faster-RCNN ...................................................... 48 Hình 1-18: Cấu trúc Encoder-Decoder của hầu hết mô hình Phân vùng ảnh hiện đại .................................................................................................................... 49 Hình 1-19: Ví dụ về tác dụng của kernel lên ảnh thông qua phép nhân tích chập ......................................................................................................................... 49 Hình 1-20: Minh họa các hoạt động của Transpose Convolution .................. 50 Hình 1-21: Mô hình U-net [77] ....................................................................... 51 Hình 1-22: Minh họa quá trình hình thành MultiRes block : a) Inception block đơn giản b) Thay thế các lớp 5x5 và 7x7 tốn nhiều khối lượng tính toán bằng xi
các chuỗi 2 và chuỗi 3 các lớp 3x3 c) cấu trúc hoàn thiện của MultiRes block với thêm residual connection [78] ................................................................... 52 Hình 1-23: Cấu trúc ResPath [78] ................................................................... 52 Hình 1-24: Cấu trúc mô hình MultiRes Unet [78] .......................................... 53 Hình 1-25: Cấu trúc mô hình ResUnet++ [79] ............................................... 54 Hình 2-1: Chu trình Nitrate ............................................................................. 63 Hình 2-2: Mô hình hệ thống IoT đề xuất ứng dụng trong nuôi thủy sản ........ 64 Hình 2-3: Sơ đồ chi tiết các khối trong hệ thống IoT thiết kế, chế tạo và thử nghiệm [104] ................................................................................................... 67 Hình 2-4: Sơ đồ khối của thiết bị đầu cuối IoT............................................... 69 Hình 2-5: Sơ đồ nguyên lý thiết kế mạch tổng thể thiết bị đầu cuối IoT........ 69 Hình 2-6: Thiết bị đầu cuối IoT với kết cấu mở ............................................. 71 Hình 2-7: Bộ thiết bị đầu cuối được chế tạo, lắp ráp hoàn chỉnh ................... 71 Hình 2-8: Sơ đồ khối thiết bị IoT node điều khiển ......................................... 72 Hình 2-9: Sơ đồ nguyên lý thiết kế mạch tổng thể thiết bị IoT node điều khiển ......................................................................................................................... 72 Hình 2-10: Thiết bị IoT điều khiển bơm sau khi thiết kế, chế tạo .................. 73 Hình 2-11: Sơ đồ khối thiết bị IoT trung tâm ................................................. 73 Hình 2-12: Sơ đồ nguyên lý thiết kế mạch tổng thể thiết bị IoT trung tâm .... 74 Hình 2-13: Thiết bị IoT cổng thiết kế và chế tạo ............................................ 75 Hình 2-14: Hệ thống camera tích hợp thu thập hình ảnh ................................ 76 Hình 2-15: Kiến trúc hệ thống phần mềm và thuật toán tổng quát ................. 78 Hình 2-16: Luồng trao đổi dữ liệu của hệ thống IoT ...................................... 79 Hình 2-17: Lưu đồ thuật toán hoạt động của thiết bị đầu cuối IoT ................ 80 Hình 2-18: Lưu đồ thuật toán trong IoT node điều khiển ............................... 80 Hình 2-19: Thuật toán hoạt động đa luồng trong IoT Gateway ...................... 81 Hình 2-20: Luồng kết nối với Server cloud .................................................... 82 Hình 2-21: Luồng kết nối từ IoT Gateway đến IoT node và IoT Controller .. 82 Hình 2-22: Luồng cập nhật dữ liệu theo thời gian thực .................................. 83 Hình 2-23: Thuật toán điều khiển trong máy chủ Server................................ 84 Hình 2-24: Giao diện thiết kế phần mềm máy chủ sau khi đã tích hợp .......... 85 xii
Hình 2-25: Giao diện đăng nhập hệ thống quản lý ......................................... 85 Hình 2-26: Giao diện hiển thị, quản lý thiết bị IoT trên web.......................... 86 Hình 2-27: Cơ sở dữ liệu hiển thị theo dõi, quản lý Node .............................. 86 Hình 2-28: Lưu đồ thuật toán điều khiển cơ cấu chấp hành ........................... 87 Hình 2-29: Đấu nối pin mặt trời vào bảng mạch sensor node ........................ 88 Hình 2-30: Hình ảnh thiết bị đầu cuối IoT có module tấm năng lượng mặt trời và khung giá đỡ cơ khí .................................................................................... 89 Hình 2-31: Node đầu cuối được lắp tại ao nuôi và ao lắng tại đầm nuôi tôm huyện An Biên ................................................................................................. 90 Hình 2-32: Kết quả chỉ thị nồng độ NH4, a – ao nuôi, b – ao lắng. ................ 95 Hình 2-33: Hình ảnh số liệu đo 2 node đặt tại ao lắng ngày 12/5/2022 ......... 96 Hình 3-1: Một số mẫu trong tập dữ liệu “A Large-Scale Dataset for Fish Segmentation and Classification” bao gồm ảnh đầu vào (hình bên trái) và nhãn (hình bên phải) ................................................................................................ 99 Hình 3-2: Minh họa một kết quả đầu ra mạng ................................................ 99 Hình 3-3: Một số hình ảnh về các lớp cá thể trong tập dữ liệu “A Large-Scale Dataset for Fish Segmentation and Classification”....................................... 100 Hình 3-4: Đường cong học thử nghiệm trên mạng CNN với 3 lớp tích chập ....................................................................................................................... 100 Hình 3-5: Một kết quả phát hiện cá sử dụng Faster-RCNN ......................... 101 Hình 3-6: Mạng FCN-WRN-WASP đề xuất cho bài toán phân vùng cá ..... 102 Hình 3-7: Kết quả phân vùng cá đại diện theo phương pháp đề xuất trên bộ dữ liệu DeepFish. Ảnh nền gốc sự thật và ảnh kết quả dự đoán được phủ lên thang màu xám để hiển thị rõ hơn ........................................................................... 105 Hình 3-8: Kết quả phân vùng cá đại diện theo phương pháp đề xuất trên bộ dữ liệu SIUM. Ảnh nền gốc sự thật và ảnh kết quả dự đoán được phủ lên thang màu xám để hiển thị rõ hơn ........................................................................... 107 Hình 3-9: Mô hình tập trung chú ý ConvMixer đề xuất ............................... 110 Hình 3-10: Khối cơ chế tập trung ưu tiên theo kênh (PCA) ......................... 111 xiii
MỞ ĐẦU 1. Tính cấp thiết của đề tài luận án Đặc điểm địa lý Việt Nam có bờ biển dài, ngành nuôi trồng thủy hải sản phát triển mạnh mẽ, đóng góp lớn vào nền kinh tế. Ngày nay, việc ứng dụng công nghệ thông tin, tự động hóa trong sản xuất nông nghiệp và nuôi trồng thủy sản hiện nay đang trở nên phổ biến và đang được quan tâm tại Việt Nam [1] bởi những lợi ích mà công nghệ thông minh mang lại như giải phóng lao động, sử dụng tài nguyên hợp lý [2] [3], tăng năng suất [4], mang lại những sản phẩm tươi ngon và tốt cho sức khỏe [5]. Tại Việt Nam, trong những năm gần đây, hệ thống nuôi tôm, cá đã phát triển theo hướng tiếp cận hệ sinh thái, kết nối với các hệ thống phù hợp khác, đặc biệt là ở vùng Đồng bằng Sông Cửu Long [6] [7] theo xu hướng ứng dụng công nghệ mới như công nghệ Internet kết nối vạn vật IoT. Trong việc áp dụng IoT vào lĩnh vực quan trắc môi trường nước thì gần đây có 1 số nghiên cứu về thiết kế các hệ thống IoT để giám sát môi trường nước trong hộ gia đình, nhằm phát hiện ô nhiễm nước và kích hoạt quá trình lọc nước khi cần thiết [8] [9] [10] [11]. Các hệ thống này được thiết kế theo cấu trúc lớp, bao gồm cả cảm biến và các mô-đun thu thập dữ liệu sử dụng vi điều khiển. Dữ liệu được hiển thị thông qua điện thoại thông minh Android hoặc máy tính thông qua Wi-Fi. Trong [12] kỹ thuật IoT băng hẹp (Narrow Band – IoT) được sử dụng để mở rộng khu vực phủ sóng của các thiết bị đầu cuối IoT và tiết kiệm năng lượng, nhưng việc đánh giá và đưa ra cảnh báo về chất lượng nước chưa được thực hiện. Ngoài ra, các tác giả trong [13] đã thiết kế một mô- đun EXO với 7 cổng thông tin chung cho kết nối cảm biến. Trong việc áp dụng học máy, học sâu, trí tuệ nhân tạo (AI) vào lĩnh vực thủy hải sản, các nhà nghiên cứu và người lao động trong cộng đồng nuôi trồng thủy sản đã thăm dò nhiều phương pháp để đo lường khối lượng cá thể như cá,tôm trong lồng hoặc ao mà không cần can thiệp thủ công. Những phương pháp này, như một sự thay thế nhanh chóng, không xâm phạm, khách quan và có thể lặp lại, mang lại khả năng giám sát từ xa lượng khối lượng cá thể trong ngành nuôi trồng thủy sản [14] [15] [16]. Trong đó, vấn đề phân loại cá thể (cá,tôm) đã có một cấu trúc hệ thống để tổ chức và phân loại một loạt các loài cá thể trên khắp thế giới [17]. Phân loại cá thể giúp đánh giá và ghi chép đa dạng sinh học của môi trường nước. Bằng cách xác định và phân loại các loài cá thể khác nhau, các nhà khoa học thu được hiểu biết về mô hình phân phối, số lượng và vai trò sinh thái của các quần thể cá. Thông tin này quan trọng để theo dõi và quản lý nguồn cá thể, bảo tồn các loài đang nguy cấp và duy trì sức khỏe tổng thể của hệ sinh thái. Phân loại chính xác cá thể là quan trọng để thiết lập các chiến lược bảo tồn và quản lý hiệu quả. Nó cho phép các nhà khoa học xác định các loài đang đe dọa hoặc nguy cấp, ưu tiên các nỗ lực bảo tồn và phát triển kế hoạch bảo tồn có mục tiêu. Hiểu biết về mối quan hệ giữa các loài cá thể khác nhau cũng hỗ trợ trong việc đánh giá các tác động của 14
biến đổi môi trường như mất môi trường sống, ô nhiễm và biến đổi khí hậu đối với quần thể cá thể và hệ sinh thái. Phân loại cá thể là rất quan trọng đối với việc duy trì nguồn cá thể và thực hành nuôi trồng thủy sản bền vững. Nó giúp quản lý nguồn cá thể thiết lập giới hạn bắt phù hợp, thực hiện quy định cụ thể cho từng loài và đảm bảo bảo tồn các loài cá thể quan trọng về kinh tế. Trong nuôi trồng thủy sản, phân loại hỗ trợ trong việc chọn lựa các loài cá thể phù hợp để nuôi, hiểu rõ nhu cầu dinh dưỡng của chúng, và phát triển chương trình nuôi cấy để tăng cường sản xuất [18]. Các phương pháp phân loại cá thể có thể được phân loại thành phương pháp thủ công và phương pháp hỗ trợ máy tính. Phương pháp thủ công thường đòi hỏi một lượng lớn thời gian, công sức và nguồn lực con người. Ngược lại, phương pháp phân loại cá thể hỗ trợ bởi máy tính sử dụng kỹ thuật xử lý ảnh luôn đạt được độ chính xác cao. Phương pháp thủ công bao gồm việc các chuyên gia hoặc những người được đào tạo kiểm tra cá thể bằng mắt thường và xác định loài dựa trên các đặc điểm phân biệt khác nhau. Phương pháp này có thể tốn nhiều thời gian, đặc biệt khi xử lý một lượng lớn mẫu cá thể hoặc xác định loài phức tạp. Ngược lại, phương pháp hỗ trợ bởi máy tính sử dụng thuật toán xử lý ảnh và kỹ thuật học máy truyền thống để tự động hóa quá trình phân loại cá thể. Quan trọng là phải xem xét sự đánh đổi giữa độ chính xác và hiệu suất khi chọn phương pháp phân loại cá thể. Phương pháp thủ công đi kèm với sự tăng thời gian và lao động. Phương pháp hỗ trợ máy tính cung cấp xử lý nhanh hơn nhưng có thể cần xem xét thêm về độ chính xác. Xét trong một hệ thống dựa trên thị giác máy tính để theo dõi cá thể, việc phân vùng cá thể là một nhiệm vụ trung tâm, giúp xác định vị trí của cá thể để tiếp tục các bước như đếm cá thể và ước lượng mật độ. Việc phân vùng đối tượng chính xác có thể giúp phân tích tốt hơn về việc đếm cá thể và hành vi nhóm cá thể, phục vụ nhiều mục đích khác nhau như nghiên cứu, tự động hóa và tối ưu hóa quá trình nuôi nhằm nâng cao chất lượng và hiệu quả. Tuy nhiên, việc phân vùng cá thể từ hình ảnh dưới nước là thách thức do sự đa dạng về loài cá thể, điều kiện nước đối kháng, sự tương đồng cao về diện mạo giữa cá thể và một số yếu tố trong phông nền như đá và sự che khuất giữa các cá thể. Sự xuất hiện của phân loại cá thể đã đóng một vai trò quan trọng trong việc nâng cao sự hiểu biết về các hệ sinh thái nước và có ứng dụng thực tế trong nhiều lĩnh vực. Các phương pháp phân vùng hình ảnh cổ điển như phương pháp mở rộng khu vực, phân cụm mờ [19], mô hình tập trung mức [20] không thể xử lý nhiệm vụ phân vùng cá thể từ hình ảnh dưới nước. Gần đây, với sự phát triển của các phương pháp dựa trên học sâu, các phương pháp tự động phân vùng đã cho thấy hiệu quả trong nhiệm vụ phân vùng hình ảnh nói chung và có thể là triển vọng cho ngành nuôi trồng thủy sản nói chung, nuôi cá, tôm nói riêng. Trong phương pháp dựa trên học sâu để phân vùng hình ảnh, các phương pháp tiên tiến đầu tiên được phát triển dựa vào mạng tích chập FCN (Fully Convolutional Networks)[21]. Tiếp theo FCN, nhiều biến thể như sự kết hợp giữa 15
các biến thể FCN với các mạng xương sống "backbones" ban đầu được đề xuất cho các nhiệm vụ phân vùng ảnh như ResNet đã đạt được hiệu suất phân đoạn tốt hơn [22]. Mặc dù những mạng trên đã thể hiện hiệu quả trong nhiều nhiệm vụ phân vùng khác nhau, khi áp dụng cho một nhiệm vụ khó như phân vùng cá thể từ hình ảnh dưới nước vẫn cần phải điều chỉnh cho phù hợp với điều kiện cụ thể. Ngoài ra, khi huấn luyện các mạng, thông thường Cross Entropy được sử dụng để đo lường sự không tương đồng giữa các mặt nạ của thực tế và các mặt nạ của dự đoán, nên nó thiếu thông tin về chiều dài của biên và độ sáng của đối tượng cần phân đoạn. Hầu hết các phương pháp học sâu sử dụng mạng nơ-ron tích chập để tự động học các đặc điểm từ hình ảnh cá thể. Các mạng nơ-ron tích chập có khả năng học các đặc điểm phức tạp hơn so với các phương pháp truyền thống và chúng cũng chống lại tốt hơn trước sự thay đổi trong môi trường. Các mạng nơ-ron tích chập đã được chứng minh đạt độ chính xác cao trên nhiều tập dữ liệu cá thể khác nhau. Một trong những thách thức của nhiệm vụ này là sự biến đổi về hình thức của cá thể. Cá thể có thể thay đổi về kích thước, hình dạng, màu sắc và cấu trúc và chúng cũng có thể được tìm thấy trong nhiều môi trường khác nhau, điều này có thể ảnh hưởng đến hình dạng của chúng. Một thách thức khác là khó khăn trong việc có được các bộ dữ liệu hình ảnh cá thể lớn và chất lượng cao. Việc chụp ảnh cá thể thường khó khăn và có thể tốn thời gian để thu thập một bộ dữ liệu đủ lớn để huấn luyện một mô hình học sâu. Mặc dù có những thách thức này, phân loại cá thể là một lĩnh vực hứa hẹn với nhiều ứng dụng tiềm năng. Khi các phương pháp học sâu tiếp tục cải thiện và khi có thêm bộ dữ liệu hình ảnh cá thể, khả năng chính xác của phân loại cá sẽ tăng lên. Một số mạng nơ-ron tích chập phổ biến như AlexNet [23], được đề xuất đầu tiên là một mạng nơ-ron cho mục đích này. Ngoài ra, các mạng tiên tiến hơn như VGG16 [24] và ResNet [25] thường được sử dụng thường xuyên do kiến trúc sâu hơn của chúng, cho phép cải thiện hiệu suất. Ngoài những mô hình này, còn có các mạng nơ-ron khác sử dụng các loại phép toán tích chập khác nhau. Ví dụ, Efficient-Net [26] và MnasNet [27] sử dụng tích chập tiêu chuẩn cùng với tích chập theo chiều sâu và tích chập theo điểm. Điều này cho phép mở rộng mạng theo chiều rộng và chiều sâu mà không làm tăng đáng kể số lượng tham số. Hơn nữa, mặc dù Transformers [28] ban đầu được sử dụng trong xử lý ngôn ngữ tự nhiên (NLP), chúng cũng đã cho thấy kết quả hứa hẹn khi áp dụng vào các nhiệm vụ phân vùng ảnh. Tuy nhiên, do số lượng tham số lớn và độ phức tạp cao, cũng như yêu cầu lượng lớn dữ liệu để đạt được hiệu suất cao, Transformers không nhất thiết là lựa chọn hàng đầu cho các nhiệm vụ phân loại cá thể. Gần đây kiến trúc MLP-Mixer được đề xuất cũng đạt được kết quả khá tốt trong các nhiệm vụ phân vùng ảnh. Tuy nhiên, cần lưu ý rằng MLP- Mixer [29] và các biến thể như AxialAtt-MLP Mixer [30] thường có số lượng tham số lớn. Tóm lại, tích chập vẫn là sự lựa chọn chính trong các nhiệm vụ liên quan đến thị giác máy tính. Các phép toán tích chập bao gồm việc trượt bộ lọc qua các vùng hình 16
ảnh, cho phép mạng trích xuất các đặc điểm có ý nghĩa. Tuy nhiên, chỉ với tích chập mà không kèm theo khả năng học ưu tiên thông tin quan trọng, kết quả mang lại vẫn còn một số hạn chế. Để giải quyết hạn chế này, hỗ trợ của các cơ chế chú ý là cần thiết. Cơ chế chú ý cho phép mạng tập trung vào các vùng hoặc đặc điểm quan trọng nhất trong một hình ảnh. Chúng cho phép mô hình hóa vị trí dựa trên sự phân phối sự chú ý và tăng cường khả năng của nó trong việc nắm bắt các mẫu và mối quan hệ quan trọng trong dữ liệu. Bằng cách tích hợp các cơ chế chú ý cùng với các phép toán tích chập, mô hình có thể hiệu quả học cách chú ý đến các đặc điểm nổi bật nhất và cải thiện khả năng phân loại của mình. Từ những nhu cầu thực tiễn và các vấn đề tiềm năng trong việc áp dụng công nghệ trí tuệ nhân tạo AI, học máy, học sâu và IoT vào lĩnh vực nuôi trồng thủy sản và một số vấn đề khoa học nhất là xử lý dữ liệu, xử lý ảnh tại trung tâm sau thu thập, nghiên cứu sinh quyết định lựa chọn đề tài “Nghiên cứu phát triển hệ thống IoT thu thập dữ liệu và thuật toán phân vùng, phân loại cá thể sử dụng học sâu định hướng ứng dụng trong nuôi trồng thủy sản” nhằm làm chủ công nghệ thiết kế, cải tiến kiến trúc, mô hình hệ thống IoT giúp tiết kiệm năng lượng, sẵn sàng mở rộng nâng cấp cho việc thu thập dữ liệu, ảnh tự động, quan trắc giám sát theo thời gian thực, đề xuất, cải tiến thuật toán xử lý dữ liệu thông minh trong việc phân vùng, phân loại cá thể trong hệ sinh thái nuôi trồng thủy sản ứng dụng công nghệ cao. Vấn đề nghiên cứu chính của luận án tập trung 2 nội dung: Nội dung xây dựng và đề xuất mô hình hệ thống IoT ứng dụng trong nuôi trồng thủy sản để đưa ra giải pháp, kiến trúc hệ thống tổng thể cho bài toán quản lý, vận hành và ứng dụng công nghệ cao trong nuôi trồng thủy sản tại tỉnh, đặc biệt là làm chủ công nghệ thiết kế, chế tạo hệ thống IoT phần cứng và phần mềm, thiết bị đầu cuối IoT có khả năng mở rộng, nâng cấp, tự động thu thập dữ liệu nuôi thủy sản từ các đơn vị, hộ cá thể tại tỉnh. Nội dung nghiên cứu và để xuất thuật toán học máy, học sâu dùng mạng nơ ron để cải thiện độ chính xác ước lượng mật độ, dự báo khối lượng cá thể (tôm, cá…) cho bài toán phân loại, đánh giá trữ lượng, tình trạng phát triển, tăng trưởng của các cá thể, truy xuất nguồn gốc… phục vụ cho các nhà quản lý và người dân trực tiếp sản xuất. Cả 2 nội dung nghiên cứu kết hợp chặt chẽ với nhau đem lại lợi ích quan trọng cho phát triển kinh tế xã hội, đặc biệt là nuôi trồng thuỷ sản tại Kiên Giang. 2. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu a) Mục tiêu nghiên cứu Mục tiêu chính của luận án là phát triển hệ thống thu thập và thuật toán xử lý dữ liệu thông minh ứng dụng trong hệ thống quan trắc môi trường nước phục vụ ngành nuôi trồng thủy hải sản, cụ thể: - Nghiên cứu, xây dựng mô hình, kiến trúc hệ thống IoT cấu trúc mở hai chiều quan trắc các thông số môi trường nước, tự động hóa quá trình nuôi thủy sản nước lợ, mặn. 17
- Thiết kế, chế tạo, tích hợp được hệ thống, thiết bị đầu cuối IoT kiến trúc mở cho thu thập, điều khiển và truyền một số chỉ tiêu môi trường nước như nhiệt độ, độ mặn, pH, nồng độ ô xy hòa tan DO, độ trong, NO3-, NH4+ ứng dụng trong nuôi trồng thủy sản nước lợ, mặn. - Triển khai thử nghiệm mô hình hệ thống IoT tự động quan trắc và cảnh báo các thông số môi trường nước, điều khiển một số tính năng xử lý tại khu vực nuôi tôm nước lợ, mặn trên địa bàn tỉnh Kiên Giang. - Đề xuất thuật toán phân vùng và phân loại cá thể sử dụng học sâu cho phân vùng, phân loại cá, để đạt được hiệu suất phân loại tốt hơn, định hướng ứng dụng trong nuôi thủy sản. b) Đối tượng nghiên cứu: - Hệ thống, kiến trúc hệ thống IoT quan trắc môi trường nước. - Các phần tử trong hệ thống IoT gồm thiết bị đầu cuối IoT, thiết bị IoT cổng, thiết bị IoT điều khiển và server. - Phần mềm frontend, backend, giao thức truyền thông giữa các thiết bị trong hệ thống IoT. - Các thuật toán trong xử lý ảnh nhằm phân vùng, phân loại cá thể như cá, tôm dựa trên học sâu. c) Phương pháp nghiên cứu: Luận án sử dụng phương pháp tìm hiểu, nghiên cứu lý thuyết, xây dựng giải pháp, thiết kế, mô phỏng rồi đi đến thực nghiệm - Phương pháp nghiên cứu lý thuyết: Nghiên cứu về mô hình, kiến trúc hệ thống IoT, nguyên lý thiết kế chế tạo cho các mô đun, thiết bị, phân hệ của hệ thống IoT. Nghiên cứu hiện trạng ứng dụng IoT trong nuôi tôm, cá, trong quan trắc môi trường tại Kiên Giang, Từ đó, nắm vững được các mô hình, kiến trúc, đặc tính và tham số kỹ thuật trong các thiết kế và tiền đề cho đề xuất mô hình hệ thống. - Phương pháp nghiên cứu mô hình hóa, mô phỏng: Thiết kế mô hình kiến trúc hệ thống IoT phù hợp với các yêu cầu kỹ thuật và khả năng hiện có của phần cứng cũng như phần mềm. Mô phỏng hoạt động các mô đun, thiết bị, hệ thống IoT sử dụng các phần mềm thiết kế, mô phỏng mạnh điện tử. Thiết kế, mô hình hóa, mô phỏng phần mềm fontend và phần mềm backend trong hệ thống, thiết bị IoT. - Phương pháp nghiên cứu thực nghiệm: Chế tạo thiết bị, hệ thống IoT, xây dựng phần mềm trung tâm IoT. Tích hợp và thử nghiệm hệ thống IoT trong phòng thí nghiệm để điều chỉnh thiết kế và sau đó triển khai thử nghiệm hệ thống IoT tại thực tế là Trạm thực nghiệm thứ Sáu Biển, Huyện An Biên, Tỉnh Kiên Giang nhằm đánh giá các tính năng và thông số thực nghiệm thực tế. Việc thử nghiệm sẽ tiến hành nhiều đợt, ở các thời gian khác nhau, ở các điều kiện thời tiết khác nhau để kiểm nghiệm các kết quả nghiên cứu. 18