Luận án tiến sĩ Kỹ thuật: Nghiên cứu phương pháp nhận dạng tự động một số đối tượng và xây dựng cơ sở dữ liệu 3D bằng dữ liệu ảnh thu nhận từ thiết bị bay không người lái

Chia sẻ: Trần Văn Gan | Ngày: | Loại File: PDF | Số trang:171

Thêm vào BST

Báo xấu

70
lượt xem 5
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu nghiên cứu đề tài là xây dựng thuật toán và chương trình tạo DEM từ kết quả DSM phù hợp với một số địa hình ở Việt Nam; Nhận dạng và nâng cao độ chính xác nhận dạng đối tượng trên bình đồ ảnh UAV; Xây dựng cơ sở dữ liệu 3D từ kết quả xử lý ảnh UAV.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án tiến sĩ Kỹ thuật: Nghiên cứu phương pháp nhận dạng tự động một số đối tượng và xây dựng cơ sở dữ liệu 3D bằng dữ liệu ảnh thu nhận từ thiết bị bay không người lái

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỎ-ĐỊA CHẤT ĐỖ VĂN DƯƠNG NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DẠNG TỰ ĐỘNG MỘT SỐ ĐỐI TƯỢNG VÀ XÂY DỰNG CƠ SỞ DỮ LIỆU 3D BẰNG DỮ LIỆU ẢNH THU NHẬN TỪ THIẾT BỊ BAY KHÔNG NGƯỜI LÁI LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2018
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỎ-ĐỊA CHẤT ĐỖ VĂN DƯƠNG NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DẠNG TỰ ĐỘNG MỘT SỐ ĐỐI TƯỢNG VÀ XÂY DỰNG CƠ SỞ DỮ LIỆU 3D BẰNG DỮ LIỆU ẢNH THU NHẬN TỪ THIẾT BỊ BAY KHÔNG NGƯỜI LÁI Ngành : Kỹ thuật Trắc địa - Bản đồ Mã số : 9 52 05 03 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC 1. PGS.TS NGUYỄN QUANG MINH 2. PGS.TS TRẦN VÂN ANH HÀ NỘI - 2018
i Lời cam đoan Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu được sử dụng và kết quả phân tích, trình bày trong luận án là trung thực và chưa từng được công bố trong bất cứ công trình nào Tác giả luận án Đỗ Văn Dương
ii MỤC LỤC Lời cam đoan............................................................................................................ i MỤC LỤC .............................................................................................................. ii Danh mục các ký hiệu, chữ viết tắt tiếng Việt và tiếng Anh ..................................... v Danh mục các bảng, biểu đồ ................................................................................... vi Danh mục các hình vẽ, đồ thị................................................................................. vii MỞ ĐẦU .............................................................................................................. 10 Chương 1- TỔNG QUAN VỀ HỆ THỐNG UAV VÀ CÁC ỨNG DỤNG DỮ LIỆU ẢNH UAV TRONG TRẮC ĐỊA - BẢN ĐỒ ......................................................... 16 1.1 Định nghĩa UAV.............................................................................................. 16 1.2 Lịch sử phát triển hệ thống UAV ..................................................................... 16 1.2.1 Trên thế giới............................................................................................... 16 1.2.2 Ở Việt Nam ................................................................................................ 18 1.3 Ứng dụng dữ liệu ảnh thu nhận từ UAV trong Trắc địa - Bản đồ ..................... 22 1.4 Dữ liệu ảnh UAV phục vụ trong nghiên cứu của đề tài. ................................... 25 1.4.1 Khu vực thu nhận ảnh và thiết bị bay chụp ảnh .......................................... 25 1.4.2 Dữ liệu sử dụng trong nghiên cứu của đề tài............................................... 27 Chương 2 - NGHIÊN CỨU VÀ ĐỀ XUẤT THUẬT TOÁN TẠO DEM TỪ DỮ LIỆU DSM ............................................................................................................ 28 2.1 Tổng quan về công tác tạo DEM trong xử lý ảnh UAV.................................... 28 2.2 Nghiên cứu và đề xuất thuật toán tạo DEM từ DSM ........................................ 29 2.2.1 Tổng quan về các thuật toán tạo DEM từ DSM .......................................... 29 2.2.2 Nghiên cứu thuật toán sử dụng trong công nghệ LiDar ............................... 31 2.2.2.1 Thuật toán lọc số liệu địa hình để thành lập DEM từ DSM [90] ............ 31 2.2.2.2 Thuật toán lọc điểm địa vật và cây [90] ................................................ 32 2.2.3 Nghiên cứu đề xuất thuật toán tạo DEM từ dữ liệu DSM trong xử lý ảnh UAV ................................................................................................................... 34 2.2.3.1 Thuật toán xác định các điểm độ cao đột biến ....................................... 34 2.2.3.2 Thuật toán xác định tập điểm độ cao địa vật ......................................... 37 2.2.3.3 Thuật toán nội suy độ cao tái tạo nền địa hình ....................................... 40
iii 2.3 Thực nghiệm tạo DEM từ dữ liệu DSM bằng thuật toán đề xuất ...................... 42 2.3.1 Dữ liệu sử dụng .......................................................................................... 42 2.3.2 Sơ đồ thuật toán của chương trình tạo DEM từ dữ liệu DSM...................... 43 2.3.3 Kết quả tạo DEM từ dữ liệu DSM và đánh giá độ chính xác....................... 44 2.3.3.1 Kết quả thiết đặt ngưỡng độ cao đột biến .............................................. 44 2.3.3.2 Kết quả phân ngưỡng địa hình tự động ................................................. 45 2.3.3.3 Kết quả phân ngưỡng địa hình tùy chỉnh ............................................... 46 2.3.3.4 Kết quả tái tạo nền địa hình................................................................... 47 2.3.4 Đánh giá độ chính xác kết quả thực nghiệm ............................................... 49 2.3.4.1 Khả năng xác định các khu vực địa vật, khu vực có độ cao đột biến ..... 49 2.3.4.2 Khả năng tái tạo lại nền địa hình ........................................................... 50 2.3.4.3 Độ chính xác DEM của chương trình tạo ra so với kết quả DEM đo đạc thực địa ..................................................................................................... 51 Chương 3 - NGHIÊN CỨU PHƯƠNG PHÁP NÂNG CAO ĐỘ CHÍNH XÁC NHẬN DẠNG TỰ ĐỘNG ĐỐI TƯỢNG TRÊN ẢNH UAV ................................ 55 3.1 Tổng quan về nhận dạng đối tượng ảnh ........................................................... 55 3.2 Cơ sở lý thuyết và thuật toán trong PLĐHĐT .................................................. 58 3.2.1 Các cơ sở tri thức sử dụng trong PLĐHĐT ................................................. 58 3.2.2 Thuật toán sử dụng trong phân mảnh ảnh ................................................... 61 3.2.3 Phương pháp nâng cao độ chính xác nhận dạng đối tượng trên ảnh UAV ... 63 3.3 Thực nghiệm nhận dạng đối tượng trên ảnh UAV sử dụng dữ liệu DHM và các dữ liệu khác ........................................................................................................... 64 3.3.1 Dữ liệu sử dụng .......................................................................................... 64 3.3.2 Quy trình nhận dạng đối tượng trên ảnh UAV sử dụng DHM và các dữ liệu khác .................................................................................................................... 65 3.3.2.1 Công tác tiền xử lý dữ liệu .................................................................... 66 3.3.2.2 Phân mảnh ảnh ..................................................................................... 66 3.3.2.3 Thiết lập các lớp đối tượng ................................................................... 67 3.3.2.4. Thiết lập bộ quy tắc và tiến hành xác định lớp cho đối tượng ............... 68
iv 3.3.2.5 Định danh từng đối tượng địa vật .......................................................... 72 3.3.2.6 Đánh giá độ chính xác .......................................................................... 74 Chương 4 - XÂY DỰNG CƠ SỞ DỮ LIỆU 3D TỪ KẾT QUẢ XỬ LÝ ẢNH UAV83 4.1 Tổng quan về xây dựng cơ sở dữ liệu 3D ......................................................... 83 4.2 Cơ sở lý thuyết khoa học về xây dựng cơ sở dữ liệu 3D................................... 87 4.2.1 Cơ sở dữ liệu 3D ........................................................................................ 87 4.2.2 Chuẩn hóa cơ sở dữ liệu ............................................................................. 89 4.2.3 Một số phần mềm ứng dụng trong công tác xây dựng CSDL 3D ................ 90 4.2.3.1 Phần mềm Pix4D mapper ..................................................................... 90 4.2.3.2 Phần mềm Skyline ................................................................................ 91 4.2.3.3 Phần mềm ArcGIS ................................................................................ 92 4.2.4 Thiết kế mô hình 3D từ ảnh UAV .............................................................. 93 4.2.4.1 Mô hình 3D mô phỏng .......................................................................... 94 4.2.4.2 Mô hình 3D thực................................................................................... 95 4.3. Thực nghiệm xây dựng CSDL 3D từ kết quả xử lý ảnh UAV ......................... 97 4.3.1 Dữ liệu sử dụng .......................................................................................... 97 4.3.2 Quy trình thực nghiệm xây dựng CSDL 3D................................................ 98 4.3.3 Kết quả xây dựng cơ sở dữ liệu 3D và đánh giá........................................ 104 KẾT LUẬN VÀ KIẾN NGHỊ ............................................................................. 106 DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA TÁC GIẢ ............................ 108 TÀI LIỆU THAM KHẢO ................................................................................... 110 PHỤ LỤC............................................................................................................ 122 Phụ lục 1: Thông số thiết đặt máy chụp ảnh, ảnh chụp và thiết bị bay..................... 122 Phụ lục 1: Cơ sở lý thuyết thiết kế bay chụp ảnh UAV .......................................... 123 Phụ lục 3: Chương trình tạo DEM từ dữ liệu DSM .............................................. 125 Phụ lục 4: Một số đoạn Code của chương trình tạo DEM từ DSM ...................... 129 Phụ lục 5: Số liệu so sánh chênh độ cao giữa DEM đo đạc trực tiếp và DEM tạo ra từ DSM bằng thuật toán đề xuất .......................................................................... 136 Phụ lục 6: Thiết kế cấu trúc dữ liệu nền địa lý tỷ lệ 1:2000 .................................. 141
v Danh mục các ký hiệu, chữ viết tắt tiếng Việt và tiếng Anh UAV Unmanned Aircraft Vehicle: Thiết bị máy bay không người lái DEM Digital Elevation Model: Mô hình số độ cao DSM Digital Surface Model: Mô hình số bề mặt DTM Digital Terrain Model: Mô hình số địa hình DHM Digital Height Model: Mô hình số độ cao địa vật 2D Two Dimension: Hai chiều 3D Three Dimension: Ba chiều GIS Geographic Information System Hệ thống thông tin địa lý GPS Global Positioning System: Hệ thống định vị toàn cầu INS Inertial Navigation System: Hệ thống dẫn đường quán tính IMU Inertial Measurement Unit: Đơn vị đo lường quán tính GCS Ground Control Systerm Trạm điều khiển mặt đất PLĐHĐT Phân loại định hướng đối tượng CSDL Cơ sở dữ liệu MBKNL Máy bay không người lái KCANN Khống chế ảnh ngoại nghiệp
vi Danh mục các bảng, biểu đồ Bảng 2.1. Ký hiệu mức độ cao các đối tượng......................................................... 35 Bảng 2.2. Bảng giá trị chênh cao giữa các lớp đối tượng ....................................... 35 Biểu đồ 2.3 (a). So sánh chênh độ cao trên các mặt cắt địa hình 1-1’ ..................... 53 Biểu đồ 2.3 (b). So sánh chênh độ cao trên các mặt cắt địa hình 2-2’ ..................... 53 Biểu đồ 2.3 (c). So sánh chênh độ cao trên các mặt cắt địa hình 3-3’ ..................... 53 Bảng 3.1. Miêu tả các tiêu chí trong bộ quy tắc theo thuật toán PLĐHĐT ảnh UAV kết hợp dữ liệu DHM trên khu vực thực nghiệm .................................................... 68 Bảng 3.2. Thống kê độ chính xác tổng thể nhận dạng theo lớp đối tượng trên ảnh UAV khi không kết hợp bình đồ ảnh với DHM so với kết quả véc tơ hóa ảnh tham chiếu...................................................................................................................... 77 Bảng 3.3. Thống kê độ chính xác tổng thể nhận dạng theo lớp đối tượng trên ảnh UAV khi kết hợp bình đồ ảnh so với kết quả véc tơ hóa ảnh tham chiếu ................ 78 Bảng 3.4. Kết quả thống kê và độ chính xác nhận dạng đối tượng trên Hình 3.13 .. 80 Bảng 3.5. Kết quả thống kê và độ chính xác nhận dạng đối tượng trên Hình 3.14 .. 80 Bảng 3.6. Kết quả thống kê và độ chính xác nhận dạng đối tượng trên Hình 3.15 .. 81 Bảng 3.7. Kết quả thống kê và độ chính xác nhận dạng đối tượng trên Hình 3.16 .. 81 Bảng 3.8. Kết quả thống kê và độ chính xác nhận dạng đối tượng trên Hình 3.17 .. 82 Bảng 4.1. Danh mục các chuẩn TTĐLCS .............................................................. 90
vii Danh mục các hình vẽ, đồ thị Hình 1.1. Một số UAV được phát triển và sử dụng thu nhận ảnh trên thế giới ....... 18 Hình 1.2. Một số UAV được phát triển và sử dụng thu nhận ảnh ở Việt Nam ........ 20 Hình 1.3. Một số kết quả ứng dụng dữ liệu ảnh UAV trong Trắc địa-bản đồ.......... 24 Hình 1.4. Vị trí địa lý khu vực bay thử nghiệm UAV (Nguồn: Google Map) ......... 25 Hình1.5. Thiết bị bay UAV Swinglet-CAM và máy ảnh Canon IXUS 127HS ....... 26 Hình 1.6. Mô tả dải bay và hình ảnh 1 tấm ảnh thu nhận khu vực thử nghiệm............ 26 Hình 1.7. Các kết quả xử lý ảnh UAV bằng phần mềm Pix4D mapper. ..................... 27 Hình 2.1. (a) Dữ liệu DSM, (b) Dữ liệu DEM được lọc trên TopoSys [49] ........... 33 Hình 2.2. Mô tả dữ liệu ảnh DSM .......................................................................... 35 Hình 2.3. Kết quả của Hình 2.2 với ngưỡng chênh cao đột biến là 1.5m ................ 36 Hình 2.4. Xác định khu vực các đối tượng địa vật bằng phương pháp trực tiếp. ..... 38 Hình 2.5. Minh họa kết quả của Hình 2.3 với sự kết hợp ngưỡng đột biến được thiết lập 1.5m và ngưỡng địa hình tự động..................................................................... 39 Hình 2.6. Mối quan hệ giữa điểm ảnh p với các điểm địa hình xung quanh. .......... 41 Hình 2.7. (a) Mô hình số bề mặt (DSM); (b) Bình đồ ảnh UAV............................. 43 Hình 2.8. Sơ đồ thuật toán của chương trình tạo DEM từ DSM ............................. 44 Hình 2.9. Thiết lập với các ngưỡng chênh cao đột biến khác nhau ......................... 45 Hình 2.10. (a) Mô hình số bề mặt; (b) Phân ngưỡng địa hình tự động. ................... 46 Hình 2.11. Kết quả đối tượng địa vật được xác định bằng thuật toán phân ngưỡng.47 Hình 2.12. So sánh DSM và kết quả DEM tạo ra bằng thuật toán đề xuất .............. 48 Hình 2.13. So sánh DSM và kết quả DEM tạo ra bằng thuật toán đề xuất .............. 49 Hình 2.14. Kết quả xác định các khu vực địa vật, khu vực có độ cao đột biến. ...... 50 Hình 2.15. (a) Dữ liệu DSM ; (b) Kết quả DEM không bổ sung tập điểm độ cao; (c) Kết quả DEM có bổ sung tập điểm độ cao ............................................................. 50 Hình 2.16. (a) Dữ liệu DSM; (b) Dữ liệu DEM; (c) Bình đồ ảnh. .......................... 51 Hình 2.17. (a) Dữ liệu DSM; (b) Dữ liệu DEM; (c) Bình đồ ảnh. .......................... 51 Hình 2.18. (a) Bình đồ ảnh tham chiếu; (b) Địa hình đo đạc trực tiếp; (c) Dữ liệu DSM sử dụng tạo DEM; (d) DEM được tạo từ thuật toán đề xuất; (e) Hình ảnh DSM ở dạng 3D; (f) Hình ảnh DEM ở dạng 3D............................................... 52 Hình 3.1. So sánh đặc trưng hình dạng của sông suối và ao, hồ ............................. 60
viii Hình 3.2. Quan hệ topo và khái niệm khoảng cách dùng trong PLĐHĐT [41]. ...... 60 Hình 3.3. So sánh kết quả phân mảnh ảnh với các tỷ lệ khác nhau ......................... 61 Hình 3.4. (a) Dữ liệu ảnh UAV và (b) Dữ liệu DHM khu vực Vật Lại-Ba Vì-Hà Nội... 64 Hình 3.5 Quy trình nhận dạng đối tượng dựa vào thuật toán PLĐHĐT sử dụng DHM và các dữ liệu khác ...................................................................................... 65 Hình 3.6. Kết quả phân mảnh theo thuật toán Multiresolution segmentation với (Scale parameter =50; shape=0.3 và compactness = 0.7) ....................................... 67 Hình 3.7. Một hình nón đôi của mô hình màu HSI [84]. ........................................ 70 Hình 3.8. Sơ đồ khái quát quá trình nhận dạng theo lớp đối tượng với tiêu chí trên Bảng 3.1 ................................................................................................................ 71 Hình 3.9. Kết quả nhận dạng theo từng lớp đối tượng trên UAV khi kết hợp 3 kênh phổ (Red, Green, Blue) và DHM khu vực thực nghiệm ......................................... 72 Hình 3.10. Gộp mảnh ảnh từ kết quả nhận dạng đối tượng theo lớp ....................... 73 Hình 3.11. (a) Mẫu ảnh thử nghiệm; (b) Dữ liệu DHM; (c) Kết quả gộp vùng nhận dạng; (d) Kết quả nhận dạng hiển thị trên ArcGis. ................................................. 73 Hình 3.12. (a) Mẫu ảnh thử nghiệm; (b) Kết quả véc tơ hóa; (c) Kết quả nhận dạng đối tượng khi không kết hợp bình đồ ảnh với DHM; (d) Kết quả nhận dạng đối tượng khi kết hợp bình đồ ảnh với DHM. .............................................................. 74 Hình 3.13. Kết quả nhận dạng đối tượng nhà mái tôn so với dữ liệu số hóa ........... 79 Hình 3.14. Kết quả nhận dạng đối tượng mặt nước so với dữ liệu số hóa ............... 79 Hình 3.15. Kết quả nhận dạng đối tượng nhà tầng so với dữ liệu số hóa ................ 79 Hình 3.16. Kết quả nhận dạng đối tượng nhà mái ngói so với dữ liệu số hóa ......... 79 Hình 3.17. Kết quả nhận dạng đối tượng nhà fibro xi nămg so với dữ liệu số hóa .. 80 Hình 4.1. (a) CSDL 3D thành phố Vĩnh Yên, tỉnh Vĩnh Phúc (theo[25]), (b) CSDL 3D thành phố Toronto, Canada (nguồn: Google earth)........................................... 86 Hình 4.2. Dữ liệu không gian và dữ liệu thuộc tính trong cơ sở dữ liệu .................... 89 Hình 4.3. Mô hình nhà được lập trên phần mềm Pix4D mapper (Nguồn: Google.com).......................................................................................................... 91 Hình 4.4. Các gói dữ liệu cơ bản của Skyline (Nguồn: skylineglobe.com) ............. 91 Hình 4.5. Ba phần mềm ứng dụng chính của ArcGis (Nguồn: ESRI.com). ............ 93 Hình 4.6. Năm mức độ chi tiết (LoD) được định nghĩa bởi CityGML [61] ............ 94
ix Hình 4.7. Quy trình xây dựng mô hình 3D mô phỏng ............................................ 95 Hình 4.8. Thiết kế tuyến bay thu nhận ảnh phục vụ tái tạo mô hình 3D thực [4] .... 96 Hình 4.9. Kết quả thu nhận hình ảnh đối tượng theo 4 hướng cơ bản ..................... 96 Hình 4.10. Quy trình xây dựng mô hình 3D thực ................................................... 97 Hình 4.11. Dữ liệu thực nghiệm sử dụng xây dựng cơ sở dữ liệu 3D..................... 98 Hình 4.12. Quy trình xây dựng cơ sở dữ liệu 3D ................................................... 98 Hình 4.13. Kết quả véc tơ hệ thống giao thông, thủy hệ và bình độ khu vực thực nghiệm. ................................................................................................................. 99 Hình 4.14. Xây dựng các gói dữ liệu và lớp đối tượng trên ArcCatalog. .............. 100 Hình 4.15. Load dữ liệu véc tơ vào các lớp trong cấu trúc CSDL ........................ 100 Hình 4.16. (a) Đám mây điểm (b) Ảnh cấu trúc và (c) Mô hình 3D thực ............. 101 Hình 4.17. Load các lớp đối tượng vào CSDL trên TerraExplorer Pro ................. 103 Hình 4.18. Nhập dữ liệu thuộc tính vào CSDL trên TerraExplorer Pro ................ 103 Hình 4.19. Trình bày cơ sở dữ liệu 3D trên TerraExplorer Pro............................ 104 Hình 4.20. Tìm kiếm thông tin trên CSDL 3D ..................................................... 105
10 MỞ ĐẦU 1. Tính cấp thiết của đề tài Những năm gần đây, việc ứng dụng thiết bị bay không người lái (UAV) để thu nhận ảnh phục vụ cho các lĩnh vực quân sự và dân sự đã khá phổ biến trên thế giới và ở Việt Nam do thiết bị này có những ưu điểm như: Thiết bị bay UAV có thể sử dụng trong các tình huống có độ rủi ro cao mà không nguy hại đến cuộc sống con người, các vùng không thể tiếp cận, ở cao độ thấp và bay gần với các đối tượng nơi mà hệ thống có người lái không thể bay được. Những nơi xảy ra các thảm họa tự nhiên hoặc những nơi có điều kiện thời tiết xấu như nhiều mây và mưa phùn. UAV còn có khả năng thu nhận dữ liệu nhanh chóng ở thời điểm tức thời, truyền tải hình ảnh xuống trạm điều khiển mặt đất. Việc kết hợp của hệ thống GPS/INS ổn định cho phép UAV đảm bảo độ chính xác về vị trí và hướng của hệ thống bay, mặt khác dữ liệu ảnh thu nhận được có độ phủ lớn từ 60 đến 90%, ảnh chụp ở nhiều góc độ, hình ảnh trung thực có độ phân giải cao, hàm chứa lượng thông tin lớn. Từ những ưu điểm đó, đã có khá nhiều các nghiên cứu về ứng dụng dữ liệu ảnh UAV vào trong các lĩnh vực như lập bản đồ địa hình, địa chính [3], giám sát sạt lở lưu vực sông [90], xây dựng dữ liệu 3D đô thị [11], xây dựng cơ sở dữ liệu 3D các khu vực khảo cổ [30],[32], xây dựng mô hình số độ cao [94], khảo sát mức độ thiệt hại do thiên tai, dịch họa, môi trường [54],.v.v. Và gần đây nhờ công nghệ quét đám mây điểm (3D point cloud) của UAV-LiDar một số nhóm nghiên cứu đã xây dựng dữ liệu không gian (3D) theo công nghệ hiện đại này. Tuy nhiên UAV- LiDar chưa được phổ biến do giá thành của công nghệ này còn khá cao trên thị trường thương mại. Các nghiên cứu ứng dụng ảnh của UAV trong lĩnh vực dân sự trên thế giới và ở Việt Nam đa phần tập trung vào UAV giá rẻ, ảnh thu nhận của thiết bị là ảnh kỹ thuật số thông thường. Từ dữ liệu ảnh UAV thu nhận được, bằng các công nghệ xử lý ảnh tự động hiện nay dễ dàng cho ra được kết quả bình đồ ảnh, DSM và DEM. Tuy nhiên, để tạo lập cơ sở dữ liệu đòi hỏi phải có dữ liệu DEM và dữ liệu
11 địa vật trên bề mặt một cách chính xác. Các nghiên cứu trên cho thấy, việc tạo DEM tự động trong quá trình xử lý ảnh UAV chưa đạt độ chính xác để có thể đưa vào sử dụng, do vậy kết quả DEM đang được tạo ra từ việc đo điểm độ cao địa hình trên mô hình các cặp ảnh lập thể UAV. Tuy nhiên, với kích thước ảnh nhỏ, số lượng ảnh UAV thu nhận sẽ là rất lớn trên khu vực bay chụp, để đo điểm độ cao trên một khối lượng lớn cặp ảnh lập thể sẽ là rất vất vả, đôi khi là không thể. Việc tạo lập dữ liệu các đối tượng địa vật từ bình đồ ảnh UAV (orthomosaic) cũng thực hiện phổ biến theo phương pháp véc tơ hóa. Gần đây đã có một số nghiên cứu sử dụng các thuật toán nhận dạng để chiết tách các đối tượng trên bề mặt trên ảnh có độ phân giải cao phục vụ cho công tác xây dựng CSDL [13],[18], [97], [101],v.v., kết quả của các nghiên cứu đã khẳng định nhận dạng theo thuật toán của phân loại định hướng đối tượng (PLĐHĐT) phù hợp với ảnh có độ phân giải cao như ảnh Worldview, ảnh hàng không có nhiều hơn 3 kênh phổ (RGB). Tuy nhiên để nhận dạng đối tượng trên bề mặt ảnh kỹ thuật số của UAV với ba kênh phổ (RGB) và có độ phân giải siêu cao thì chưa nghiên cứu nào đề cập đến. Ngoài ra, việc xây dựng cơ sở dữ liệu 3D (CSDL 3D) từ dữ liệu ảnh UAV cũng đang được nhiều tác giả trên thế giới nghiên cứu [37],[38],[42], v.v. Mô hình không gian trong CSDL 3D được xây dựng dưới hai dạng: (1) là mô hình 3D mô phỏng (3D model mapping) được xây dựng dựa trên các thành phần bình đồ ảnh của UAV, DEM và bộ ký hiệu thiết kế địa vật 3D và (2) là mô hình 3D thực (3D mapping in real time) được xây dựng từ các kết quả dữ liệu đám mây điểm (3D point cloud) và ảnh cấu trúc đối tượng (texture image) được tạo ra tự động trong quá trình xử lý ảnh UAV. Trên thế giới, mô hình 3D thực đang có xu hướng thay thế dần mô hình 3D mô phỏng do chúng có ưu điểm như: Mô hình biểu diễn hình ảnh thật mà không cần phải thiết kế mô phỏng các đối tượng, địa vật; Sử dụng trực tiếp DSM không cần dữ liệu DEM để xây dựng mô hình. Điển hình cho cách tiếp cận này là CSDL 3D của Google Earth với sản phẩm mô hình 3D thực rất trực quan và có độ chi tiết cao ở một số thành phố lớn trên thế giới, giúp người sử dụng dễ có cái nhìn tổng quan, dễ truy cập tìm kiếm. Tuy nhiên, các nghiên cứu trong nước mới
12 đang tập trung nghiên cứu xây dựng cơ sở dữ liệu 3D với mô hình 3D ở dạng mô phỏng [11],[25]. Chưa có nghiên cứu nào đề cập đến xây dựng cơ sở dữ liệu 3D với mô hình 3D thực. Xuất phát từ những nhu cầu thực tế trên, đề tài “Nghiên cứu phương pháp nhận dạng tự động một số đối tượng và xây dựng cơ sở dữ liệu 3D bằng dữ liệu ảnh thu nhận từ thiết bị bay không người lái” nhằm giải quyết và tiếp cận với các vấn đề trên. 2. Mục tiêu nghiên cứu - Xây dựng thuật toán và chương trình tạo DEM từ kết quả DSM phù hợp với một số địa hình ở Việt Nam; - Nhận dạng và nâng cao độ chính xác nhận dạng đối tượng trên bình đồ ảnh UAV; - Xây dựng cơ sở dữ liệu 3D từ kết quả xử lý ảnh UAV. 3. Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu chính, gồm: các thuật toán về tách DEM từ DSM, thuật toán nhận dạng đối tượng, và xây dựng cơ sở dữ liệu 3D từ dữ liệu DSM, ảnh trực giao và ảnh xiên có được bằng UAV sau khi đã xử lý. Phạm vi nghiên cứu của luận án bao gồm dữ liệu DSM và ảnh trực giao, ảnh xiên sau khi đã xử lý có được bằng một số UAV đã được kiểm định tại Việt Nam. 4. Nội dung nghiên cứu - Tổng quan hệ thống UAV và ứng dụng dữ liệu ảnh thu nhận từ UAV trong công tác Trắc địa - Bản đồ; - Tổng quan về công tác tạo DEM trong công nghệ phần mềm xử lý ảnh, công tác nhận dạng đối tượng và xây dựng CSDL 3D từ các kết quả xử lý ảnh UAV trên Thế giới và ở Việt Nam; - Xây dựng thuật toán tạo DEM từ DSM (dữ liệu DSM được tạo ra trong quá trình xử lý ảnh UAV); - Nâng cao độ chính xác nhận dạng đối tượng trên bề mặt ảnh UAV khi kết hợp dữ liệu bình đồ ảnh và dữ liệu độ cao địa vật (DHM);
13 - Xây dựng CSDL 3D từ các kết quả đám mây điểm (3D point cloud), ảnh cấu trúc đối tượng (texture image) tạo ra trong quá trình xử lý ảnh UAV và cơ sở dữ liệu địa lý (GIS). 5. Phương pháp nghiên cứu - Phương pháp tiếp cận lý thuyết, phân tích và tổng hợp các dữ liệu, tài liệu liên quan; - Phương pháp thực nghiệm: Thử nghiệm các dữ liệu thực tế để sáng tỏ cơ sở lý thuyết cho các hướng nghiên cứu đưa ra; - Phương pháp mô hình hoá: Các hướng nghiên cứu trong luận án được mô hình hóa giúp dễ hiểu, dễ sử dụng trong quá trình xử lý dữ liệu; - Phương pháp so sánh: Đối chiếu các kết quả nghiên cứu theo các hướng tiếp cận khác nhau để đưa ra nhận định và chứng minh tính đúng đắn trong các đề xuất mới của luận án; - Phương pháp chuyên gia: Tiếp thu ý kiến của người hướng dẫn, tham khảo ý kiến các nhà khoa học và đồng nghiệp về các vấn đề trong nội dung luận án. 6. Ý nghĩa khoa học và thực tiễn của luận án Ý nghĩa khoa học: Luận án đã phân tích, đề xuất và khẳng định tính đúng đắn của việc đưa ra thuật toán tạo DEM từ DSM phù hợp với một số địa hình ở Việt Nam, phương pháp nhận dạng đối tượng trên ảnh UAV cũng như công tác xây dựng CSDL 3D từ mô hình 3D thực. Xác lập tính khoa học trong mỗi hướng nghiên cứu, đề xuất trong luận án, mở ra hướng tiếp cận mới trong việc xử lý và ứng dụng kết quả xử lý dữ liệu ảnh UAV. Ý nghĩa thực tiễn: Bằng cách thử nghiệm các dữ liệu thực tế để khẳng định mỗi nghiên cứu, đề xuất trong luận án hoàn toàn có thể ứng dụng trong thực tiễn, góp phần giảm thời gian và công sức trong công tác xử lý dữ liệu ảnh của UAV, đưa ra các sản phẩm có tính ứng dụng tốt nhất phục vụ cho các lĩnh vực khác nhau trong đời sống.
14 7. Các luận điểm bảo vệ - Thuật toán tạo DEM từ kết quả DSM có được trong xử lý ảnh UAV và cho phép nâng cao độ chính xác của mô hình DEM; - Độ chính xác nhận dạng đối tượng trên ảnh kỹ thuật số UAV khi kết hợp giá trị độ xám các kênh phổ và dữ liệu độ cao địa vật (DHM) được nâng cao; - CSDL 3D từ mô hình 3D thực kết hợp với CSDL thông tin địa lý (GIS) có tính trực quan cao và phản ảnh đúng bề mặt địa hình. 8. Các điểm mới của luận án - Đề xuất thuật toán và xây dựng chương trình tạo DEM từ kết quả DSM có được từ xử lý ảnh UAV; - Đề xuất phương pháp nâng cao độ chính xác nhận dạng đối tượng trên ảnh kỹ thuật số của UAV kết hợp với dữ liệu độ cao địa vật; - Góp phần hoàn thiện quy trình xây dựng CSDL 3D từ mô hình 3D thực kết hợp với CSDL thông tin địa lý. 9. Cấu trúc và khối lượng luận án Luận án có các phần như sau: Mở đầu Chương 1 - Tổng quan về hệ thống UAV và các ứng dụng dữ liệu ảnh UAV trong Trắc địa - Bản đồ Chương 2 - Nghiên cứu và đề xuất thuật toán tạo DEM từ dữ liệu DSM Chương 3 - Nghiên cứu phương pháp nâng cao độ chính xác nhận dạng tự động đối tượng trên ảnh UAV Chương 4 - Xây dựng cơ sở dữ liệu 3D từ kết quả xử lý ảnh UAV Kết luận và kiến nghị
15 10. Lời cảm ơn Trước tiên, tôi xin bày tỏ sự kính trọng và lòng biết ơn sâu sắc tới PGS.TS Nguyễn Quang Minh và PGS.TS Trần Vân Anh, hai người Thầy đã tận tình hướng dẫn, động viên, giúp đỡ tôi trong suốt quá trình nghiên cứu và viết luận án này. Những nhận xét, đánh giá và đặc biệt là những gợi ý của Thầy Cô về hướng giải quyết các vấn đề thực sự là những bài học vô cùng quý giá đối với tôi trong suốt quá trình nghiên cứu và viết luận án. Tôi xin gửi lời cảm ơn chân thành tới các Thầy Cô trong Bộ môn Đo ảnh và Viễn thám, Khoa Trắc địa - Bản đồ và Quản lý đất đai, trường Đại học Mỏ - Địa chất đã tạo điều kiện thuận lợi giúp đỡ tôi trong quá trình học tập và nghiên cứu. Tôi xin gửi lời cảm ơn chân thành đến TS Lê Đại Ngọc cùng toàn thể các cán bộ, nhân viên trong Cục Bản đồ, Bộ Tổng tham mưu đã nhiệt tình cung cấp các số liệu, tài liệu để giúp tôi hoàn thành các nghiên cứu của mình. Tôi xin cảm ơn Ban Giám hiệu và tập thể giảng viên Khoa Trắc địa - Bản đồ, trường Đại học Tài nguyên và Môi trường Hà Nội nơi tôi đang công tác, những người bạn Nguyễn Sách Thành, Lã Phú Hiến, Dương Thành Trung và Tống Thị Huyền Ái đã chia sẽ, giúp đỡ tôi trong quá trình nghiên cứu luận án. Cuối cùng, tôi xin cảm ơn tới gia đình và người thân đã luôn bên cạnh động viên, cổ vũ tinh thần để giúp tôi hoàn thành luận án này. Nghiên cứu sinh Đỗ Văn Dương
16 Chương 1- TỔNG QUAN VỀ HỆ THỐNG UAV VÀ CÁC ỨNG DỤNG DỮ LIỆU ẢNH UAV TRONG TRẮC ĐỊA - BẢN ĐỒ 1.1 Định nghĩa UAV Hệ thống bay không người lái (UAV) còn được gọi là phương tiện cơ giới trên không [102] có thể điều khiển từ xa, bán tự động, tự động, hoặc kết hợp giữa điều khiển từ xa và tự động. Có một số định nghĩa khác nhau về thiết bị bay không người lái, tuy nhiên người ta vẫn quen sử dụng thuật ngữ UAV (Unmanned Aerial Vehicle) hơn cả [64]. Trong quân sự, UAV đã được sử dụng rất sớm trong các cuộc chiến tranh thế giới và ở Việt Nam. Nhiệm vụ của UAV quân sự làm trinh sát, tìm mục tiêu, thu thập hình ảnh cả vào ban ngày và ban đêm. Do vậy, thiết bị UAV dùng trong quân sự hiện đại, phức tạp, đắt tiền và có tính bảo mật rất cao. Trong thập niên 90 của thế kỷ trước, NASA đã xây dựng một chương trình phối hợp với các đối tác công nghiệp để phát triển công nghệ để hỗ trợ cho thị trường UAV thương mại. Từ đó đến nay đã có rất nhiều các công ty của các nước trên thế giới đã bắt tay vào việc nghiên cứu, chế tạo và thương mại hóa thiết bị này với các mẫu và tên gọi khác nhau [4]. UAV được sử dụng trong dân sự là các hệ thống đơn giản, có trọng lượng nhẹ hoặc siêu nhẹ thuận tiện cho công tác vận chuyển và quan trọng là giá thành rẻ. Đối với công tác Trắc địa, hệ thống UAV giống như một hệ thống viễn thám thông thường, trong đó thiết bị bay UAV đóng vai trò là vật mang (carriers), trên thiết bay UAV có thể mang các bộ cảm biến như sensor viễn thám, máy ảnh, máy quét laser phục vụ cho công tác quay video và thu nhận hình ảnh. 1.2 Lịch sử phát triển hệ thống UAV 1.2.1 Trên thế giới Năm 1858, hệ thống UAV đầu tiên được ứng dụng công tác đo ảnh, các bức ảnh hàng không đầu tiên của ngôi làng của Pháp Petit-Becetre được thực hiện bởi nhiếp ảnh gia Gaspard Tournachon (được gọi là NaDar) từ phương tiện bay là một khinh khí cầu ở độ cao 80m [51].
17 Năm 1882, nhà khí tượng học ED Archibald người Anh là một trong những người đầu tiên chụp ảnh thành công khi ông sử dụng phương tiện bay là một chuỗi Diều được gắn trên đó một máy ảnh. Năm 1888, Arthur Batut cũng đã chụp các tấm ảnh hàng không trên phương tiện Diều bay ở Labruguiere, Pháp. Ở California, sự tàn phá của San Francisco sau khi trận động đất và hỏa hoạn năm 1906 đã được ghi lại bởi nhiếp ảnh gia George R. Lawrence, khi ông sử dụng một máy ảnh gắn liền với phương tiện bay là chuỗi 17 diều bay ở độ cao 2000 feet để thu nhận hình ảnh trên thành phố [51]. Trong năm 1903, Julius Neubranner đã sử dụng phương tiện bay là chim bồ câu có gắn máy ảnh được thiếp lập chụp tự động trong thời gian 30 giây, những tấm ảnh chụp được sử dụng trong quân sự và đã được giới thiệu tại triển lãm nhiếp ảnh quốc tế năm 1909 ở Dresden [51]. Năm 1906, Albert Maul người Đức cũng đã thử nghiệm thành công phương pháp chụp ảnh gắn trên một tên lửa đẩy bằng khí nén. Máy ảnh của ông đã chụp được những bức ảnh hàng không tại vùng nông thôn ở Thụy Điển và ở Đức từ độ cao 2.600 feet, trước khi máy ảnh được đẩy ra và đưa trở lại trái đất bằng dù [57]. Năm 1980, lần đầu tiên một UAV máy bay trực thăng mô hình gắn động cơ cánh quay đã được Wester-Ebbinghaus sử dụng vào mục đích đo ảnh. Hệ thống trọng tải là 3kg, có thể bay ở độ cao đến 100m. Hệ thống UAV được gắn thiết bị định vị và máy ảnh dạng phổ thông loại Rolleiflex SLX [109]. Năm 2006, công ty Microdrone của Đức cũng đã giới thiệu một UAV phiên bản đầu tiên MD4-200 trọng lượng cất cánh là 1100g và thời gian hoạt động 35 phút. Từ đó đến nay các phiên bản khác như MD4-1000, MD4-2000 cũng đã được giới thiệu với các tính năng vượt trội về thời gian bay và trọng lượng cất cánh,.v.v.[54]. Năm 2009, Imbach và Eck cũng giới thiệu hệ thống UAV gồm một chiếc trực thăng mô hình của công ty Aeroscout được trang bị với một máy quét laser nhỏ gọn và nhẹ trong không khí LMS-Q160 của Riegl [66].
18 Năm 2012, Luke Wallace và các cộng sự chuyên nghiên cứu về lĩnh vực địa lý và môi trường thuộc Đại học Tasmania, Úc đã đưa ra một hệ thống UAV-LiDAR với ứng dụng để kiểm kê rừng [106]. Năm 2013, tại hội chợ triển lãm về công nghệ UAV ở San Francisco, Wolfgang Juchmann Velodyne đã giới thiệu hệ thống UAV-Phoenix được gắn thiết bị quét LiDar HDL-32E và công nghệ GNSS mới nhất phục vụ lập bản đồ 3D dạng đám mây điểm [58]. Năm 2014, I. Colomina và P. Molina cũng đã có bài viết tổng quan về hệ thống UAV sử dụng trong đo ảnh và viễn thám trên Tạp chí ISPRS Journal of Photogrammetry and Remote Sensing [65]. Trong bài viết này, tác giả đã liệt kê khá đầy đủ về các hệ thống UAV và ứng dụng của nó trong các lĩnh vực như: nông nghiệp và môi trường, kỹ thuật giám sát không khí, bảo tồn di sản văn hóa,.v.v., giúp người đọc hiểu hơn về vai trò của UAV trong thế giới ngày nay. (a) UAV-Khinh khí cầu (b) UAV-Diều (c) UAV-Chim bồ câu (d) UAV-Tên lửa (e) UAV-trực thăng (f) UAV-trực thăng (g) UAV- 4 cánh quay (h) UAV LiDar-6 cánh cánh bằng cánh quay quay Hình 1.1. Một số UAV được phát triển và sử dụng thu nhận ảnh trên thế giới 1.2.2 Ở Việt Nam Năm 2005, Viện Kỹ thuật Phòng không - Không quân (VKTPK-KQ) đã chế tạo và bay thử nghiệm thành công các mẫu UAV M400-CT mang phiên hiệu 405, 406 tại sân bay Kép (Bắc Giang). Mục đích của các loại UAV này phục vụ quan sát