BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH
SKC003959
CÔNG TRÌNH 1*+,Ç1&Ӭ8.+2$+Ӑ&&Ӫ$6,1+9,Ç1
Tp. Hồ Chí Minh, WKiQJ
7È,&Ҩ875Ò&9Ұ77+ӆ'7Ӯ&Һ3+Î1+Ҧ1+
67(5(2&$0(5$
MÃ SỐ: 69
SKC0073 7 2
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM
BÁO CÁO TỔNG KẾT
ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN
SV2021-125
Chủ nhiệm đề tài: Nguyễn Tấn Lực
TP Hồ Chí Minh, 10/2021
TÁI CẤU TRÚC VẬT THỂ 3D TỪ CẶP
HÌNH ẢNH STEREO CAMERA
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM
BÁO CÁO TỔNG KẾT
ĐỀ TÀI NGHIÊN CỨU KHOA HỌC SINH VIÊN
TÁI CẤU TRÚC VẬT THỂ 3D TỪ CẶP
HÌNH ẢNH STEREO CAMERA
SV2021-125
Chủ nhiệm đề tài: Nguyễn Tấn Lực
Thuộc nhóm ngành khoa học: Kỹ thuật
SV thực hiện: Nguyễn Tấn Lực Nam, Nữ: Nam
Dân tộc: Kinh
Lớp, khoa: 18151CL3B, khoa Đào tạo Chất lượng cao
Năm thứ: 3 Số năm đào tạo: 4
Ngành học: Công nghệ kỹ thuật điều khiển và tự động hoá
Người hướng dẫn: PGS.TS Lê Mỹ Hà
TP Hồ Chí Minh, 10/2021
Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 1/90
MỤC LỤC
DANH MỤC HÌNH ẢNH ............................................................................................... 3
DANH MỤC NHỮNG TỪ VIẾT TẮT .......................................................................... 6
THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI ............................................... 7
MỞ ĐẦU ......................................................................................................................... 9
TỔNG QUAN ......................................................................................... 11
1.1. Phương pháp nghiên cứu .................................................................................... 11
1.2. Nguyên lý phương pháp tái cấu trúc vật thể 3D ................................................ 11
1.3. Các mô hình biến thể kỹ thuật trong phương pháp tái cấu trúc vật thể 3D ....... 11
1.3.1. Trong nước .................................................................................................. 12
1.3.2. Ngoài nước .................................................................................................. 12
1.4. Nội dung của đề tài ............................................................................................ 17
CƠ SỞ LÝ THUYẾT .............................................................................. 18
2.1. Tìm hiểu về stereo camera ................................................................................. 18
2.1.1. Mô hình pinhole camera ............................................................................. 18
2.1.2. Lens distortion ............................................................................................ 19
2.1.3. Homogeneous Coordinates ......................................................................... 21
2.2. Cân bằng sáng (histogram equalization) ............................................................ 22
2.3. Gaussian blur ...................................................................................................... 23
2.4. Hiệu chỉnh máy ảnh (camera calibration) .......................................................... 25
2.5. Hiệu chỉnh stereo camera ................................................................................... 27
2.6. Geometry of image formation ............................................................................ 28
2.7. Stereo matching: ................................................................................................. 33
2.7.1. Tng quan: .................................................................................................. 33
2.7.2. Phương pháp Semi-global matching: ......................................................... 34
Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 2/90
2.8. Bộ lọc trung vị (Median filter) ........................................................................... 36
XÂY DỰNG MÔ HÌNH 3D VẬT THỂ ................................................. 38
3.1. Khối lấy dữ liệu ảnh từ camera .......................................................................... 39
3.2. Khối hiệu chỉnh .................................................................................................. 40
3.3. Khối tính toán độ sâu ảnh................................................................................... 41
3.4. Khối hiển thị mô hình 3D................................................................................... 42
CHƯƠNG TRÌNH VÀ HƯỚNG DẪN SỬ DỤNG ............................... 44
4.1. Chương trình “captures.py” ............................................................................... 44
4.2. Chương trình “Calibration_Rectification.py” .................................................... 45
4.3. Chương trình “sgm_disparity.py” ...................................................................... 46
4.4. Chương trình “pointCloud_visualize.py” .......................................................... 46
THỰC NGHIỆM VÀ KẾT QUẢ THU ĐƯỢC ..................................... 48
5.1. Thực nghiệm 1: Kết quả tốt nhất nhóm đạt được. ............................................. 48
5.2. Thực nghiệm 2: Kết quả cùng phương pháp, cùng độ sáng nhưng vật thể khác.
................................................................................................................................... 51
5.3. Thực nghiệm 3: Kết quả cùng phương pháp, khác độ sáng, khác vật thể. ........ 52
5.4. Thực nghiệm 4: Kết quả cùng phương pháp, khác độ sáng, khác vật thể. ........ 52
5.5. Thực nghiệm 5: Kết quả so sánh phương pháp tìm bản đ chênh lệch (disparity
maps): ........................................................................................................................ 53
KẾT LUẬN VÀ KIẾN NGHỊ ....................................................................................... 55
TÀI LIỆU THAM KHẢO ............................................................................................. 56
PHỤ LỤC ...................................................................................................................... 58