HC VIN CÔNG NGH BƯU CHÍNH VIỄN THÔNG
--------
Nguyn Th Thu Thy
PHÁT HIỆN ĐỐI TƯỢNG TỪ VỰNG MỞ CÓ KÍCH THƯỚC NHỎ
TRONG ẢNH CHỤP TỪ DRONE SỬ DỤNG OWL-VIT
KẾT HỢP SAHI
ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)
HÀ NI 2024
HC VIN CÔNG NGH BƯU CHÍNH VIỄN THÔNG
--------
Nguyn Th Thu Thy
PHÁT HIỆN ĐỐI TƯỢNG TỪ VỰNG MỞ CÓ KÍCH THƯỚC NHỎ
TRONG ẢNH CHỤP TỪ DRONE SỬ DỤNG OWL-VIT
KẾT HỢP SAHI
Chuyên ngành: Khoa học máy tính
Mã số: 8.48.01.01
ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)
NGƯỜI HƯỚNG DẪN KHOA HỌC :
PGS.TS PHẠM VĂN CƯỜNG
HÀ NI 2024
i
LỜI CAM ĐOAN
Tôi cam đoan đề án Phát hiện đối tượng từ vựng mở có kích thước nhỏ trong
ảnh chụp từ drone sử dụng OWL-ViT kết hợp SAHI” công trình nghiên cứu của
riêng tôi. Các số liệu, kết quả nêu trong đề án tốt nghiệp trung thực chưa từng
được ai công bố trong bất kỳ công trình nào khác.
Tôi xin chịu hoàn toàn trách nhiệm về lời cam đoan nêu trên.
Học viên
Nguyễn Thị Thu Thủy
ii
LI CẢM ƠN
Lời đầu tiên em xin cảm ơn đến các thầy giảng viên của Học viện Công
nghệ Bưu chính Viễn thông đã truyền đạt cho em bao kiến thức cùng quý báu
cần thiết trong thời gian học tập ở trường. Những tri thức y chính nền tảng vững
chắc cho sự phát triển của em sau y. Xin kính chúc thầy cô nhiều sức khỏe
thành công hơn nữa trong sự nghiệp trồng người.
Em cũng xin gửi lời cảm ơn PGS.TS Phạm Văn Cường, giảng viên đã tận tình
hướng dẫn em trong suốt quá trình nghiên cứu để hoàn thành đề án y. Nhờ sự hướng
dẫn chỉ bảo tận tình của thầy, em đã thêm nhiều kiến thức về trí tuệ nhân tạo
thị giác máy tính. Vốn kiến thức quý giá vô cùng quan trọng cho định hướng của em
ở tương lai.
Qua những năm tháng sinh viên dưới mái trường đại học, em đã gặp vàn
khó khăn nhưng thật may mắn khi gia đình thầy cô, bạn luôn bên động
viên giúp đỡ. Em xin gửi lời cảm ơn tới tất cả mọi người.
Dù rất cố gắng nhưng do kiến thức của em đôi chỗ còn chưa vững nên Đ án
của em không thể không tránh khỏi những thiếu sót. Mong thầy cô xem xét và đóng
góp ý kiến giúp em được hoàn thiện hơn.
Em xin chân thành cảm ơn !
Hà Nội, ngày 19 tháng 02 năm 2024
Học viên
Nguyễn Thị Thu Thủy
iii
MC LC
LỜI CAM ĐOAN .......................................................................................................................... i
LI CẢM ƠN ................................................................................................................................ ii
MC LC ..................................................................................................................................... iii
DANH MC CÁC KÝ HIU, CÁC CH VIT TT ......................................................v
DANH MC BNG.................................................................................................................. vii
DANH MC CÁC HÌNH ....................................................................................................... viii
M ĐẦU ..........................................................................................................................................1
1. Lý do chọn đềi ................................................................................................. 1
2. Tng quan v vn đề nghiên cu ......................................................................... 1
3. Mục đích nghiên cu ........................................................................................... 3
4. Đối tưng và phm vi nghiên cu ....................................................................... 4
5. Phương pháp nghiên cứu ..................................................................................... 4
Chương I - TNG QUAN VẤN ĐỀ NGHIÊN CU .........................................................6
1.1 Bài toán phát hiện đối tưng .............................................................................. 6
1.1.1 Tng quan phát hiện đối tưng ................................................................... 6
1.1.2 Phát hiện đối tưng trong nh chp t Drone ............................................. 7
1.2 Các nghiên cu liên quan................................................................................... 8
1.2.1 Mt s phương pháp phát hiện đối tưng t vng đóng ............................. 8
1.2.2 Phát hiện đối tưng t vng m ................................................................ 11
1.2.3 Mt s k thut h tr phát hin đối tượng nh. ....................................... 12
1.3 Vấn đề phát hin đối tượng kích thước nh trong nh .................................... 14
1.3.1 Nguyên nhân phát hin đối tượng kích thước nh không tt trong nh Drone
............................................................................................................................ 14
1.3.2 Phương pháp phát hiện đối tưng đề xut ................................................. 16
1.4 Kết luận chương ............................................................................................... 16
Chương 2 - PHƯƠNG PHÁP OWL-VIT KT HP SAHI ............................................18
2.1 Mô hình Vision Transformer cho Open-World Localization (OWL-ViT) ..... 18
2.1.1 Tng quan mô hình OWL-ViT .................................................................. 18
2.1.2 Text Encoder ca mô hình......................................................................... 19
2.1.3 Vision Encoder ca mô hình ..................................................................... 25