TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN
TRƯỜNG CÔNG NGHỆ
----------------
KHÓA LUẬN TỐT NGHIỆP
Tên đề tài
XÂY DỰNG ỨNG DỤNG PHÁT HIỆN VÀ
NHẬN DIỆN BIỂN BÁO GIAO THÔNG
TẠI VIỆT NAM
Tên sinh viên : Lê Đức Tuấn
Giảng viên hướng dẫn : TS. Lê Thị Hoài Thu
Hà Nội, 4/2025
2025.2 KHOA HỌC MÁY TÍNH LÊ ĐỨC TUẤN 11218434
TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN
TRƯỜNG CÔNG NGHỆ
----------------
KHÓA LUẬN TỐT NGHIỆP
Tên đề tài
XÂY DỰNG ỨNG DỤNG PHÁT HIỆN VÀ
NHẬN DIỆN BIỂN BÁO GIAO THÔNG TẠI
VIỆT NAM
Tên sinh viên : Lê Đức Tuấn
Mã sinh viên : 11218434
Lớp : Khoa học máy tính 63
Ngành : Khoa học máy tính
Trường : Công nghệ
Giảng viên hướng dẫn : TS. Lê Thị Hoài Thu
(Chữ ký GVHD)
Hà Nội, 4/2025
1
MỤC LỤC
LỜI CAM ĐOAN .................................................................................................................... 4
LỜI CẢM ƠN ........................................................................................................................... 5
DANH MỤC CÁC TỪ VIẾT TẮT ....................................................................................... 6
DANH MỤC HÌNH ............................................................................................................... 10
DANH MỤC BẢNG ............................................................................................................. 11
MỞ ĐẦU ................................................................................................................................. 12
CHƯƠNG 1. TỔNG QUAN VỀ ĐỒ ÁN ........................................................................... 13
1.1. Lý do lựa chọn đề tài ........................................................................................ 13
1.2. Mục tiêu nghiên cứu ......................................................................................... 13
1.3. Phạm vi nghiên cứu .......................................................................................... 14
1.4. Thu thập và xử lý dữ liệu ................................................................................. 15
1.4.1. Nguồn dữ liệu .............................................................................................. 15
1.4.2. Xử lý và gán nhãn dữ liệu ........................................................................... 15
1.4.3. Bộ dữ liệu ban đầu ....................................................................................... 16
1.4.4. Kết quả thu thập dữ liệu cuối cùng .............................................................. 18
1.4.5. Xử lý dữ liệu ............................................................................................... 26
1.4.5.1. Chia tập train/val/test ............................................................................ 26
1.4.5.2. Tăng cường dữ liệu ............................................................................... 31
CHƯƠNG 2. CƠ SỞ LÝ THUYẾT .................................................................................... 32
2.1. Tổng quan về bài toán nhận diện biển báo giao thông ................................. 32
2.1.1. Phát biểu bài toán nhận diện biển báo giao thông ....................................... 32
2.1.2. Học máy ....................................................................................................... 32
2.1.3. Học sâu ........................................................................................................ 33
2.2. Các thuật toán đã từng được nghiên cứu và sử dụng trong bài toán nhận
diện biển báo giao thông trong và ngoài nước ...................................................... 33
2.3. Các thuật toán và mô hình bài nghiên cứu này sử dụng .............................. 35
2.3.1. YOLO .......................................................................................................... 35
2.3.1.1. Giới thiệu .............................................................................................. 35
2.3.1.2. Nguyên lý hoạt động ............................................................................ 35
2
2.3.1.3. Kiến trúc mạng của YOLOv8 .............................................................. 37
2.3.1.4. Cơ chế hoạt động .................................................................................. 38
2.3.2. Faster R-CNN .............................................................................................. 41
2.3.2.1. Giới thiệu .............................................................................................. 41
2.3.2.2. Nguyên lý hoạt động ............................................................................ 41
2.3.2.3. Cơ chế hoạt động .................................................................................. 43
2.4. Kỹ thuật Retrieval Augmented Generation (RAG) ...................................... 46
2.4.1. Hạn chế của LLM (Large Language Model) truyền thống ......................... 46
2.4.2. Định nghĩa RAG .......................................................................................... 46
2.4.3. Cơ chế hoạt động ......................................................................................... 47
2.4.3.1. Indexing (chuẩn bị dữ liệu) .................................................................. 47
2.4.3.2. Retrieval (Quá trình truy vấn) .............................................................. 47
2.5. Tổng quan về môi trường phát triển .............................................................. 47
2.5.1. Xây dựng mô hình ....................................................................................... 47
2.5.1.1. Ngôn ngữ Python .................................................................................. 47
2.5.1.2. Các thư viện sử dụng ............................................................................ 47
2.5.2. Xây dựng ứng dụng ..................................................................................... 49
CHƯƠNG 3. HUẤN LUYỆN MÔ HÌNH VÀ XÂY DỰNG HỆ THỐNG WEBSITE50
3.1. Huấn luyện mô hình ......................................................................................... 50
3.1.1. Môi trường huấn luyện ................................................................................ 50
3.1.2. Các bước tiến hành huấn luyện ................................................................... 51
3.1.2.1. Tải dữ liệu ............................................................................................. 51
3.1.2.2. Các tham số tối ưu cho mô hình ........................................................... 52
3.1.2.3. Chuẩn bị phiên bản pre-trained cho 2 mô hình .................................... 52
3.1.3. Phương pháp đánh giá mô hình ................................................................... 52
3.1.3.1. IoU ........................................................................................................ 52
3.1.3.2. Precision và Recall ............................................................................... 53
3.1.3.3. Precision Recall Curve và Average precision (AP) ............................. 54
3.1.3.4. mAP ...................................................................................................... 55
3.1.3.5. FPS (Frame Per Second) ...................................................................... 55
3.2. Xây dựng mô hình chatbot .............................................................................. 55
3.2.1. Chuẩn bị dữ liệu và mô hình LLM .............................................................. 55
3.2.2. Xử lý dữ liệu và đưa vào vector store ......................................................... 56
3.2.3. Xây dựng chuỗi hội thoại ............................................................................ 57
3
CHƯƠNG 4. MỘT SỐ KẾT QUẢ ...................................................................................... 58
4.1. Kết quả huấn luyện mô hình ........................................................................... 58
4.1.1. YOLOv8 ...................................................................................................... 58
4.1.2. Faster R-CNN .............................................................................................. 59
4.1.3. So sánh 2 mô hình ....................................................................................... 60
4.1.4. Một số kết quả nhận diện thực tế trên ảnh................................................... 61
4.1.5. Kết quả chatbot ............................................................................................ 63
4.2. Kết quả xây dựng website – Một số giao diện ................................................ 64
CHƯƠNG 5. ỨNG DỤNG VÀ HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI ....... 66
5.1. Cải tiến ............................................................................................................... 66
5.2. Hướng phát triển trong tương lai ................................................................... 66
5.3. Đánh giá đồ án .................................................................................................. 67
KẾT LUẬN ............................................................................................................................. 68
TÀI LIỆU THAM KHẢO ..................................................................................................... 69
KẾT QUẢ TURNITIN .......................................................................................................... 70