Đề án tốt nghiệp Thạc sĩ Kỹ thuật: Hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật số

Chia sẻ: Cảnh Phương Thanh | Ngày: | Loại File: PDF | Số trang:82

Thêm vào BST

Báo xấu

10
lượt xem 4
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Đề án "Hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật số" nhằm tập trung nghiên cứu các lý thuyết liên quan đến vấn đề xử lý ảnh, bài toán nhận dạng và phân loại đối tượng, phát hiện và truy vết đối tượng qua video; xây dựng thử nghiệm hệ thống phân loại và phát hiện phương tiện giao thông di chuyển sai phần đường, làn đường. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Đề án tốt nghiệp Thạc sĩ Kỹ thuật: Hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật số

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG --------------------------------------- TRẦN QUỐC THẮNG HỆ THỐNG PHÂN LOẠI VÀ PHÁT HIỆN PHƯƠNG TIỆN THAM GIA GIAO THÔNG DI CHUYỂN SAI LÀN ĐƯỜNG TRÊN QUỐC LỘ THUỘC TỈNH TÂY NINH BẰNG CAMERA KỸ THUẬT SỐ ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) THÀNH PHỐ HỒ CHÍ MINH – NĂM 2023
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG --------------------------------------- TRẦN QUỐC THẮNG HỆ THỐNG PHÂN LOẠI VÀ PHÁT HIỆN PHƯƠNG TIỆN THAM GIA GIAO THÔNG DI CHUYỂN SAI LÀN ĐƯỜNG TRÊN QUỐC LỘ THUỘC TỈNH TÂY NINH BẰNG CAMERA KỸ THUẬT SỐ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8.48.01.04 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS. VŨ ĐỨC LUNG THÀNH PHỐ HỒ CHÍ MINH – NĂM 2023
i LỜI CAM ĐOAN Tôi xin cam đoan đề án thạc sĩ công nghệ thông tin “Hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật số” là do tôi nghiên cứu, tổng hợp và thực hiện. Toàn bộ nội dung đề án, những điều được trình bày là của chính cá nhân tôi hoặc là được tham khảo, tổng hợp đều được trích xuất với nguồn gốc rõ ràng. Các số liệu, kết quả nêu trong đề án là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tp. HCM, ngày 18 tháng 08 năm 2023 Học viên thực hiện đề án Trần Quốc Thắng
ii LỜI CẢM ƠN Lời đầu tiên, tôi xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS Vũ Đức Lung, người đã trực tiếp định hướng và hướng dẫn tận tình cho tôi trong suốt quá trình thực hiện đề án tốt nghiệp. Những kinh nghiệm và góp ý quý báu của thầy là tiền đề để giúp tôi mở rộng kiến thức và hoàn thành đề án tốt nghiệp. Tôi cũng xin dành lời cảm ơn chân thành đến quý Thầy Cô Học viện Công Nghệ Bưu Chính Viễn Thông cơ sở tại TP.HCM. Quý Thầy Cô đã tận tình dạy bảo và luôn tạo điều kiện tốt nhất cho tôi trong suốt quá trình tham gia lớp cao học. Xin trân trọng cảm ơn Ban Giám Đốc Trung tâm Công nghệ Thông tin - Viễn thông Tây Ninh, đã cho phép tôi sử dụng dữ liệu camera thông minh của VNPT Tây Ninh. Cảm ơn các bạn đồng nghiệp, đã tạo điều kiện về thời gian và quan tâm động viên tinh thần trong thời gian tôi học và hoàn thành đề án. Cuối cùng, xin cảm ơn gia đình và bạn bè đã luôn bên tôi, cổ vũ và động viên tôi trong suốt quá trình hoàn thành đề án này. Tp. HCM, ngày 18 tháng 08 năm 2023 Học viên thực hiện đề án Trần Quốc Thắng
iii MỤC LỤC LỜI CAM ĐOAN ....................................................................................................... i LỜI CẢM ƠN ............................................................................................................ ii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT .............................................. vi DANH SÁCH BẢNG .............................................................................................. vii DANH SÁCH HÌNH VẼ ........................................................................................ viii MỞ ĐẦU .....................................................................................................................1 1. Lý do chọn đề tài...................................................................................1 2. Tổng quan về vấn đề nghiên cứu ..........................................................2 3. Câu hỏi nghiên cứu ...............................................................................3 4. Mục đích nghiên cứu.............................................................................3 5. Đối tượng và phạm vi nghiên cứu ........................................................3 6. Phương pháp nghiên cứu ......................................................................4 7. Những đóng góp của đề tài ...................................................................4 CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC .......5 1.1. Giới thiệu ...........................................................................................5 1.2. Các nghiên cứu trong nước ...............................................................6 1.3. Các nghiên cứu ngoài nước ...............................................................7 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ......................................................................10 2.1. Các kỹ thuật xử lý ảnh.....................................................................10 2.1.1 Tổng quan về một hệ thống xử lý ảnh..........................................10 2.1.2 Một số vấn đề cơ bản trong xử lý ảnh .........................................12 2.2. Các phương pháp phát hiện và phân loại đối tượng........................18 2.2.1 R-CNN[30] ..................................................................................19 2.2.2 Fast R-CNN[30] ..........................................................................20 2.2.3 Faster R-CNN[31] .......................................................................21 2.2.4 Single Shot Detector (SSD)[29] ..................................................23 2.2.5 You Only Look Once (YOLO) ......................................................24
iv 2.3. Các phương pháp phát hiện chuyển động .......................................26 2.3.1. Phát hiện đối tượng chuyển động là gì? .....................................26 2.3.2. Phát hiện các vùng ảnh nổi ........................................................27 2.3.3. Xử lý các vùng ảnh nổi ...............................................................28 2.3.4. Các kỹ thuật trừ ảnh ...................................................................28 2.3.5. Một số kỹ thuật trừ nền cơ bản ...................................................31 2.3.6. Kỹ thuật trừ nền nâng cao ..........................................................32 2.4. Phương pháp theo vết đối tượng .....................................................35 2.4.1. Quy trình theo vết đối tượng .......................................................35 2.4.2. Các kỹ thuật theo vết đối tượng ..................................................36 2.4.3. Các phương pháp truy vết nhiều vật thể trong video .................37 2.5. Giới thiệu về OpenCV .....................................................................41 2.5.1. Tổng quan về OpenCV ................................................................41 2.5.2. Cấu trúc OpenCV........................................................................41 2.5.3. Các ứng dụng OpenCV ...............................................................42 2.5.4. Chức năng OpenCV ....................................................................42 CHƯƠNG 3: PHÂN TÍCH THIẾT KẾ HỆ THỐNG .........................................44 3.1. Hệ thống nhận dạng làn đường, phát hiện chuyển động, theo vết phương tiện giao thông ..........................................................................................44 3.2. Xây dựng chương trình ...................................................................50 3.3. Công cụ thực hiện ...........................................................................52 3.4. Giao diện chương trình....................................................................52 CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ ....................................................54 4.1. Thu thập và tiền xử lý dữ liệu .........................................................54 4.2. Cài đặt và thử nghiệm .....................................................................54 4.2.1. Thiết lập cấu hình .......................................................................54 4.2.2. Dữ liệu thực nghiệm ...................................................................55 4.2.3. Quá trình và kết quả thực nghiệm ..............................................55 4.3. Kết luận chương ..............................................................................66
v KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .............................................................67 DANH MỤC CÁC TÀI LIỆU THAM KHẢO .....................................................68
vi DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết Tắt Tiếng Anh OpenCV Open Source Computer Vision Library CCD Charge Coupled Device CCIR Consultive Committee for International Radio CUDA Compute Unified Device Architecture GMM General Method of Moments LPR License Plate Recognition MOG Mixture of Gaussians R-CNN Region with CNN feature SSD Single-Shot Multibox Detector SPP-net Spatial Pyramid Pooling net YOLO You Only Look Once
vii DANH SÁCH BẢNG Bảng 2.1: So sánh các mô hình dựa trên R-CNN .....................................................22 Bảng 2.2: So sánh chỉ số AP giữa 2 thuật toán YOLO và SSD [9] ..........................25 Bảng 2.3: Các hướng tiếp cận phát hiện đối tượng [10] ...........................................27 Bảng 4.1: Thống kê các đối tượng gán nhãn.............................................................58 Bảng 4.2: Kết quả phát hiện nhận dạng phương tiện ................................................64 Bảng 4.3: Kết quả theo vết đối tượng .......................................................................64 Bảng 4.4: Kết quả phát hiện cảnh báo chạy sai làn đường .......................................65
viii DANH SÁCH HÌNH VẼ Hình 2.1: Các bước cơ bản trong một hệ thống xử lý ảnh ........................................10 Hình 2.2: Minh họa trực quan tách ngưỡng với ngưỡng bằng 127...........................13 Hình 2.3: Minh họa cho các phương pháp phân ngưỡng khác nhau ........................14 Hình 2.4: Kết quả Canny Edge Detection .................................................................15 Hình 2.5: Map từ không gian ảnh (A) sang không gian Hough (B) .........................16 Hình 2.6: Hình sin trong không gian Hough .............................................................16 Hình 2.7: Biểu diễn trong không gian Hough ...........................................................17 Hình 2.8: Biểu diễn 2 đường thẳng trong không gian Hough ...................................17 Hình 2.9: Kết quả áp dụng thuật toán Hough Transform..........................................18 Hình 2.10: Mô hình R-CNN......................................................................................19 Hình 2.11: Mô hình SPP-net .....................................................................................20 Hình 2.12: Mô hình mạng Fast R-CNN ....................................................................21 Hình 2.13: Mô hình mạng Faster R-CNN .................................................................21 Hình 2.14: Mô hình mạng SSD .................................................................................23 Hình 2.15: Các bounding box dự đoán .....................................................................24 Hình 2.16: Kiến trúc mạng YOLO v3.......................................................................25 Hình 2.17: Các quá trình phát hiện chuyển động ......................................................26 Hình 2.18: Phát hiện vùng ảnh nổi ............................................................................28 Hình 2.19: Quy trình theo vết đối tượng ...................................................................35 Hình 2.20: Nguyên Lý Hoạt Động của IoUTracker..................................................37 Hình 2.21: Sơ đồ phương pháp DEEPSORT ............................................................40 Hình 2.22: Sơ đồ phương pháp CenterTrack [26] ....................................................38 Hình 3.1: Mô hình hệ thống nhận dạng làn đường, phát hiện chuyển động, theo vết và phát hiện phương tiện chạy sai làn ................................................................44 Hình 3.2: Minh họa vị trí lắp camera giám sát giao thông........................................45 Hình 3.3: Minh họa vị trí camera và làn đường ........................................................46 Hình 3.4: Kết quả áp dụng Canny Edge Detection ...................................................47
ix Hình 3.5: Kết quả áp dụng Hough Transform ..........................................................47 Hình 3.6: Kết quả áp dụng K-mean lọc các đường nhiễu .........................................48 Hình 3.7: Lưu đồ hoạt động ......................................................................................50 Hình 3.8: Minh họa xác định đối tượng ....................................................................51 Hình 3.9: Cách xác định phương tiện di chuyển sai làn ...........................................51 Hình 3.10: Giao diện chương trình ...........................................................................53 Hình 4.1: Camera giám sát giao thông ......................................................................54 Hình 4.2: Cấu trúc bbox gán nhãn YOLO v5 ...........................................................56 Hình 4.3: Công cụ hỗ trợ gán nhãn dữ liệu ...............................................................57 Hình 4.4: Kết quả gán nhãn.......................................................................................57 Hình 4.5: Kết quả huấn luyện mô hình lần 1 ............................................................59 Hình 4.7: Kết quả huấn luyện mô hình lần 3 ............................................................60 Hình 4.6: Kết quả huấn luyện mô hình lần 2 ............................................................60 Hình 4.8: Phát hiện và theo vết đối tượng chuyển động trong frame hiện tại ..........61 Hình 4.9: Kết quả thử nghiệm phát hiện xe chạy sai làn ..........................................63
1 MỞ ĐẦU 1. Lý do chọn đề tài Hiện nay, với xu thế chuyển đổi số các ngành các lĩnh vực trong cả nước đang diễn ra rất mạnh mẽ, việc ứng dụng công nghệ thông tin, đặc biệt là các hệ thống thông minh mang tính cấp thiết cao. Trong bối cảnh hợp tác giữa VNPT Tây Ninh và Sở Giao Thông Vận Tải tỉnh Tây Ninh nhằm xây dựng Đề án chuyển đổi số cho Ngành Giao Thông, việc đưa vào hệ thống camera giao thông thông minh tại các tuyến đường giao thông trọng điểm với nhiều giải pháp ứng dụng cấp thiết khai thác dữ liệu từ hệ thống này như tính toán mật độ lưu thông, đếm lưu lượng xe, nhận dạng biển số, nhận dạng làn đường, đo tốc độ xe,... nhằm hỗ trợ cơ quan quản lý nhà nước nâng cao hiệu quả giám sát các phương tiện tham gia giao thông, xử lý kịp thời các tình huống ùn tắc hay tai nạn giao thông cũng như việc chấp hành quy định an toàn giao thông đô thị, góp phần nâng cao nhận thức của người dân tham gia giao thông là cần thiết. Trong những năm gần đây trên địa bàn tỉnh phát hiện nhiều trường hợp vi phạm trật tự an toàn giao thông qua camera giám sát giao thông, nguyên nhân xuất phát từ việc người điều khiển phương tiện vi phạm quy định về sử dụng phần đường, làn đường luôn chiếm tỷ lệ cao, đứng đầu các nguyên nhân gây tai nạn. Từ thực tiễn cho thấy, việc phương tiện giao thông không tuân thủ quy định về sử dụng phần đường, làn đường trong tham gia giao thông không những ảnh hưởng rất lớn đến xác suất xảy ra tai nạn cao mà còn ảnh hưởng đến mức độ nghiêm trọng của mỗi vụ tai nạn. Do vậy cần thiết phải có một hệ thống quản lý và giám sát giao thông thông minh phát hiện phương tiện lưu thông sai làn đường theo thời gian thực nhằm hỗ trợ cơ quan quản lý nhà nước phát hiện cảnh báo sớm để có phương án xử lý kịp thời tránh phát sinh tai nạn cũng như giảm thiệt hại về hạ tầng, tài sản và tính mạng của người dân, và đó chính là lý do tôi chọn thực hiện đề tài này.
2 2. Tổng quan về vấn đề nghiên cứu Hiện nay, trên thế giới cũng như ở nước ta có rất nhiều nghiên cứu về bài toán nhận dạng làn đường, phát hiện và phân loại và theo vết phương tiện tham gia giao thông. Tuy nhiên các giải pháp hiện tại còn riêng lẻ và chuyên biệt nên vẫn còn nhiều vấn đề cần nghiên cứu đầy đủ thêm liên quan đến sự kết hợp các giải pháp, mật độ dày đặc của phương tiện tham gia giao thông, đặc biệt là xe máy và xe ô tô. Trong bối cảnh Việt Nam hiện nay, việc nghiên cứu và xây dựng hệ thống phân loại và phát hiện phương tiện giao thông di chuyển sai phần đường, làn đường tích hợp vào hệ thống giám sát giao thông thông minh là điều cần thiết có ý nghĩa cả về mặt lý thuyết và thực tiễn. Xây dựng hệ thống phân loại và phát hiện phương tiện giao thông di chuyển sai phần đường, làn đường dựa trên video thời gian thực là xét xem tại một thời điểm, trong vùng đang giám sát, có những loại phương tiện gì, số lượng tương ứng, các phương tiện đó có đi đúng phần đường làn đường theo quy định luật giao thông đường bộ hiện hành của Việt Nam hay không. Hệ thống thuộc nhóm các ứng dụng liên quan đến lĩnh vực giao thông thông minh và cũng được ứng dụng trong nhiều lĩnh vực như quản lý, giám sát giao thông như cảnh báo xâm nhập, báo trộm, cảnh báo cháy, giám sát bảo vệ các khu vực quan trọng. Yêu cầu cơ bản của hệ thống là trích xuất được phương tiện giao thông vi phạm di chuyển sai phần đường, làn đường dành riêng cho từng loại phương tiện. Nhìn chung, điểm mới của đề tài là kết hợp giải pháp nhận dạng làn đường và nhận dạng phương tiện, theo vết được các phương tiện từng làn đường, các dữ liệu được thu thập và gán nhãn ở Tây Ninh. Các giải thuật không mới nhưng lần đầu được áp dụng và thử nghiệm ở Tây Ninh.
3 3. Câu hỏi nghiên cứu Xây dựng hệ thống Hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật số mang lại lợi ích gì cho các sở ban ngành? Cần những dữ liệu nào phù hợp, để có thể quản lý và giám sát? Sử dụng phương pháp nào để trích xuất làn đường, phát hiện, nhận diện đối tượng chuyển động? Ứng dụng phép toán nào để xác định phương tiện tham gia giao thông di chuyển sai làn đường? 4. Mục đích nghiên cứu Đề án tập trung nghiên cứu các lý thuyết liên quan đến vấn đề xử lý ảnh, bài toán nhận dạng và phân loại đối tượng, phát hiện và truy vết đối tượng qua video. Nghiên cứu các lý thuyết liên quan bài toán xác định phương tiện đi sai làn đường. Xây dựng thử nghiệm hệ thống phân loại và phát hiện phương tiện giao thông di chuyển sai phần đường, làn đường. 5. Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu là hạ tầng giao thông đường bộ cụ thể là làn đường bộ, các loại phương tiện tham gia giao thông trên đường qua camera kỹ thuật số giám sát giao thông. Các phương pháp nhận dạng đối tượng, theo vết đối tượng và bài toán xác định đối tượng trong vùng quan sát. Phạm vi của đề án này chỉ tập trung vào nhận dạng làn đường được phân làn cố định: Đường giao thông có 3 làn: làn ngoài cùng dành cho xe ô tô; làn giữa cho xe tải, container; làn trong dành cho xe máy; nhận dạng một số loại xe: xe ô tô con, ô tô khách, xe tải, xe container, xe máy. Camera giám sát được đặt cố định tại các giao lộ trên tuyến quốc lộ thuộc địa phận tỉnh Tây Ninh. Môi trường thử nghiệm trong điều kiện sáng và rõ, giám sát được chuyển động của các phương tiện.
4 6. Phương pháp nghiên cứu - Thu thập và nghiên cứu các công trình nghiên cứu về lĩnh vực giám sát giao thông thông minh qua video, hình ảnh trên thế giới và trong nước. - Thu thập các dữ liệu làn đường và phương tiện giao thông qua video giám sát giao thông trên địa bàn tỉnh Tây Ninh. - Phân tích, lựa chọn giải pháp và hiện thực thử nghiệm. - Đánh giá kết quả và hiệu chỉnh nếu có. 7. Những đóng góp của đề tài Vận dụng các thuật toán trích xuất làn đường, phân loại, theo vết và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường trên quốc lộ thuộc tỉnh Tây Ninh bằng camera kỹ thuật số. Xây dựng hệ thống phân loại và phát hiện phương tiện tham gia giao thông di chuyển sai làn đường.
5 CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC 1.1. Giới thiệu Tại các nước phát triển, việc sử dụng camera giám sát khá phổ biến với rất nhiều tính năng thông minh như đo tốc độ, nhận dạng biển số, phân loại xe, phát hiện ngược chiều, xe đi vào vùng cấm,… được bố trí kín đáo và mật độ dày đặc. Đối với tình hình giao thông phức tạp của Việt Nam hiện nay, việc xây dựng hệ thống nhận dạng làn đường và phân loại phương tiện tham gia giao thông vẫn còn nhiều thách thức như thành phần tham gia giao thông đa dạng và phức tạp đặc biệt là xe máy, mật độ giao thông tăng nhanh ở một số thời điểm, điều kiện môi trường xấu như cường độ sáng không đảm bảo, mưa, góc đặt thiết bị giám sát, v.v… Hiện tại, để có thể phát hiện những trường hợp xe di chuyển sai làn đường quy định, đòi hỏi cán bộ giám sát phải thiết lập cấu hình thủ công rất mất thời gian. Thiết bị giám sát chuyên dụng có chi phí rất cao không khả thi cho việc trang bị số lượng lớn. Vì vậy, giải pháp tận dụng các hình ảnh thu được từ video giám sát giao thông, áp dụng các kỹ thuật xử lý ảnh, hay giải pháp máy học để phân tích nhận dạng làn đường, nhận dạng phương tiện từ đó xác định phương tiện đang di chuyển trên làn đường nào đang được nhiều nhà nghiên cứu quan tâm. Tóm lại, hướng tiếp cận sử dụng các kỹ thuật xử lý ảnh, kỹ thuật học sâu để phát hiện và phân loại phương tiện tham gia giao thông theo làn đường trong hệ thống giám sát giao thông là phù hợp với hiện trạng camera đang được trang bị với số lượng lớn trên khắp cả nước.
6 1.2. Các nghiên cứu trong nước Ở nước ta, các công trình nghiên cứu về bài toán phát hiện phương tiện di chuyển sai làn đường qua camera còn rất hạn chế do tính phức tạp và ứng dụng vào thực tế. Đa phần là các nghiên cứu liên quan đến kỹ thuật nhận dạng đối tượng, phát hiện đối tượng chuyển động, theo vết đối tượng và dự đoán hướng di chuyển trong video. Năm 2016, nghiên cứu “Dự đoán hướng di chuyển và xác định tốc độ xe qua camera giám sát” [3] của các tác giả Lâm Hữu Tuấn, Huỳnh Phụng Toàn, Trần Cao Đệ, Nguyễn Thị Hồng Nhung sử dụng phương pháp một “khung đo” để xác định tốc độ xe trong video giao thông, phát hiện đối tượng chuyển động bằng kỹ thuật trừ nền và dự đoán hướng di chuyển, tính vận tốc của đối tượng bằng phép toán trung bình có trọng số. Từ thực nghiệm của các tác giả cho thấy kết quả khá chính xác, đo được tốc độ nhiều phương tiện cùng lúc và có thể xử lý ảnh, video được thu bằng camera thường. Năm 2019, công trình của tác giả Bùi Trần Tiến “Nhận dạng phương tiện dựa vào kỹ thuật học sâu” [7]. Tác giả sử dụng YOLOv4 trong việc nhận dạng phương tiện giao thông. Với việc thay đổi cấu trúc của mô hình YOLOv4 so với các phiên bản trước, có thể cải thiện tốc độ, độ chính xác của mô hình. Trong thử nghiệm của tác giả với các phương tiện giao thông như ô tô con và xe máy việc thay đổi số filter tích chập (convolutional) đã cải thiện tốc độ dự đoán đáng kể mà không giảm đi độ chính xác của hệ thống trong điều kiện ánh sáng tốt. Tại hội nghị FAIR 2020, công trình “Khảo sát bài toán nhận diện và đo tốc độ phương tiện tham gia giao thông” [5] của tác giả Vũ Đức Lung và các cộng sự giới thiệu đã khảo sát và phân loại các kỹ thuật và hướng tiếp cận phổ biến hiện nay đối với hai bài toán phát hiện và đo tốc độ phương tiện tham gia giao thông vốn là cơ sở cho nhiều hệ xử lý kế tiếp như theo vết, phân tích hành vi. Đồng thời các tác giả tổng hợp và đề xuất một số bộ dữ liệu thường dùng để huấn luyện và đánh giá kết quả. Năm 2022, công trình của tác giả Lý Băng, “Hệ Thống Đo Tốc Độ Phương Tiện Giao Thông Trên Quốc Lộ Bằng Camera Kỹ Thuật Số” [13]. Tác giả sử dụng
7 SSD – Single Shot Detector và Optical flow để phát hiện phương tiện và xác định tốc độ đối tượng. Từ kết quả thực nghiệm của tác giả cho thấy việc phát hiện và theo vết phương tiện khá tốt tuy nhiên vẫn còn một số ít phương tiện bị bỏ qua hoặc không lấy được tốc độ do có một số phương tiện quá khổ thời gian vào và ra video không được chính xác. 1.3. Các nghiên cứu ngoài nước Hiện nay, trên thế giới có rất nhiều công trình nghiên cứu về kỹ thuật xử lý ảnh, kỹ thuật trừ nền, kỹ thuật học sâu để nhận dạng, theo vết đối tượng như làn đường, các phương tiện giao thông, đo tốc độ. Năm 2014, công trình của các tác giả Jianqiang Ren, Yangzhou Chen, Le Xin, Jianjun Shi, “Lane Detection in Video-Based Intelligent Transportation Monitoring via Fast Extracting and Clustering of Vehicle Motion Trajectories” [19]. Bài báo này đề xuất một phương pháp mới để phát hiện trung tâm làn đường thông qua trích xuất nhanh chóng và phân cụm quỹ đạo chuyển động của phương tiện với độ chính xác cao. Đầu tiên, các tác giả sử dụng bản đồ hoạt động (activity map) để phát hiện tự động trích xuất vùng đường, hiệu chỉnh camera động và thiết lập ba đường phát hiện ảo. Kế đến, ba đường phát hiện ảo và một mô hình nền cục bộ với phản hồi luồng giao thông được sử dụng để trích xuất và nhóm các điểm đặc trưng của phương tiện trong một đơn vị phương tiện. Sau đó, các nhóm điểm đặc trưng được mô tả chính xác bằng biểu đồ động có trọng số cạnh và được sửa đổi bằng bộ lọc tương tự chuyển động Kalman trong quá trình theo dõi điểm đặc trưng thưa thớt. Sau khi có được quỹ đạo của phương tiện, một cụm gia tăng k-means thô với khoảng cách Hausdorff được thiết kế để thực hiện việc trích xuất trung tâm làn đường trực tuyến nhanh chóng với độ chính xác cao. Tuy nhiên với tình trạng giao thông thưa thớt, không đồng đều trong suốt thời gian giám sát thì việc nhận dạng tâm làn đường qua quỹ đạo di chuyển của phương tiện lại giảm hiệu quả đáng kể. Năm 2016, công trình của Dominik Zapletal và các cộng sự “Vehicle Re- Identification for Automatic Video Traffic Surveillance” [13], nhận diện phương tiện sử dụng 3D bounding box, chỉ dùng mặt bên và mặt trước của vật thể (không dùng
8 hình ảnh từ đỉnh xe), sau đó ghép hai phần lại thành một ảnh đại diện cho vật thể đó và trích xuất đặc trưng màu sắc từ ảnh đó dùng linear SVM classifier. Các đặc trưng được sử dụng trong từng mô hình riêng biệt để có được kết quả tốt nhất trong thời gian tính toán CPU ngắn nhất. Phương pháp được đề xuất hoạt động với độ chính xác cao (60% true positives, 10% false positive trên một tập con của dữ liệu thử nghiệm) trong 85ms thời gian tính toán của CPU (Core i7) cho mỗi lần nhận dạng lại một phương tiện. Các ứng dụng của nghiên cứu này bao gồm tìm kiếm các tham số quan trọng như thời gian di chuyển, lưu lượng giao thông hoặc thông tin giao thông trong hệ thống giám sát và giám sát giao thông phân tán. Năm 2018, công trình của Zheng Tang, và các cộng sự “Single-camera and inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and semantic features” [14] sử dụng hai phương pháp đơn camera 3D và đa camera để xác định phân loại và ước lượng tốc độ phương tiện. Cụ thể, một mô hình ngoại hình thích ứng dựa trên biểu đồ tần suất được giới thiệu để học lịch sử lâu dài của các đặc trưng hình ảnh cho từng phương tiện cụ thể. Ngoài ra, các tính năng ngữ nghĩa bao gồm độ mượt của quỹ đạo di chuyển, thay đổi vận tốc và thông tin thời gian được tích hợp vào chiến lược phân cụm bottom-up để kết hợp dữ liệu trong mỗi chế độ xem camera. Ngoài ra, tối ưu hóa tiến hóa được áp dụng cho hiệu chuẩn máy ảnh để ước tính tốc độ 3D đáng tin cậy. Thuật toán đạt được hiệu suất cao nhất trong cả ước tính tốc độ 3D và nhận dạng lại phương tiện. Bài báo được top 1 cuộc thi NVIDIA AI City 2018. Năm 2018, công trình của các tác giả Ahmad Arinaldi, Jaka Arya Pradana, Arlan Arventa Gurusinga “Detection and classification of vehicles for traffic video analytics” [16]. Các tác giả trình bày một hệ thống phân tích video giao thông dựa trên kỹ thuật thị giác máy tính. Hệ thống này được thiết kế để tự động thu thập các số liệu thống kê quan trọng theo cách tự động. Những số liệu thống kê này bao gồm đếm phương tiện, phân loại loại phương tiện, ước tính tốc độ phương tiện từ video và giám sát việc sử dụng làn đường. Phần chính của hệ thống là nhận dạng và phân loại phương tiện trong video giao thông. Các tác giả áp dụng hai mô hình là hệ thống
9 MoG + SVM và mô hình dựa trên RCNN nhanh hơn. Qua thực nghiệm của các tác giả cho thấy RCNN nhanh hơn vượt trội so với MoG trong việc phát hiện các phương tiện tĩnh, chồng chéo hoặc trong điều kiện ban đêm. RCNN nhanh hơn cũng vượt trội so với SVM trong việc phân loại các loại phương tiện dựa trên hình thức bên ngoài. Năm 2020, công trình của các tác giả Zequn Qin, Huanyu Wang, and Xi Li “Ultra Fast Structure-aware Deep Lane Detection”, các tác giả đưa ra hướng tiếp cận mới trong việc nhận dạng làn đường. Các tác giả đề xuất phương pháp mô hình hóa cấu trúc của làn đường, xử lý việc nhận dạng làn dựa trên việc chọn các đặc trưng chung theo từng dòng (tức chia mô hình làn đường thành các row để xử lý). Kết quả thực nghiệm đạt được hiệu suất tối ưu về cả tốc độ và độ chính xác. Một phiên bản trọng lượng nhẹ thậm chí có thể đạt được hơn 300 khung hình mỗi giây với cùng độ phân giải, nhanh hơn ít nhất 4 lần so với các phương pháp hiện đại trước đây. Từ kết quả nghiên cứu tổng quan các công trình ở trên cho thấy các giải pháp dùng học sâu hiện nay cho kết quả chính xác hơn nhiều và hiện được áp dụng sâu rộng hơn do đó trong đề án này học viên sẽ áp dụng phương pháp học sâu để phát hiện phương tiện cho giao thông Việt Nam.