Luận văn Thạc sĩ Kỹ thuật: Nhận dạng chỗ đỗ xe ô tô bằng camera

Chia sẻ: Sơ Dương | Ngày: | Loại File: PDF | Số trang:64

Thêm vào BST

Báo xấu

12
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Đề tài “Hệ thống nhận dạng chỗ đỗ xe ô tô bằng camera” đưa ra phương pháp để tối ưu hóa việc giám sát, quản lý bãi đỗ xe nhằm cải thiện những khó khăn còn gặp đối với người quản lý và người lái xe trong khu vực đỗ xe tại các thành phố lớn.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Kỹ thuật: Nhận dạng chỗ đỗ xe ô tô bằng camera

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KỸ THUẬT NHẬN DẠNG CHỖ ĐỖ XE Ô TÔ BẰNG CAMERA TRẦN TRUNG TIẾN trantien.117@gmail.com Chuyên nghành: Kỹ thuật điện tử Giảng viên hướng dẫn: TS. Nguyễn Vũ Thắng --------------- Chữ ký của GVHD Viện Điện tử viễn thông HÀ NỘI, 6/2020
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ và tên tác giả luận văn : Trần Trung Tiến Đề tài luận văn: Nhận dạng chỗ đỗ xe ô tô bằng camera Chuyên ngành: Kỹ thuật Điện tử Mã số SV: CA170266 Tác giả, Người hướng dẫn khoa học và Hội đồng chấm luận văn xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 23/07/2020 với các nội dung sau: - Bố cục chưa hợp lý. - Thêm phần khảo sát các hệ thống sử dụng camera. - Các lỗi soạn thảo văn bản. Ngày tháng năm 2020 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG
LỜI CAM ĐOAN Tôi cam kết luận văn này là công trình nghiên cứu của bản thân tôi, dưới sự hướng dẫn của TS. Nguyễn Vũ Thắng. Các kết quả công bố trong báo cáo này là trung thực, không sao chép của bất kỳ một cá nhân hoặc tổ chức đã được công bố nào khác. Ngày ….. tháng …… năm 2020 HỌC VIÊN Trần Trung Tiến
Lời cảm ơn Lời đầu tiên, tôi xin trân trọng cảm ơn TS. Nguyễn Vũ Thắng và các thành viên của phòng thí nghiệm IC Design đã tận tình hướng dẫn tôi trong quá trình hoàn thành luận văn. Tôi xin chân thành cảm ơn các thầy, cô thuộc viện Điện tử - Viễn thông, trường Đại học Bách Khoa Hà Nội đã tạo điều kiện và hỗ trợ tôi trong suốt quá trình tôi thực hiện luận văn này. Do bản thân tôi còn giới hạn về kiến thức và khả năng lý luận nên luận văn này còn nhiều thiếu sót và hạn chế, kính mong sự chỉ dẫn và đóng góp của các thầy, cô để luận văn của tôi hoàn thiện hơn. Tôi xin chân thành cảm ơn! Các kết quả trong luận văn này do tôi thực hiện dưới sự hướng dẫn của TS. Nguyễn Vũ Thắng và TS. Nguyễn Vũ Thắng có toàn quyền sử dụng luận văn này. Tóm tắt Luận văn này thực hiện thử nghiệm chương trình xác định các vị trí ô đỗ xe trong bãi đỗ, nhằm phục vụ cho hệ thống quản lý bãi đỗ xe sử dụng camera dựa trên mạng nơ-ron tích chập. Luận văn cũng tìm hiểu về các công cụ cần thiết cho bài toán xử lý ảnh, một số thuật toán xử lý ảnh cơ bản và phân tích mức độ cần thiết của luận văn đối với toàn bộ hệ thống quản lý bãi đỗ xe. Kết quả của luận văn là đánh giá độ chính xác của phương án xác định vị trí ô đỗ xe. Luận văn cũng đưa ra thiết kế chi tiết nhằm giải quyết một số vấn đề gặp phải khi triển khai hệ thống quản lý bãi đỗ xe. Từ đó, luận văn xây dựng một giao diện thân thiện với người dùng và cho phép áp dụng thiết kế trên với nhiều bãi đỗ khác nhau mà không cần phải đi sâu vào trong code hay phải sử dụng phần mềm bên ngoài. Hệ thống đã được chạy thử trên thực tế và cho kết quả độ chính xác là 92.5% số lượng ảnh nhận diện đủ 4 điểm mốc, còn lại là số lượng ảnh chỉ nhận diện được 3 điểm mốc trên tổng 67 ảnh đầu vào, tất cả đều được xử lý thành công trong bộ dữ liệu ảnh. Trong tương lai, nhóm nghiên cứu sẽ thử nghiệm trên bộ dữ liệu lớn hơn, có thể nhóm sẽ tăng kích thước các điểm mốc, thực hiện khảo sát màu xe tránh nhầm lẫn màu với các điểm mốc và có một vài lựa chọn khác cho các bãi đỗ xe với tính chất khác nhau… để giúp hệ thống nhận diện chính xác hơn.
MỤC LỤC MỞ ĐẦU ............................................................................................................................... 1 CHƯƠNG 1. GIỚI THIỆU CHUNG VỀ LĨNH VỰC NGHIÊN CỨU .......................... 3 1.1. Đặt vấn đề ................................................................................................................... 3 1.2. Mục tiêu và nhiệm vụ của luận văn. ........................................................................... 5 1.3. Kết luận chương .......................................................................................................... 6 CHƯƠNG 2. SƠ ĐỒ KHỐI VÀ CƠ SỞ LÝ THUYẾT ................................................... 7 2.1. Giới thiệu chung về hệ thống. ..................................................................................... 7 2.1.1. Bài toán ................................................................................................................ 7 2.1.2. Đầu vào/ra của hệ thống. ..................................................................................... 8 2.1.3. Sơ đồ khối ............................................................................................................ 8 2.2. Khối xử lý công việc đề cập trong luận văn ............................................................. 10 2.3. Một số thuật toán và khái niệm sử dụng trong luận văn ........................................... 13 2.3.1. Tổng quan về OpenCV ...................................................................................... 13 2.3.2. Chuyển đổi giữa các không gian màu ................................................................ 14 2.3.3. Thuật toán Morphological Transform................................................................ 17 2.3.4. Các phương pháp căn chỉnh ảnh ........................................................................ 20 2.3.5. Thuật toán Canny Edge Detection ..................................................................... 27 2.3.6. Thuật toán Hole Filling ...................................................................................... 30 2.3.7. Thuật toán xoay ảnh........................................................................................... 32 2.4. Kết luận chương ........................................................................................................ 33 CHƯƠNG 3. NỘI SUY VỊ TRÍ ĐỖ XE VÀ KẾT QUẢ ĐẠT ĐƯỢC .......................... 34 3.1. Thực hiện đánh dấu các điểm mốc. .......................................................................... 37 3.2. Nội suy tọa độ ảnh của vị trí đỗ ................................................................................ 39 3.2.1. Xác định tọa độ các điểm mốc và các vị trí đỗ xe ............................................. 39 3.2.2. Thực hiện nội suy tọa độ ảnh ............................................................................. 40 3.3. Thực hiện cắt ảnh ...................................................................................................... 46 3.3.1. Cắt ảnh sử dụng tọa độ....................................................................................... 46 3.3.2. Cắt ảnh sử dụng mask ........................................................................................ 50 3.4. Kết quả đạt được ....................................................................................................... 53 3.5. Kết luận chương ........................................................................................................ 53 KẾT LUẬN......................................................................................................................... 55 TÀI LIỆU THAM KHẢO ................................................................................................. 56
DANH MỤC HÌNH VẼ Hình 1. 1: Một số phương pháp quản lý bãi đỗ xe ngoài trời. (a) sử dụng cảm biến hồng ngoại kết hợp với rào chắn [1], (b) sử dụng cảm biến [2] ..................................3 Hình 1. 2: Phương pháp sử dụng camera nhiệt ...........................................................4 Hình 1. 3: Sử dụng camera để giám sát, quản lý bãi đỗ xe [4] ...................................5 Hình 2. 1: Sơ đồ khối hệ thống nhận dạng chỗ đỗ xe ô tô bằng camera .....................8 Hình 2. 2: Camera được lắp đặt tại tầng 4 tòa nhà C9, khuôn viên trường Đại học BKHN và kết quả chụp bãi đỗ xe nhà C9, trường Đại học Bách khoa Hà Nội ........10 Hình 2. 3: Sơ đồ khối của Image Processing ............................................................11 Hình 2. 4: Quy trình thực hiện công việc trong khối Image Processing ...................12 Hình 2. 5: Không gian màu RGB ..............................................................................15 Hình 2. 6: Không gian màu HSV ..............................................................................16 Hình 2. 7: Hình ảnh gốc sử dụng trong thuật toán này .............................................18 Hình 2. 8: Hình ảnh minh họa Erosion ..................................................................... 18 Hình 2. 9: Hình ảnh minh họa Dilation .....................................................................19 Hình 2. 10: Hình ảnh minh họa Opening ..................................................................19 Hình 2. 11: Hình ảnh minh họa Closing ................................................................... 20 Hình 2. 12: Hai hình ảnh của một mặt phẳng 3D (trên cùng một cuốn sách)........... 21 Hình 2. 13: Hình ảnh của mặt phẳng 3D có thể được căn chỉnh với một hình ảnh khác bằng Homography ............................................................................................ 22 Hình 2. 14: Hình ảnh minh họa máy ảnh pinhole .....................................................25 Hình 2. 15: Các kiểu biến dạng hình ảnh ..................................................................26 Hình 2. 16: Sự khác nhau giữa Image Warping và Image Calibration .....................28 Hình 2. 17: Hình ảnh minh họa về ngưỡng lọc .........................................................29 Hình 2. 18: Hình ảnh kết quả của thuật toán phát hiện cạnh Canny .........................29 Hình 2. 19: Các bước thực hiện Hole Filling ............................................................31 Hình 2. 20: Sơ đồ thuật toán các bước thực hiện Hole Filling .................................31 Hình 2. 21: Hình ảnh minh họa thuật toán xoay ảnh ................................................ 32 Hình 3. 1: Hình ảnh vị trí đỗ bị lệch ......................................................................... 36 Hình 3. 2: Các cách đánh dấu mốc ............................................................................ 37 Hình 3. 3: Hình ảnh đánh dấu điểm mốc .................................................................. 39
Hình 3. 4: Xác định tọa độ điểm mốc .......................................................................39 Hình 3. 5: Xác định tọa độ các vị trí đỗ xe ............................................................... 40 Hình 3. 6: Hình ảnh tham khảo bị nhiễu ...................................................................41 Hình 3. 7: Hình ảnh loại bỏ nhiễu bằng Morphological Transform .........................42 Hình 3. 8: Kết quả nhận diện đầy đủ 4 mốc với ảnh chứa mốc được triển khai thực tế ................................................................................................................................42 Hình 3. 9: Hình ảnh tham chiếu ................................................................................44 Hình 3. 10: Hình ảnh hiện tại khi góc camera bị lệch ...............................................44 Hình 3. 11: Hình ảnh hiện tại sau khi đã thực hiện làm méo ảnh với 3 mốc ............ 45 Hình 3. 12: Vị trí đỗ xe được cắt theo hình tham chiếu ............................................45 Hình 3. 13: Vị trí đỗ xe được cắt theo hình được làm méo với các góc camera khác nhau ...........................................................................................................................45 Hình 3. 14: Vị trí đỗ xe được cắt theo tọa độ cho trước với các góc camera khác nhau ...........................................................................................................................45 Hình 3. 15: Giao diện phần mềm Paint sử dụng để cắt ảnh ......................................46 Hình 3. 16: Các contour được vẽ trực tiếp lên cửa sổ chương trình .........................47 Hình 3. 17: Tọa độ được lưu vào file text .................................................................48 Hình 3. 18: Hình ảnh cắt các vị trí đỗ xe .................................................................. 49 Hình 3. 19: Sử dụng contours hình vuông và hình thoi ............................................50 Hình 3. 20: Ví dụ về cách sử dụng phần mềm Paint 3D để tạo mask ....................... 51 Hình 3. 21: Hình minh họa mask với 4 blob cho 4 vị trí đỗ ..................................... 51 Hình 3. 22: Kết quả sau khi kết hợp hình ảnh bãi đỗ và mask vừa tạo ..................... 52 Hình 3. 23: Kết quả sau khi thực hiện Warping ........................................................ 53 Hình 3. 24: Kết quả ảnh phục vụ cho quá trình phân loại.........................................53
DANH MỤC BẢNG BIỂU Bảng 2. 1: Thông tin đầu ra, đầu vào của khối Image Processing ............................ 11 Bảng 2. 2: Sự khác nhau giữa Image Warping và Image Calibration .....................26
MỞ ĐẦU A. Bối cảnh nghiên cứu Hiện nay mật độ xe ô tô ngày càng tăng cao tại các khu đô thị lớn, cùng với điều đó là xuất hiện ngày càng nhiều các bãi đỗ xe với quy mô lớn nhỏ khác nhau nhưng việc quản lý, vận hành trong các bãi đỗ xe chưa tối ưu và mang lại hiệu quả cao cho người quản lý cũng như người lái xe, ví dụ như: thiếu thông tin số lượng chỗ đỗ xe còn trống, người lái xe phải dành nhiều thời gian để tìm kiếm một chỗ đỗ trong một không gian đỗ ô tô rộng lớn. Vì vậy, phát triển một hệ thống quản lý, nhận diện chỗ đỗ xe ô tô là thật sự cần thiết bởi các lợi ích: tiết kiệm thời gian, điều hành phương tiện lưu thông dễ dàng, thuận tiện cho người sử dụng. B. Phương pháp nghiên cứu Để quản lý một bãi đỗ xe ô tô, bên cạnh những phương pháp đang được sử dụng tại nhiều nơi như cổng tự động, cảm biến mặt đất hoặc hệ thống cơ khí để biết được số vị trí còn trống và trống tại những vị trí nào trong khu vực đỗ xe thì còn có phương pháp sử dụng camera để giám sát, quản lý bãi đỗ xe. Phương pháp này có ưu điểm là ta có thể giám sát diện rộng khu vực bãi đỗ xe chỉ với một camera, việc thi công đơn giản không ảnh hưởng nhiều đến môi trường. C. Mục tiêu và đối tượng nghiên cứu Đề tài: “Hệ thống nhận dạng chỗ đỗ xe ô tô bằng camera” đưa ra phương pháp để tối ưu hóa việc giám sát, quản lý bãi đỗ xe nhằm cải thiện những khó khăn còn gặp đối với người quản lý và người lái xe trong khu vực đỗ xe tại các thành phố lớn. Đối tượng nghiên cứu của đề tài là quá trình xử lý hình ảnh để phân loại được trạng thái vị trí đỗ là “trống” hay “không trống”. D. Phạm vi nghiên cứu Phạm vi đề tài gồm nội dung được trình bày thành các chương sau: - Chương 1: Khảo sát các phương pháp sử dụng để quản lý bãi đỗ xe nhằm đưa ra được phương pháp tối ưu và mang hiệu quả cao cho người quản lý, người sử dụng hệ thống quản lý bãi đỗ xe. Từ đó, chúng ta xác định được mục tiêu và nhiệm vụ công việc phải thực hiện trong luận văn để đạt được kết quả với phương pháp giám sát, quản lý bãi đỗ xe sử dụng camera mà ta đã lựa chọn. 1
- Chương 2: Giới thiệu tổng quan toàn bộ hệ thống nhận diện bãi đỗ xe bằng camera, trình bày khối công việc được yêu cầu thực hiện trong đề tài này đó là xác định vị trí các chỗ đỗ xe – đây là một phần công việc nằm trong hệ thống nhận diện bãi đỗ xe lớn. Thêm vào đó, luận văn tìm hiểu một số thuật toán và khái niệm về xử lý ảnh sử dụng trong đề tài này. - Chương 3: Sử dụng các phần mềm, thuật toán để xác định tọa độ các điểm mốc, tọa độ các vị trí đỗ; chuyển đổi các không gian màu, loại bỏ nhiễu và căn chỉnh hình ảnh. Từ đó, phần mềm có thể nội suy ra từng vị trí đỗ, cắt ảnh và xuất ra file hoàn toàn tự động để phục vụ cho các khối công việc tiếp theo trong hệ thống nhận diện bãi đỗ xe bằng camera. Phần cuối, trình bày những kết quả đã đạt được sau khi hoàn thành công việc được yêu cầu, đưa ra các hạn chế mà chương trình chưa đạt được. Cuối cùng, luận văn đưa ra một số giải pháp khắc phục những hạn chế và đề xuất hướng phát triển của hệ thống trong tương lai. 2
CHƯƠNG 1. GIỚI THIỆU CHUNG VỀ LĨNH VỰC NGHIÊN CỨU 1.1. Đặt vấn đề Trong các thành phố lớn, người lái xe luôn phải đối mặt với khó khăn trong việc lựa chọn bãi đỗ xe và tìm kiếm chỗ đỗ xe trong khu vực đỗ xe lớn. Một số phương pháp đã được đề xuất nhằm hỗ trợ việc quản lý bãi đỗ xe như sử dụng rào chắn kết hợp với cảm biến hồng ngoại, cảm biến mặt đất, camera nhiệt… Phương pháp sử dụng rào chắn kết hợp với cảm biến hồng ngoại có ưu điểm là dễ triển khai, lắp đặt nhưng lại không linh động trong một số khu vực và khi có các yếu tố bên ngoài tác động, ví dụ như: xe ô tô đi vào nhưng không đỗ lại (xe giao hàng, xe đưa thư,…), xe đi vào là xe máy xe đạp,… Phương pháp sử dụng cảm biến mặt đất có ưu điểm là đơn giản, dễ triển khai nhưng nhược điểm là tốn kém vì mỗi một vị trí cần đặt một cảm biến, không phù hợp với điều kiện thời tiết ngoài trời,… Hình 1. 1: Một số phương pháp quản lý bãi đỗ xe ngoài trời. (a) sử dụng cảm biến hồng ngoại kết hợp với rào chắn [1], (b) sử dụng cảm biến [2] Phương pháp sử dụng camera nhiệt có ưu điểm đơn giản, dễ triển khai, có thể thông báo được trạng thái vị trí đỗ xe. Tuy nhiên, nhược điểm chỉ có thể phát hiện khi các phương tiện duy trì nhiệt nếu không hệ thống sẽ phải hỗ trợ bởi các thiết bị khác, có thể nhận diện nhầm với các xe đang di chuyển qua bãi đỗ xe, hơn nữa chi phí của một chiếc camera nhiệt khá cao… [3] 3
Hình 1. 2: Phương pháp sử dụng camera nhiệt Hiện nay, các bãi đỗ xe thường được trang bị CCTV camera với mục đích giám sát đồng thời sử dụng cho các hệ thống phát hiện tự động. Thấy được điều này, phòng thí nghiệm IC Design đã có ý tưởng sử dụng CCTV camera để xác định chỗ đỗ xe. Với điều kiện trang thiết bị có sẵn và khả năng quan sát rộng nên hệ thống phân loại trạng thái chỗ đỗ xe bằng camera là giải pháp khả thi để giám sát bãi đỗ và giảm thời gian tìm kiếm vị trí đỗ xe trống cho người sử dụng, đặc biệt là với những bãi đỗ xe lớn. Ưu điểm của phương pháp này là ta có thể giám sát được vài chục vị trí đỗ chỉ với một camera, và việc thi công đơn giản không ảnh hưởng nhiều đến môi trường. Về hoạt động của hệ thống giám sát: Camera chụp hình ảnh toàn cảnh bãi đỗ xe, một bộ xử lý phải xử lý hình ảnh đó để đưa ra số vị trí còn trống và trống tại những vị trí nào. Các vị trí trống luôn được cập nhật liên tục và được hiển thị trên màn hình đặt tại các vị trí chiến lược trong khu vực đỗ xe nhằm hỗ trợ cho người dùng. 4
Hình 1. 3: Sử dụng camera để giám sát, quản lý bãi đỗ xe [4] Nội dung nghiên cứu trong luận văn này tập trung vào giải quyết, phát triển phương pháp xác định các vị trí ô đỗ xe. Hệ thống sử dụng hình ảnh mà camera chụp từ bãi đỗ xe, sử dụng phần mềm chọn cắt thành các ảnh nhỏ chụp từng vị trí đỗ, ghi lại tọa độ vị trí của các chỗ đỗ xe. Từ đó, các hình ảnh cập nhật trạng thái về sau của bãi đỗ xe sẽ được đưa vào phần mềm tự động cắt ảnh các chỗ đỗ xe dựa theo thông tin các vị trí đã có sẵn. Đây chính là những ảnh được ra khối công việc tiếp theo của hệ thống - sử dụng CNN để phân loại mỗi ảnh nhỏ thuộc trạng thái “bận” (busy – có xe tại vị trí đỗ) hoặc “trống” (free – không có xe tại vị trí đỗ). 1.2. Mục tiêu và nhiệm vụ của luận văn. Mục tiêu của luận văn: - Thực hiện đánh dấu các điểm mốc trên hiện trường, sử dụng các hình ảnh được chụp từ camera, viết chương trình tính toán xác định tọa độ các vị trí đỗ xe ô tô sử dụng các điểm mốc đã đánh dấu. - Sử dụng phần mềm xử lý ảnh OpenCV để cắt ra thành các ảnh nhỏ của từng vị trí ô đỗ xe, tạo thành bộ dữ liệu ảnh và gửi đến khối công việc tiếp theo để phân loại trạng thái vị trí đỗ là “busy” hay là “free”. Nhiệm vụ của luận văn để đạt được mục tiêu trên là: 5
- Tìm hiểu về ngôn ngữ lâp trình python. Tìm hiểu các lệnh, hàm xử lý cơ bản của OpenCV – thư viện hỗ trợ cho việc xử lý ảnh, và hiểu về các thuật toán xử lý ảnh cơ bản. - Xây dựng chương trình cho phép chọn và tính toán các điểm mốc và vị tí đỗ xe trong ảnh chụp khu vực bãi đỗ xe. - Xây dựng chương trình cho phép cắt ảnh tự động từ các mốc trong ảnh và các vị trí đỗ xe đã có. 1.3. Kết luận chương Trong phần này, chúng ta đã đi khảo sát các phương pháp quản lý bãi đỗ xe nhằm chọn ra một phương pháp quản lý tối ưu phù hợp với mục tiêu giúp người lái xe tiết kiệm đượ thời gian trong việc tìm kiếm vị trí đỗ xe trống. Từ đó, chúng ta xác định mục tiêu và nhiệm vụ phải thực hiện để xây dựng một hệ thống được trình bày chi tiết ở chương tiếp theo. 6
CHƯƠNG 2. SƠ ĐỒ KHỐI VÀ CƠ SỞ LÝ THUYẾT 2.1. Giới thiệu chung về hệ thống. 2.1.1. Bài toán Bài toán đặt ra là xây dựng một hệ thống quản lý bãi đỗ xe ngoài trời tự động và ít có sự quản lý của con người. Hệ thống này có thể thông tin kịp thời cho người lái xe về vị trí bãi đỗ cũng như số lượng hay vị trí cụ thể của từng ô đỗ còn trống ở trong bãi. Nhiều phương pháp đã được triển khai sử dụng như lắp đặt cảm biến tại từng vị trí đỗ để kiểm soát trạng thái của từng vị trí, sau đó tổng hợp và đưa ra số lượng cũng như những vị trí đỗ còn trống. Phương pháp này có ưu điểm là dễ triển khai và đơn giản tuy nhiên lại gây tốn kém khi phải sử dụng nhiều cảm biến cho các bãi đỗ lớn [5]. Hoặc một số nơi sử dụng bộ đếm ở cửa ra vào để kiểm soát số lượng xe trong bãi đỗ. Phương pháp này tuy đơn giản, chi phí thấp nhưng lại không bao quát được nhiều trường hợp như xe đi qua nhưng không đỗ lại hay không kiểm soát được vị trí đỗ của xe [6]. Ngoài những phương pháp trên, một trong những phương án phổ biến và có nhiều ưu điểm hiện nay là quản lý bãi đỗ xe sử dụng camera. Hệ thống quản lý bằng cách nhận diện trạng thái bãi đỗ xe ô tô sử dụng camera, có thể ứng dụng giám sát tại các bãi đỗ xe lòng đường, trung tâm thương mại, trường học… với các vị trí đỗ được bố trí theo những vị trí cố định và góc đặt camera cũng cố định. Phương pháp này có ưu điểm là lắp đặt dễ, thi công ít làm ảnh hưởng đến môi trường thực tế, giá thành rẻ và vận hành bảo dưỡng dễ dàng. Mỗi camera có thể kiểm soát được khoảng không gian khá lớn, có khả năng nhận ra vài chục vị trí đỗ ô tô và tình trạng chỗ đỗ, do đó tiết kiệm được kinh phí thiết bị cũng như kinh phí bảo dưỡng. Ở mỗi bãi đỗ ô tô, hệ thống cho phép phát hiện ra vị trí từng ô đỗ xe và đưa ra kết luận vị trí đó còn trống hay không, tổng hợp số chỗ đỗ trống, cập nhật về hệ thống quản lý trung tâm để cập nhật lên tiện ích của người dùng, người đang điều khiển phương tiện và có nhu cầu tìm kiếm vị trí đỗ. Để phân loại vị trí đỗ dựa vào ảnh chụp bãi đỗ, hệ thống cần một thuật toán xử lý ảnh hiệu quả. Có nhiều thuật toán được sử dụng cho công việc này như Background Subtraction, Color-based SVM (Support Vector Machine), … Tuy nhiên, phương án phổ biến hiện nay và cũng là phương án cho độ chính xác cao là 7
sử dụng phương pháp học sâu (Deep Learning) hay mạng nơ-ron tích chập CNN. Phương pháp này có thể cho độ chính xác gần ngang bằng với con người nhưng nhược điểm của nó là cần bộ dữ liệu đủ lớn cho quá trình huấn luyện để cho ra được kết quả chính xác. Hệ thống sử dụng camera giám sát phát hiện ô tô đỗ cần đạt được các yêu cầu sau: - Phát hiện được trạng thái có xe và không có xe đang đỗ tại vị trí lắp đặt với các loại xe ôtô cá nhân thông dụng tại Việt Nam. - Hoạt động trong điều kiện có ánh sáng ban ngày hoặc đèn chiếu sáng trên đường phố. - Kết nối tới trạm xử lý tập trung qua các công nghệ truyền thông không dây - Hệ thống stand – alone, có kích thước nhỏ gọn, tiện lắp đặt và triển khai. 2.1.2. Đầu vào/ra của hệ thống. Hệ thống yêu cầu nhận dữ liệu đầu vào là các hình ảnh được chụp từ camera giám sát có kích thước 1920 x 1080 pixel với định dạng “.jpg”. Sau đó, kết quả hệ thống trả về là trạng thái của từng vị trí đỗ xe và tổng số vị trí còn trống. 2.1.3. Sơ đồ khối Sơ đồ khối của hệ thống được mô tả như hình sau: Hình 2. 1: Sơ đồ khối hệ thống nhận dạng chỗ đỗ xe ô tô bằng camera Mô tả hoạt động của hệ thống: - Hệ thống xử lý sẽ nhận các hình ảnh (frame) từ camera và đưa vào khối Image Processing nhằm mục đích tiền xử lý hình ảnh trước khi phân loại vị trí đỗ. 8
- Tại khối này, hình ảnh sẽ được căn chỉnh theo hình ảnh tham chiếu (được lưu từ trước), thông báo về vị trí của camera (vẫn giữ nguyên hay bị lệch khỏi vị trí ban đầu) và sau đó sẽ cắt ra hình của từng vị trí ô đỗ xe. Tập các hình ảnh được đưa vào khối Car Classification để phân loại xem tại đó đã có xe đỗ hay không (trạng thái của từng vị trí) và cho biết số vị trí trống còn lại. Khối Training có nhiệm vụ huấn luyện mô hình trên tập dữ liệu thu được (dataset) và đưa ra các trọng số tới khối Car Classification hỗ trợ cho việc phân loại. Để giám sát trạng thái bãi đỗ xe, ta lựa chọn thuật toán phân loại ảnh dựa vào mạng nơ-ron tích chập CNN. Convolutional Neural Network (CNN – Mạng nơ-ron tích chập) là một trong những mô hình Deep Learning tiên tiến. Nó giúp cho chúng ta xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay. Như hệ thống xử lý ảnh lớn như Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng thông minh như nhận diện khuôn mặt người dùng, phát triển xe hơi tự lái hay drone giao hàng tự động. Đặc biệt, CNN được sử dụng nhiều trong các bài toán nhận dạng các object trong ảnh. Khi phát triển hệ thống trên, nhóm nghiên cứu đã thực hiện công việc như sau: 1) Phát triển phần mềm hệ thống, bao gồm: - Xây dựng mạng CNN sử dụng để phân loại trạng thái tại các vị trí đỗ. Mạng CNN được sử dụng cần có số lượng tham số nhỏ để có thể triển khai lên phần cứng với dung lượng hạn chế - Xây dựng bộ ảnh chuẩn tại các bãi đỗ xe trong khuôn viên trường Đại học Bách Khoa Hà Nội. Bộ ảnh cần phải đa dạng cả về góc máy lẫn điều kiện ánh sáng, thời tiết. - Nghiên cứu phần mềm, thư viện và các thuật toán thích hợp cho phép nhận dạng mốc trong ảnh, căn chỉnh ảnh và cắt ảnh. 2) Phát triển phần cứng hệ thống, bao gồm: - Nghiên cứu chọn lựa camera thích hợp cho việc chụp ảnh, gửi ảnh đến bộ xử lý theo lệnh điều khiển. Ảnh từ camera cần có độ phân giải cao để hỗ trợ việc nhận diện ô tô tại vị trí đỗ. Camera cần hỗ trợ các chuẩn như USB, HDMI và cho phép truy cập theo địa chỉ IP. 9
- Nghiên cứu chọn lựa bộ xử lý thích hợp cho phép xử lý cắt ảnh và nhận diện ô tô tại vị trí đỗ sử dụng mạng CNN. Hệ thống cho phép lựa chọn kết nối và điều khiển chụp tới một hoặc một vài camera. - Nghiên cứu kết nối truyền thông tin giữa camera và bộ xử lý. 3) Chạy thử nghiệm hệ thống với các ảnh chụp tự động từ camera tại bãi đỗ xe trường Đại học Bách khoa Hà Nội. Hình 2. 2: Camera được lắp đặt tại tầng 4 tòa nhà C9, khuôn viên trường Đại học BKHN và kết quả chụp bãi đỗ xe nhà C9, trường Đại học Bách khoa Hà Nội 2.2. Khối xử lý công việc đề cập trong luận văn Luận văn sẽ tập trung phát triển khối Image Processing với nhiệm vụ căn chỉnh ảnh, phát hiện các vị trí đỗ trong bãi đỗ xe bằng cách sử dụng camera giám sát và cắt ảnh chụp bãi đỗ thành các ảnh nhỏ chứa các vị trí đỗ. Chi tiết công việc của khối sẽ được trình bày chi tiết trong phần sau của báo cáo. Sơ đồ khối của khối Image Processing được thể hiện ở Hình 2. 3 như sau: 10
Hình 2. 3: Sơ đồ khối của Image Processing Mô tả hoạt động của khối Image Processing - Trong trường hợp camera đặt tại một góc cố định, chương trình sẽ lấy một ảnh chụp bãi đỗ xe làm ảnh tham chiếu để tính toán tọa độ pixel của từng vị trí đỗ. - Từ những tọa độ đã chọn, các hình ảnh về sau của bãi đỗ xe khi được đưa vào sẽ sử dụng những tọa độ này để cắt ra vị trí của từng ô đỗ, phục vụ cho việc phân loại trạng thái của vị trí đỗ xe. Bảng 2. 1: Thông tin đầu ra, đầu vào của khối Image Processing Tín hiệu I/O Mô tả frame I Ảnh bãi đỗ xe ô tô sample frame I Ảnh mẫu (ảnh đầu tiên) bãi đỗ xe slot O Ảnh từng vị trí đỗ Trong trường hợp vị trí của camera bị xê dịch so với vị trí cố định ban đầu, khối Image Processing sẽ xử lý theo các bước sau: - Xác định các mốc và tọa độ của chúng trong ảnh - Nội suy tọa độ vị trí ô đỗ từ vị trí của mốc. 11
Quy trình khi đó được thực hiện theo sơ đồ thuật toán Hình 2. 4 Hình 2. 4: Quy trình thực hiện công việc trong khối Image Processing Chương trình sẽ gồm các bước sau: Đọc ảnh từ camera, sau đó chuyển ảnh từ không gian màu RGB sang không gian màu HSV để thuận tiện hơn trong việc nhận diện màu. Sau khi nhận diện màu ta sẽ có được 1 mask là kết quả nhận diện màu đó, từ mask này ta sẽ loại bỏ nhiễu và xác định tọa độ của các mốc. Tùy vào số lượng mốc tìm được, chương trình sẽ báo lỗi (ít hơn 2 mốc được tìm thấy) hoặc các tọa độ của các mốc tìm được sẽ được so sánh với tọa độ tham chiếu để kiểm tra xem góc camera có bị lệch hay không. Nếu góc camera không bị lệch, chương trình sẽ chuyển sang bước cắt hình ngay. Còn trong trường hợp góc camera bị thay đổi thì 12