Phát hiện và ước lượng khoảng cách vật cản, ứng dụng trợ giúp dẫn đường cho người khiếm thị

Nguyễn Quốc Hùng, Trần Thị Thanh Hải, Vũ Hải, Hoàng Văn Nam, Nguyễn Quang Hoan<br /> <br /> <br /> PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG<br /> PHÁT HIỆN VÀ ƯỚC LƯỢNG<br /> CÁCH VẬT<br /> KHOẢNG CẢN,<br /> CÁCH ỨNGỨNG<br /> VẬT CẢN, DỤNG TRỢ<br /> DỤNG TRỢGIÚP<br /> GIÚP<br /> DẪNDẪN<br /> ĐƯỜNG<br /> ĐƯỜNGCHO NGƯỜIKHIẾM<br /> CHO NGƯỜI KHIẾM<br /> THỊ THỊ<br /> Nguyễn Quốc Hùng∗† , Trần Thị Thanh Hải∗ , †Vũ Hải∗ , Hoàng Văn Nam∗ ,<br /> Nguyễn Quang<br /> Nguyễn Quốc Hùng<br /> Hoan, ‡<br /> ∗ Trần Thị Thanh Hải*<br /> Viện nghiên cứu quốc tế MICA, Trường ĐHBK HN, Vũ Hải<br /> * , Hoàng Văn Nam*-, 2954 - INP Grenoble<br /> - ‡CNRS/UMI<br /> † TrườngNguyễn<br /> Cao đẳngQuang<br /> Y tếHoan<br /> Thái Nguyên<br /> * Viện nghiên cứu‡ quốc<br /> Trườngtế MICA, Trường ĐHBK HN<br /> Đại học sư phạm kỹ thuật - CNRS/UMI - 2954 - INP Grenoble<br /> Hưng Yên<br /> †<br /> Trường Cao đẳng Y tế Thái Nguyên<br /> ‡<br /> Trường Đại học sư phạm kỹ thuật Hưng Yên<br /> <br /> Tóm Tóm tắt: Bài báo<br /> tắt—Bài báonàynàytrình<br /> trìnhbàybàymộtmột phương<br /> phương pháppháp I. GIỚI THIỆU<br /> phát hiện và ước lượng khoảng<br /> phát hiện và ước lượng khoảng cách vật cản sử dụng cách vật cản sử<br /> Phát hiện và ước lượng khoảng cách vật cản là<br /> dụng camera duy nhất gắn<br /> camera duy nhất gắn trên robot ứng dụng trongtrên robot ứng dụng<br /> trong trợ dẫn<br /> giúp đường<br /> dẫn đường cho người khiếm một chủ đề thu hút sự quan tâm của các nhà khoa<br /> trợ giúp cho người khiếm thị. thị.<br /> Với Với<br /> vật<br /> vật<br /> cản tĩnh ít di chuyển vị trí trong môi trường,trường,<br /> cản tĩnh ít di chuyển vị trí trong môi chúng học trong thời gian dài bởi ý nghĩa và tính ứng<br /> chúng<br /> tôi lưutôi trữlưuthôngtrữ thông<br /> tin về tin<br /> loạivềvật<br /> loại vậtvịcản,<br /> cản, trí vị<br /> và trí và<br /> hình dụng của nó trong các bài toán dẫn đường tránh<br /> hình ảnh của vật cản vào CSDL.<br /> ảnh của vật cản vào CSDL. Trong quá trình di Trong quá trình di vật cản cho robot, xe tự hành. Đã có rất nhiều<br /> chuyển, chúng tôi thực hiện đối<br /> chuyển, chúng tôi thực hiện đối sánh nhanh quan sánh nhanh quan phương pháp đề xuất sử dụng công nghệ khác<br /> sát<br /> sát hiện<br /> hiện tại tại với<br /> với quanquan sát<br /> sát tương<br /> tương ứng ứng được<br /> được xácxác định<br /> định nhau như GPS, LIDAR, RFID, Camera nhằm tăng<br /> bởi giải thuật định vị [1]. Sau đó sự<br /> bởi giải thuật định vị [1]. Sau đó sự có mặt của vật có mặt của vật độ chính xác phát hiện, giảm độ sai số ước lượng<br /> cản tại quan sát trong CSDL<br /> cản tại quan sát trong CSDL sẽ được kiểm tra vàsẽ được kiểm tra và và thời gian tính toán.<br /> xác định vị trí trong quan sát hiện<br /> xác định vị trí trong quan sát hiện tại. Với vật cản tại. Với vật cản<br /> Mục tiêu của chúng tôi là nghiên cứu và phát<br /> động,<br /> động, cụ cụ thể<br /> thể làlà người<br /> người di di chuyển,<br /> chuyển, chúngchúng tôitôi sử<br /> sử dụng<br /> dụng<br /> giải thuật HOG-SVM là một bộ phát hiện người triển hệ thống robot thông minh di dộng, có khả<br /> giải thuật HOG-SVM là một bộ phát hiện người<br /> hiệu<br /> hiệu quảquả đề đề xuất<br /> xuất bởi bởi Dalal<br /> Dalal vàvà các<br /> các cộng<br /> cộng sự sự [2].<br /> [2]. Việc<br /> Việc năng trợ giúp dẫn đường cho người khiếm thị<br /> ước lượng khoảng cách từ<br /> ước lượng khoảng cách từ camera tới vật cảncamera tới vật cản chỉ<br /> chỉ (NKT) trong môi trường trong nhà. Các nghiên<br /> sử dụng một camera RGB là<br /> sử dụng một camera RGB là một bài toán không một bài toán không cứu liên quan đến việc biểu diễn môi trường, định<br /> đơn<br /> đơn giản. Trong bài<br /> giản. Trong bài báo<br /> báo này, chúng tôi<br /> này, chúng tôi đề<br /> đề xuất<br /> xuất giải<br /> giải vị, dẫn hướng đã được trình bày trong các bài báo<br /> pháp xây dựng bản đồ chênh lệch<br /> pháp xây dựng bản đồ chênh lệch từ quan sát hiện từ quan sát hiện trước của chúng tôi [1]. Trong bài báo này, chúng<br /> tại<br /> tại và<br /> và quan<br /> quan sát sát trước<br /> trước đóđó đểđể ước<br /> ước lượng<br /> lượng khoảng<br /> khoảng cách cách tôi trình bày một phương pháp phát hiện và ước<br /> tương đối từ vật cản tới robot.<br /> tương đối từ vật cản tới robot. Các kết quả thực Các kết quả thực lượng khoảng cách vật cản nhằm hoàn thiện hệ<br /> nghiệm được tiến hành khi camera<br /> nghiệm được tiến hành khi camera di chuyển trên di chuyển trên<br /> thống cuối cùng là dẫn đường và cảnh báo vật<br /> hành lang có chiều dài 60 m<br /> hành lang có chiều dài 60m trong các điều kiện trong các điều kiện<br /> chiếu sáng khác<br /> khác nhau nhau chocho thấy<br /> thấy phương<br /> phương pháp pháp phát<br /> phát cản. Phương pháp mà chúng tôi đề xuất chỉ sử<br /> chiếu sáng<br /> hiện và ước lượng khoảng cách<br /> hiện và ước lượng khoảng cách vật cản đề xuất là vật cản đề xuất là dụng một camera RGB duy nhất gắn trên robot.<br /> phù hợp, giúp cho người khiếm thị<br /> phù hợp, giúp cho người khiếm thị có thể nhận biết có thể nhận biết Hình ảnh thu nhận được từ camera sẽ được đối<br /> và<br /> và tránh<br /> tránh được được các các vật<br /> vật cản<br /> cản nguy<br /> nguy hiểmhiểm trong<br /> trong khikhi di<br /> di sánh để xác định vị trí của robot trên bản đồ, sau<br /> chuyển.<br /> chuyển. đó xác định sự có mặt của vật cản. Để ước lượng<br /> Phát hiện vậtvậtcản; khoảng cách từ vật cản đến đối tượng, chúng tôi<br /> Từ Từ<br /> khóa:<br /> khóa—Phát hiện cản;Ước<br /> Ướclượng<br /> lượng khoảng<br /> khoảng<br /> cách<br /> cách vật<br /> vậtcản;<br /> cản;Robot<br /> Robotdẫn<br /> dẫnđường.<br /> đường.<br /> đề xuất giải pháp sử dụng hai khung nhìn của<br /> camera ở hai thời điểm khác nhau để xây dựng<br /> bản đồ chênh lệch, từ đó ước lượng độ sâu của<br /> Tác giả liên hệ: Nguyễn Quốc Hùng,<br /> Tác giả liên hệ: Nguyễn Quốc Hùng, email: Quoc-<br /> email: Quoc-Hung.Nguyen@mica.edu.vn; vật cản.<br /> Hung.Nguyen@mica.edu.vn; mobile: (+84) 912 251 253<br /> mobile: (+84) 912 251 253<br /> Đến tòa soạn: 12/2/2016, chỉnh sửa: 12/4/2016, chấp nhận<br /> Đến tòa soạn: 12/2/2016, chỉnh sửa: 12/4/2016, chấp nhận II. CÁC NGHIÊN CỨU LIÊN QUAN<br /> đăng: 12/5/2016.<br /> đăng: 12/5/2016.<br /> Một phần kết quả của bài báo này đã được trình bày tại Trong phần này, chúng tôi trình bày một số<br /> Một<br /> quốcphần kết quả của bài báo này đã được trình bày tại quốc<br /> gia ECIT’2015. nghiên cứu liên quan đến phát hiện và ước lượng<br /> gia ECIT’2015.<br /> <br /> <br /> Số 1 năm 2016<br /> Tạp chí KHOA HỌC CÔNG NGHỆ 29<br /> THÔNG TIN VÀ TRUYỀN THÔNG<br /> PHÁT HIỆN VÀ ƯỚC LƯỢNG<br /> TẠP CHÍ KHOẢNG<br /> KHOA HỌC CÁCH<br /> CÔNG NGHỆ VẬT TIN<br /> THÔNG CẢN, ỨNG DỤNG<br /> VÀ TRUYỀN TRỢ<br /> THÔNG, TẬP GIÚP<br /> 1, SỐ 1,DẪN ĐƯỜNG<br /> THÁNG CHO...<br /> 6, NĂM 2016<br /> <br /> <br /> khoảng cách vật cản trong ứng dụng dẫn đường cản có trong môi trường.<br /> cho robot. Các hướng tiếp cận được chia thành 3) Hướng tiếp cận sử dụng cảm biến hình ảnh<br /> ba nhóm chính: (i) sử dụng 01 camera ; (ii) sử độ sâu (RGB-D): Các cảm biến cung cấp hình<br /> dụng camera kép (camera-stereo); (iii) sử dụng ảnh và độ sâu như Microsoft Kinect có giá thành<br /> cảm biến ảnh và độ sâu (RGB-D). rẻ đang được sử dụng rất rộng rãi trong các ứng<br /> 1) Hướng tiếp cận sử dụng 01 camera: Hướng dụng giải trí và nghiên cứu. Các cảm biến này<br /> tiếp cận sử dụng 01 camera khá phù hợp với bài thường được áp dụng cho môi trường trong nhà.<br /> toán phát hiện đối tượng động và tĩnh. Tuy nhiên Khi ở ngoài trời có ánh sáng tự nhiên (hành lang)<br /> việc sử dụng chỉ một camera gặp khó khăn trong thì thiết bị này không thích hợp.<br /> việc dự đoán khoảng cách vật cản. Jeongdae Kim Diogo Santos 2012 [10] đề xuất phương pháp<br /> 2012 [3] sử dụng 01 camera xây dựng bản đồ nhận dạng các cấu trúc khác nhau của môi trường<br /> chênh lệch nhằm phát hiện người di chuyển trong trong nhà (con đường phía trước, bên phải, bên<br /> môi trường bằng cách dự đoán chuyển động của trái) sử dụng kỹ thuật mạng neuron nhân tạo trên<br /> các vùng phát hiện được (Block-Based Motion dữ liệu hình ảnh và độ sâu thu được từ cảm biến<br /> Estimation). Taylor 2004 [4] đề xuất phương pháp Kinect. Sharon Nissimov 2015 [11] đề xuất mô<br /> ROP (Radial Obstacle Profile) xây dựng bản đồ hình xe gắn cảm biến Kinect để phát hiện vật cản<br /> vật cản sử dụng 01 camera nhằm xác định phạm phía trước sử dụng đồng bộ thông tin màu (RGB)<br /> vi vật cản gần nhất trong bất kỳ hướng nào khi và độ sâu (Depth). Việc quyết định vùng chứa vật<br /> robot di chuyển. Erik Einhorn 2009 [5] trình bày cản được thực hiện bằng cách sử dụng thông tin<br /> phương pháp sử dụng các đặc trưng SIFT, SURF cường độ điểm ảnh nằm trong vùng độ dốc xác<br /> bất biến với các phép biến đổi kết hợp với bộ lọc định so với các điểm ảnh lân cận. Brian Peasley<br /> kalman mở rộng (EKF) xử lý một chuỗi các hình 2013 [12] trình bày phương pháp phát hiện vật<br /> ảnh chụp bằng máy ảnh duy nhất được gắn ở phía cản sử dụng cảm biến Kinect bằng cách chiếu<br /> trước của một robot di động nhằm tái tạo lại môi các điểm ảnh 3D lên mặt phẳng nhằm xây dựng<br /> trường phục vụ cho bài toán phát hiện đối tượng. một bản đồ 2D cho phép xác định xem có tồn<br /> 2) Hướng tiếp cận sử dụng camera kép: tại vật cản trong môi trường. Sau đó vận tốc tịnh<br /> Camera kép (camera-stereo) là thiết bị chuyên tiến và quay của robot được hiệu chỉnh để robot<br /> dụng cho các bài toán liên quan đến việc ước có thể tránh được vật cản. Các thử nghiệm với<br /> lượng khoảng cách. Điểm mạnh của loại thiết bị nhiều kịch bản trong nhà bao gồm các vật cản cố<br /> này là khả năng tái tạo chính xác không gian 3D định và di chuyển với độ cao khác nhau, đặc biệt<br /> trên bản đồ chênh lệch các điểm ảnh. Tuy nhiên hệ thống không phụ thuộc nhiều vào điều kiện<br /> đây là thiết bị giá thành cao, việc hiệu chỉnh tương môi trường như ánh sáng và hoạt động trong thời<br /> đối phức tạp. gian thực.<br /> Lazaros Nalpantidis 2009 [6] trình bày thuật Căn cứ vào các phân tích đánh giá phía trên,<br /> toán ra quyết định (Decision Making) tránh vật trong ngữ cảnh trợ giúp NKT trong môi trường<br /> cản dựa vào thông tin hình ảnh thu nhận từ trong nhà, chúng tôi lựa chọn đi theo hướng tiếp<br /> camera-stereo. Ming Bai 2010 [7] trình bày cận sử dụng 01 camera với mục đích thu nhận<br /> phương pháp phát hiện vật cản cho phép robot được hình ảnh có góc nhìn tốt nhất và thời gian<br /> tìm đường an toàn trong các tình huống phức tính toán nhanh cho cả hai bài toán phát hiện và<br /> tạp sử dụng thông tin hình ảnh được thu thập ước lượng khoảng cách. Phần tiếp theo sẽ trình<br /> từ camera-stereo. Rostam Affendi Hamzah 2011 bày chi tiết của phương pháp đề xuất.<br /> [8] sử dụng phương pháp xây dựng bản đồ chênh<br /> lệch từ hai quan sát nhằm ước lượng khoảng cách III. PHƯƠNG PHÁP ĐỀ XUẤT<br /> vật cản phía trước giúp robot tránh được va chạm Việc phát hiện và ước lượng vật cản được minh<br /> khi di chuyển. Lagisetty 2013 [9] đề xuất phương họa như trong Hình 1. Trong mô hình này, robot<br /> pháp phát hiện và tránh vật cản sử dụng camera- gắn camera RGB thông thường di chuyển với tốc<br /> stereo gắn trên robot di động trong môi trường có độ nào đó. Trong quá trình di chuyển, robot có<br /> cấu trúc nhằm giải quyết 02 bài toán cơ bản là thể gặp các vật cản cố định trong môi trường<br /> xác định vị trí, hướng của robot và xác định kích (chậu hoa, bình cứu hỏa, thùng rác) hoặc các vật<br /> thước, hình dạng, khoảng cách phạm vi của vật cản động xuất hiện bất ngờ (người). Giả thiết của<br /> <br /> Tạp chí KHOA HỌC CÔNG NGHỆ Số 1 năm 2016<br /> 30 THÔNG TIN VÀ TRUYỀN THÔNG<br />  Nguyễn<br /> NGUYỄN QUỐC Quốc<br /> HÙNG et al.: Hùng,<br /> NGHIÊNTrần Thị Thanh<br /> CỨU PHƯƠNG Hải,<br /> PHÁP VũHIỆN<br /> PHÁT Hải,VÀHoàng Văn Nam,<br /> ƯỚC LƯỢNG Nguyễn<br /> KHOẢNG Quang<br /> CÁCH VẬT CẢN...Hoan<br /> <br /> <br /> bài toán là robot di chuyển trên 01 mặt sàn bằng Phần dưới đây, chúng tôi trình bày chi tiết kỹ thuật<br /> phẳng. Chuyển động của robot theo một lộ trình phát hiện và ước lượng khoảng cách từ vật cản tới<br /> đã được xác định. robot.<br /> <br /> B. Phát hiện vật cản<br /> Öôùc löôïng<br /> 1) Phát hiện vật cản cố định: Mục tiêu là phát<br /> ~ 2.5m ~ 2.5 m<br /> hiện các đồ vật chính xác và nhanh nhất có thể.<br /> ~ 1.5m Ý tưởng cơ bản của chúng tôi là học trước các vật<br /> Öôùc löôïng<br /> ~ 1.5 m<br /> cản cũng như vị trí của chúng trong hệ quy chiếu<br /> đã định nghĩa, các thông tin này sẽ được lưu lại<br /> Öôùc löôïng<br /> ~ 0.5 m<br /> Phaùt hieän trong CSDL biểu diễn môi trường. Với ảnh đầu<br /> vào, sau khi đã xác định một cách tương đối vị<br /> vaät caûn<br /> <br /> <br /> Vuøng hình aûnh trí của robot trên bản đồ bằng giải thuật định vị<br /> Robot trình bày [1], tương ứng với nó là các đối tượng<br /> trong môi trường. Pha phát hiện vật cản tĩnh chỉ<br /> Hình 1. Mô hình phát hiện và định vị vật cản ước lượng kiểm tra và định vị lại cho chính xác hơn.<br /> khoảng cách<br /> Trong hình 2, bản đồ môi trường được biểu diễn<br /> là một tập các điểm quan trọng trong môi trường<br /> LN = {L1 , L2 , ...Li , ...LN }. Với mỗi điểm Li ,<br /> tương ứng là ảnh Ii , đặc tả bởi quan sát Z i và<br /> A. Khung làm việc tổng quát<br /> tập tất cả các đối tượng có thể quan sát được tại<br /> Tại thời điểm k, camera trên robot thu nhận thời vị trí Li : {Oi1 , Oi2 , ..., Oini }. Tại thời điểm<br /> hình ảnh Ik . Với hình ảnh này, vị trí của robot k , camera thu nhận ảnh Ik , nhờ giải thuật định vị<br /> trong môi trường đã được xác định bởi mô đun đã được trình bày trong [1] [13], vị trí của robot<br /> định vị (xem chi tiết trong bài báo [13]). Vị trí được xác định tương ứng L∗k . Tại vị trí L∗k này,<br /> đó là một điểm P(x,y,z=0) trong hệ quy chiếu đã tương ứng với quan sát của robot Ik∗ , tập các vật<br /> được định nghĩa từ trước; z = 0 vì giả thiết robot cản trong môi trường cũng đã được xác định và<br /> chuyển động trên một mặt phẳng. Bài toán phát lưu sẵn: {Ok1 , Ok2 , ..., Oknk }.<br /> hiện và ước lượng khoảng cách vật cản được định Các bước thực hiện để phát hiện sự có mặt của<br /> nghĩa như sau: các vật cản tại thời điểm k như sau:<br /> + Đầu vào: Ảnh Ik , vị trí của robot P(x,y,z=0) . 1) Trích chọn đặc trưng trên hai ảnh Ik và Ik∗<br /> + Đầu ra: Tập các vật cản và vị trí của nó và đối sánh điểm đặc trưng tương ứng trên<br /> trong hệ quy chiếu đã định nghĩa từ trước: hai ảnh này<br /> Ok = {Ok (x, y), k ∈ [1, n]}. 2) Xác định vật cản trên ảnh Ik từ kết quả đối<br /> Mô hình phát hiện vật cản đề xuất gồm hai pha sánh<br /> như minh họa trong Hình 2 gồm: 3) Xác định vùng chứa đối tượng<br /> − Phát hiện vật cản: Chúng tôi phân các vật Phần dưới đây, chúng tôi trình bày chi tiết kỹ thuật<br /> cản thành hai nhóm: vật cản tĩnh và vật cản các bước thực hiện.<br /> động. Vật cản tĩnh là các đối tượng trong môi − Đối sánh các điểm đặc trưng: Mục đích<br /> trường như chậu hoa, bình cứu hỏa, thùng rác của công việc này là xác định các cặp điểm<br /> trong khi vật cản động là các đối tượng người đặc trưng tương đồng giữa hai ảnh Ik và Ik∗<br /> di chuyển trong môi trường. thông qua một thủ tục đối sánh FLANN [14].<br /> − Ước lượng khoảng cách vật cản: Chúng tôi Sau đó sử dụng ngưỡng để loại bỏ các cặp<br /> lấy ý tưởng dự đoán khoảng cách từ hệ thống điểm đối sánh sai nhằm tìm ra được tập các<br /> camera kép mô phỏng như đôi mắt của người. cặp điểm tương đồng. Quá trình này gồm các<br /> Tuy nhiên trong ngữ cảnh của bài toán chúng bước như sau:<br /> tôi chỉ sử dụng duy nhất 01 camera duy nhất + Trích chọn đặc trưng và bộ mô tả: trong<br /> gắn trên robot chuyển động, quan sát hình bài báo này chúng tôi sử dụng đặc trưng<br /> ảnh tại hai thời điểm khác nhau. cục bộ SIFT [15]. SIFT là một loại đặc<br /> <br /> <br /> Số 1 năm 2016<br /> Tạp chí KHOA HỌC CÔNG NGHỆ 31<br /> THÔNG TIN VÀ TRUYỀN THÔNG<br /> PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO...<br /> TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG, TẬP 1, SỐ 1, THÁNG 6, NĂM 2016<br /> <br /> <br /> SƠ ĐỒ CÁC BƯỚC TÍNH TOÁN<br /> LN (thời gian)<br /> Vị trí Lk :<br /> Lk = {(xk , yk ), Z k , (O1 , O2 , ...Ok )}<br /> <br /> Ảnh huấn luyện trong CSDL Bản đồ môi trường Ik<br /> N<br /> L = {L1 , L2 , ...Lk , ...LN }<br /> Ảnh Ik∗<br /> Robot<br /> Lk<br /> Phát hiện vật cản tĩnh<br /> Quan sát hiện tại<br /> Đối sánh các điểm Phát hiện<br /> Ảnh Ik đặc trưng (Ik , Ik∗ ) các vật cản: Oi<br /> <br /> <br /> <br /> <br /> Phát hiện người (t: giây)<br /> <br /> HoG-SVM Lk−t<br /> <br /> <br /> L2<br /> Ước lượng khoảng cách L1<br /> <br /> Quan sát trước t(giây)<br /> Xây dựng bản đồ Tính khoảng cách<br /> Ảnh Ik−t chênh lệch Ik , Ik−t (từ Oi ֌ Robot)<br /> (t: giây)<br /> <br /> <br /> <br /> <br /> Hình 2. Các bước phát hiện và ước lượng khoảng cách vật cản<br /> <br /> <br /> <br /> trưng đã được chứng minh là bất biến Mỗi cặp điểm được gọi là matching yếu<br /> với sự thay đổi về tỉ lệ, chiếu sáng, góc nếu như khoảng cách Euclid giữa chúng<br /> nhìn của đối tượng trong ảnh. Chi tiết nhỏ hơn hai lần khoảng cách nhỏ nhất<br /> kỹ thuật trích chọn đặc trưng SIFT có trong số tất cả các cặp điểm hoặc lớn<br /> trong [15]. hơn một ngưỡng cố định Tdist = 0.2.<br /> + Đối sánh các điểm đặc trưng: Ý tưởng Hình 3 minh họa kết quả đạt được sau<br /> giải thuật FLANN [14] là tìm tập đặc khi loại bỏ các cặp matching yếu.<br /> trưng tương ứng ở hai ảnh Ik và Ik∗ .<br /> Giả sử Fk = {pk1 , pk2 , ..., pki } và Fk∗ =<br /> {pk1∗ , pk2∗ , ..., pkj∗ } là hai tập điểm đặc<br /> trưng trích chọn từ hai ảnh tương ứng<br /> Ik và Ik∗ . Trong đó i, j là số điểm đặc<br /> trưng phát hiện từ mỗi ảnh. Khoảng<br /> cách Euclid trong không gian đặc trưng<br /> giữa hai điểm pkm và pkn∗ , quy ước là a) Quan saùt hieän taïi (AÛnh I ) b) Aûnh trong CSDL (I )<br /> <br /> D(pkm , pkn∗ ). Theo [14] hai điểm đặc<br /> trưng pkm và pkn∗ được coi là giống nhau Hình 3. Kết quả khi loại bỏ một số cặp điểm đối sánh yếu<br /> nếu như D(pkm , pkn∗ ) là nhỏ nhất và tỷ<br /> số giữa khoảng cách nhỏ nhất và khoảng − Phát hiện vật cản từ kết quả đối sánh<br /> cách nhỏ hơn một ngưỡng cho trước. + Xác định cặp điểm tương ứng của vật<br /> + Loại bỏ cặp điểm sai sử dụng ngưỡng: cản trên hai ảnh liên tiếp: Ảnh Ik∗ đã<br /> có thông tin về vật cản trong ảnh (được<br /> <br /> Tạp chí KHOA HỌC CÔNG NGHỆ Số 1 năm 2016<br /> 32 THÔNG TIN VÀ TRUYỀN THÔNG<br />  Nguyễn<br /> NGUYỄN QUỐC Quốc<br /> HÙNG et al.: Hùng,<br /> NGHIÊNTrần<br /> CỨU Thị Thanh<br /> PHƯƠNG Hải,<br /> PHÁP VũHIỆN<br /> PHÁT Hải,VÀ<br /> Hoàng Văn Nam,<br /> ƯỚC LƯỢNG Nguyễn<br /> KHOẢNG Quang<br /> CÁCH VẬT CẢN...Hoan<br /> <br /> <br /> xác định bởi bao đóng chữ nhật). Chúng tượng được xác định ở sử dụng kỹ thuật đối<br /> tôi thực hiện khoanh vùng các điểm đặc sánh ảnh FLANN [14] xác định đối tượng<br /> trưng nằm trong vùng chứa vật cản trong trong ảnh hiện thời.<br /> ảnh Ik∗ . Sau đó tìm điểm tương ứng của<br /> chúng trên ảnh Ik .<br /> + Tính ma trận chuyển tọa độ H: Mục đích<br /> của việc này nhằm tính toán tọa độ đối<br /> tượng trong quan sát hiện thời Ik∗ dựa<br /> vào các cặp điểm đặc trưng. Cụ thể là<br /> với các cặp điểm tương đồng (pkm∗ , pk ),<br /> n<br /> <br /> thực hiện ước lượng ma trận chuyển đổi a) Aûnh trong CSDL (I ) b) Quan saùt hieän taïi (AÛnh I )<br /> <br /> H dựa vào ràng buộc:<br /> Hình 4. Minh họa kết quả xác định vùng chứa đối tượng<br /> pkn = H · pkm<br /> ∗ (1)<br /> Hình 4(a) Minh họa ảnh Ik∗ chứa đối tượng<br />  <br /> xk n<br /> Trong đó pkn =  ykn ;pkm ∗ = với các điểm đặc trưng trích chọn và vùng<br /> 1 chữ nhật khoanh đối tượng từ trước. Hình<br /> 4(b) là ảnh Ik với các điểm đặc trưng tương<br />    <br /> xkn∗ · w h11 h12 h13<br />  yk∗ · w ; H = h21 h22 h23 <br /> n<br /> ứng. Kết quả hình chữ nhật màu đỏ khoanh<br /> w h31 h32 h33 vùng đối tượng chuẩn hóa bao lấy đối tượng<br /> hij là hệ số của ma trận H , (xkm , ykm ) và sử dụng kỹ thuật biến đổi hình học để<br /> và (xkn∗ , ykn∗ ) là tọa độ cặp điểm tương chuẩn hóa về đa giác màu xanh.<br /> đồng trong không gian ảnh, w �= 0 là 2) Phát hiện vật cản động: Đối với vật cản<br /> thành phần thứ 3 trong hệ tọa độ đồng động, chúng tôi đề xuất phát hiện người (là người<br /> nhất của pkn∗ . Do ma trận H có 8 bậc tự di chuyển với tốc độ trung bình với vận tốc<br /> do, mỗi cặp điểm cho ta 2 phương trình v=1.4m/s [18]) là đối tượng hay gặp trong các<br /> ràng buộc nên để giải được ma trận H ta tình huống thử nghiệm tại các môi trường thực<br /> cần ít nhất 4 cặp điểm tương đồng [16]. tế. Đây là chủ đề thu hút được nhiều nghiên cứu<br /> Tuy nhiên, trong thực tế nếu chọn chính trong thời gian gần đây [19] nhằm nâng cao hiệu<br /> xác 4 cặp điểm để xây dựng ma trận H năng nhận dạng.<br /> thì có thể gây ra sai số rất lớn nếu như có<br /> một cặp đối sánh sai. Điều này rất hay<br /> xảy ra do trong môi trường tòa nhà có C. Ước lượng khoảng cách từ camera tới vật cản<br /> khá nhiều các vị trí mà tại đó các điểm 1) Nguyên lý ước lượng khoảng cách từ hai<br /> đặc trưng có độ tương đồng lớn. Vì vậy, camera: Mục đích của việc dự đoán khoảng cách<br /> một kỹ thuật phổ biến và thường hay là tái tạo lại không gian 3 chiều (3D), mô phỏng<br /> được sử dụng để khắc phục trường hợp lại hệ thống thị giác của con người thông qua việc<br /> này khi xây dựng ma trận H đó là kỹ lấy đồng thời ảnh từ hai camera cùng quan sát<br /> thuật RANSAC [17] nhằm tìm ra 4 cặp một khung cảnh từ các góc nhìn khác nhau. Bằng<br /> điểm tương ứng xây dựng nên một đa phép biến đổi hình học tính toán được khoảng<br /> giác, bằng phương pháp hình học chuẩn chênh lệch giữa hai quan sát trên ảnh để từ đó<br /> hóa về dạng hình chữ nhật bao lấy vùng ước lượng khoảng cách trên thực địa như minh<br /> chứa đối tượng. họa trong hình 5.<br /> − Xác định vùng chứa đối tượng Mục đích Trong đó:<br /> của việc này là xác định vị trí của đối tượng + SL và SR hai camera được đặt đồng trục trên<br /> trên ảnh Ik của quan sát hiện tại. Từ 4 góc cùng một mặt phẳng.<br /> của vật cản trên ảnh Ik , xác định 4 góc vật + B khoảng cách nối tâm hai camera; B1<br /> cản trên ảnh Ik∗ thông qua ma trận H vừa khoảng cách từ tâm chiếu đối tượng tới<br /> tính ở trên. Kết quả xác định vật cản cố định camera thứ nhất, B2 khoảng cách đến camera<br /> được minh họa ở hình 4, trong đó tâm của đối thứ hai.<br /> <br /> <br /> Số 1 năm 2016<br /> Tạp chí KHOA HỌC CÔNG NGHỆ 33<br /> THÔNG TIN VÀ TRUYỀN THÔNG<br /> PHÁT HIỆN VÀ ƯỚC LƯỢNG<br /> TẠP CHÍ KHOẢNG<br /> KHOA HỌC CÁCH<br /> CÔNG NGHỆ VẬTTIN<br /> THÔNG CẢN, ỨNG DỤNG<br /> VÀ TRUYỀN THÔNG,TRỢ<br /> TẬP GIÚP<br /> 1, SỐ 1,DẪN ĐƯỜNG<br /> THÁNG CHO...<br /> 6, NĂM 2016<br /> <br /> <br /> Thay giá trị tan(ϕ1 ), tan(ϕ2 ) trong công thức<br /> x0<br /> <br /> <br /> <br /> <br /> 4 và công thức 5 vào công thức 3, khoảng cách<br /> D được tính toán như sau:<br /> D<br /> <br /> Bx<br /> ϕ1 ϕ2<br /> D=  ϕ0  0 (6)<br /> 2 tan 2 (x1 − x2 )<br /> ϕ0 ϕ0<br /> <br /> B1 B2<br /> f<br /> SL<br /> B<br /> SR<br /> Với x0 là chiều rộng của ảnh, (x1 − x2 ) là chênh<br /> lệch (Disparity) về vị trí của đối tượng quan sát<br /> Hình 5. Mô hình ước lượng khoảng cách từ hai quan sát trên camera thứ nhất và thứ hai cùng tính theo<br /> từng điểm ảnh.<br /> Tuy nhiên, theo [20], [21], [22] đã chứng minh<br /> + ϕ0 góc quan sát đối tượng từ 02 camera, ϕ1 được khoảng cách D sẽ tỷ lệ nghịch với hiệu (x1 −<br /> và ϕ2 là góc giữa trục quang học của camera x2 ) vì vậy để bù lỗi cho góc quan sát ϕ0 thì ϕ0<br /> và các đối tượng quan sát. tương ứng với mỗi điểm ảnh sẽ được cộng thêm<br /> + f tiêu cự ống kính hai camera; x0 khoảng một đại lượng ∆ϕ. Tiếp tục áp dụng nguyên lý<br /> cách vùng quan sát của camera. đồng dạng trong hình học như trong hình 6(c) ta<br /> Xuất phát từ khoảng cách đường nối tâm cam- có:<br /> era B được xác định từ hai thành phần B1 và B2 tan(ϕ0 ) ∆D + D<br /> ta có: = (7)<br /> tan(ϕ0 − ∆ϕ) D<br /> B = B1 + B2 = D tan(ϕ1 ) + D tan(ϕ2 ) (2)<br /> Sử dụng tính đồng nhất của lượng giác cơ bản<br /> Do vậy khoảng cách ước lượng từ camera đến<br /> khoảng cách lỗi được tính như sau:<br /> đối tượng tính bằng công thức sau:<br /> B D2<br /> D= (3) ∆D = tan(∆ϕ) (8)<br /> tan(ϕ1 ) + tan(ϕ2 ) B<br /> Để xác định khoảng cách này, chúng ta sẽ phân<br /> tích hình ảnh của đối tượng được quan sát được ở Như vậy, khoảng cách dự đoán D trong công thức<br /> hoành độ trên ảnh x1 từ camera thứ nhất và hoành 6 biến đổi thành:<br /> độ trên ảnh x2 từ camera thứ hai. Bx0<br /> D= (9)<br /> x0<br /> 2<br /> x0<br /> 2<br /> 2 tan( ϕ20 + ∆ϕ)(x1 − x2 )<br /> x1 −x2<br /> ∆D<br /> <br /> <br /> <br /> ∆ϕ Từ đây công thức 9 đưa về biểu diễn về dạng hàm<br /> mũ như sau:<br /> D D<br /> ϕ2<br /> ϕ0<br /> <br /> <br /> <br /> ϕ1 D<br /> D = k ∗ xd (10)<br /> ϕ0 ϕ0<br /> <br /> <br /> <br /> <br /> SL<br /> (a). Goùc thöù nhaát quan saùt ñoái töôïng<br /> SR<br /> (b). Goùc thöù hai quan saùt ñoái töôïng<br /> B<br /> <br /> (c). Buø loãi khoaûng caùch cho 1 ñieåm aûnh<br /> Trong đó:<br /> + k là hằng số được tính như sau:<br /> Hình 6. Hình ảnh của đối tượng quan sát từ hai góc thu nhận<br /> Bx0<br /> k= (11)<br /> Áp dụng nguyên lý đồng dạng trong hình học 2 tan( ϕ20 + ∆ϕ)<br /> như mô tả trong hình 6(a-b) ta có:<br /> x tan(ϕ1 ) + x = (x1 − x2 ), d là hằng số xác định giá trị<br /> x01 = (4) độ chênh lệch (Disparity) giữa các điểm ảnh<br /> tan ϕ20<br />  <br /> 2 từ hai quan sát và được tính toán trên bản đồ<br /> −x2 tan(ϕ2 ) chênh lệch của từng điểm ảnh khi hai camera<br /> x 0  = (5)<br /> tan ϕ20 quan sát đối tượng tại các góc khác nhau.<br />  <br /> 2<br /> <br /> <br /> Tạp chí KHOA HỌC CÔNG NGHỆ Số 1 năm 2016<br /> 34 THÔNG TIN VÀ TRUYỀN THÔNG<br />  Nguyễn<br /> NGUYỄN QUỐC Quốc<br /> HÙNG et al.: Hùng,<br /> NGHIÊNTrần<br /> CỨU Thị Thanh<br /> PHƯƠNG Hải,<br /> PHÁP VũHIỆN<br /> PHÁT Hải,VÀ<br /> Hoàng Văn Nam,<br /> ƯỚC LƯỢNG Nguyễn<br /> KHOẢNG Quang<br /> CÁCH VẬT CẢN...Hoan<br /> <br /> <br /> 2) Xây dựng bản đồ chênh lệch: Như vậy để + Đường epipolar lF và lT là đường<br /> xác định độ sâu của đối tượng (khoảng cách từ nối giữa hai điểm eT PT và eF PF<br /> đối tượng tới camera), bản đồ chênh lệch giữa các nằm trong hai mặt phẳng ảnh.<br /> điểm ảnh trên hai quan sát phải được tính toán. Chúng tôi thực hiện tìm các đường<br /> Nhiều thuật toán đã được đề xuất để giải quyết epipolar trên hai quan sát khi camera<br /> vấn đề này như trong [23], [24] nhằm cải thiện chuyển động, kết quả cho thấy các<br /> độ chính xác dự đoán khoảng cách. đường epipolar tìm được cắt nhau qua<br /> Trong hệ thống đề xuất, chúng tôi đi theo hướng điểm epipole e và e′ khi chiếu lên mặt<br /> tiếp cận xác định bản đồ chênh lệch sử dụng 01 phẳng nằm ngang thì e ≡ e′ (hình 8).<br /> camera duy nhất với các bước cơ bản như sau:<br /> 1) Thu thập dữ liệu: thu thập hình ảnh ở các e’<br /> thời điểm khác nhau, chúng tôi định nghĩa<br /> hai quan sát mô tả trong hình 7. Trong đó:<br /> <br /> Aûnh<br /> I<br /> Aûnh<br /> I e<br /> z<br /> y<br /> <br /> x<br /> L L L 0<br /> <br /> <br /> a) Moâ hình camera chuyeån ñoäng b) Tính toaùn treân hai quan saùt tröôùc vaø sau<br /> Quan saùt L Quan saùt L<br /> <br /> <br /> Hình 8. Kết quả tìm đường eplipolar khi camera chuyển động<br /> Hình 7. Minh họa thu thập dữ liệu khi camera chuyển động<br /> − Hiệu chỉnh liên kết ngang của các<br /> Lk là vị trí quan sát hiện tại; Lk−δT là vị epipolar: là quá trình chiếu hình ảnh<br /> trí quan sát trước đó, với δT là một khoảng trên cùng một mặt phẳng sao cho các<br /> thời gian xác định trước đủ để phân biệt hai đường epipolar của hai điểm song song<br /> ảnh Ik và Ik−δT . theo chiều ngang nhằm so sánh giữa hai<br /> 2) Hiệu chỉnh ảnh: Việc hiệu chỉnh ảnh là rất cặp hình ảnh.<br /> cần thiết để giảm độ phức tạp tính toán điểm + Tính toán ma trận E (Essential ma-<br /> ảnh tương ứng ở hai quan sát. Quá trình hiệu trix): xác định mối quan hệ giữa<br /> chỉnh gồm gồm có hai bước: (i) tính toán điểm P và hai điểm PF và PT từ<br /> các tham số trong và ngoài của camera; (ii) phép<br /> hiệu chỉnh hình ảnh thu nhận sử dụng các  chiếu  lên hai mặt phẳng ảnh<br /> F và T xác định:<br /> biến đổi tuyến tính xoay, dịch và nghiêng<br /> hình ảnh sao cho đường epipolar của hình PF = R(PT − T ) (12)<br /> ảnh liên kết theo chiều ngang. Trong đó mặt phẳng ảnh F chứa<br /> <br /> − Tìm đường epipolar trên từng ảnh: các vector PT và T , do đó nếu chọn<br /> các tham số của camera được định một vector (PT × T ) vuông góc với<br /> nghĩa như sau: cả hai thì một phương trình cho tất<br /> + Gọi OF  và OT là tâm chiếu của hai cả các điểm PT đi qua T và chứa cả<br /> camera, F và T là cặp mặt phẳng hai vector được xác định như sau:<br /> ảnh tương ứng. (PT − T )T (T × PT ) = 0 (13)<br /> + Điểm P trong thế giới thực có  một<br /> phép chiếu mặt phẳng ảnh F là Thay (PT − T ) = R−1 PF và RT =<br /> điểm PF và mặt phẳng ảnh T là R−1 vào công thức 13 ta có<br /> điểm PT . (RT PF )T (T × PT ) = 0 (14)<br /> + Điểm eT gọi là điểm epipole được<br /> Khi thực hiện phép nhân ma trận thì<br /> định nghĩa là ảnh củatâm chiếu OF<br /> luôn tồn tại một đường chéo của ma<br /> lên mặt phẳng ảnh T ; eF là ảnh<br /> trận kết quả S nhận giá trị 0:<br /> của tâm chiếu OT lên mặt phẳng ảnh<br /> F. (15)<br /> <br /> T × PT = SPT<br /> <br /> <br /> Số 1 năm 2016<br /> Tạp chí KHOA HỌC CÔNG NGHỆ 35<br /> THÔNG TIN VÀ TRUYỀN THÔNG<br /> PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO...<br /> TẠP CHÍ KHOA HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG, TẬP 1, SỐ 1, THÁNG 6, NĂM 2016<br /> <br />  <br /> 0 −Tz Ty pháp tổng sự khác biệt tuyệt đối SAD [26]:<br /> S =  Tz 0 −Tx  (16) �<br /> −Ty Tx 0 SAD(x, y, d) = |IT (x, y)−IF (x, y−d)|<br /> x,y∈W<br /> Các công thức trên được viết lại: (20)<br /> <br /> PFT EPT = 0 (17) Trong đó: IT và IF là hai ảnh đưa vào tính<br /> toán; (x, y) tọa độ điểm ảnh; W là cửa sổ<br /> Khi đó ma trân E được tính toán như quét có kích thước (3 × 3), (5 × 5), (7 × 7);<br /> sau: E = RS . phạm vi chênh lệch d < 120.<br /> + Tính toán ma trận cơ bản F (Fun-<br /> damental matrix): Gọi MT và MF<br /> là tham số trong của camera OT và<br /> OF , PT và PF là tọa độ của PT và<br /> PF .<br /> PT = MT PT<br /> (18)<br /> PF = MF PF<br /> <br /> Áp dụng công thức 17 để triển khai<br /> với ma trận F, ta có:<br /> T<br /> PF F PT = 0 (19) ui’<br /> <br /> Khi đó F = (MF−1 )T EMT−1 =<br /> Hình 10. Kết quả đối sánh ảnh sử dụng giải thuật SAD<br /> (MF−1 )T RSMT−1 là ma trận cơ bản.<br /> Chúng tôi áp dụng kỹ thuật của Pollefeys Kết quả của hàm SAD cho biết tổng sự khác<br /> [25] để hiệu chỉnh hai ảnh thu nhận từ hai biệt của các khối dữ liệu dò tìm trên ảnh thứ<br /> quan sát trước và sau khi camera chuyển hai khi đưa vào tính toán. Hình 10 mô tả<br /> động. Hình 9(a) minh họa phương pháp quá trình tính toán trượt cửa sổ để tìm ra<br /> chuyển đổi hình ảnh từ tọa độ đề các thông khối dữ liệu phù hợp, giá trị lớn nhất trong<br /> thường về tọa độ cầu sao cho hai điểm biểu đồ quyết định vị trí đối sánh chính xác.<br /> epiolar e và e′ trùng nhau. Hình 9(b) xoay 4) Tính toán độ sâu: Mục đích của việc này<br /> hai hình ảnh về tọa độ cực sao cho các là tìm ra độ sâu của các điểm ảnh trên<br /> đường epiolar song song với nhau. bản đồ chênh lệch (Disparity map) dựa vào<br /> Quan saùt tröôùc Quan saùt sau r<br /> phép đổi hình học để tính toán khoảng cách<br /> 8 9 1<br /> giữa các điểm ảnh tương ứng trên đường<br /> epipoline.<br /> 2<br /> 7 10<br /> <br /> 3<br /> <br /> 4<br /> <br /> 5<br />