Phương pháp phát hiện người dựa trên vùng chuyển động

Chia sẻ: Hân Hân | Ngày: | Loại File: PDF | Số trang:6

Thêm vào BST

Báo xấu

59
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu của họ là phát triển phương pháp nhằm cố gắng nâng cao độ chính xác, hiệu suất hoạt động cũng như khả năng thích nghi với nhiều môi trường và tình huống. Trong bài báo này, tác giả sẽ trình bày một số phương pháp phát hiện đối tượng người trong video thông dụng hiện nay cùng với những ưu nhược điểm.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Phương pháp phát hiện người dựa trên vùng chuyển động

Kỷ yếu kỷ niệm 35 năm thành lập Trường ĐH ng nghiệp Th ph m T h inh -2017) PHƢƠNG PHÁP PHÁT HIỆN NGƢỜI DỰA TRÊN VÙNG CHUYỂN ĐỘNG Trần Nhƣ Ý*, Nguyễn Văn Tùng, Ngô Dƣơng Hà Trường Đại họ ng nghiệp Th ph m T * Email: ytn@cntp.edu.vn TÓM TẮT Vấn đề phát hiện người trong video cũng như trong các thiết bị ghi hình đã được nghiên cứu bởi rất nhiều các nhà khoa học trên thế giới. Mục tiêu của họ là phát triển phương pháp nhằm cố gắng nâng cao độ chính xác, hiệu suất hoạt động cũng như khả năng thích nghi với nhiều môi trường và tình huống. Trong bài báo này, tác giả sẽ trình bày một số phương pháp phát hiện đối tượng người trong video thông dụng hiện nay cùng với những ưu nhược điểm. Bằng cách tách vùng chuyển động, tiếp theo là sử dụng phương pháp trích chọn đặc trưng LBP, Haar với bộ phân loại cascade để phát hiện người [1,2,3]. Dựa trên cơ sở lý thuyết này, tác giả đề xuất một thuật toán BS-CC (Background Subtraction-Cascade Classifier) với mục tiêu phát hiện người dựa trên vùng chuyển động. Kết quả thực nghiệm cho thấy phương pháp phát hiện dựa trên vùng chuyển động tối ưu hơn so với việc việc tính toán đặc trưng LBP trên tất cả các cửa sổ trong toàn khung ảnh, cho tất cả khung ảnh. Từ khóa: BS-CC, LBP, MB-LBP, Haar, AdaBoost, Cascade. 1. GIỚI THIỆU Để phát triển một phương pháp tổng quát tối ưu là rất khó khăn do vậy người ta đã tiếp cận theo nhiều hướng khác nhau với những ưu điểm, nhược điểm phù hợp cho một tình huống cụ thể nhất định. Vào năm 1996, T. Ojala và các đồng sự đã đưa ra bài toán nhận dạng mặt người bằng đặc trưng LBP [4]. Tiếp theo, Paul Viola và đồng sự đã đề xuất bộ phân loại cascade này dựa trên thuật toán học AdaBoost [1]. Phương pháp trích chọn kết cấu của ảnh thành vector đặc trưng gọi là đặc trưng LBP được Daniel Maturana và các đồng sự đề xuất năm 2009 [5]. Tốc độ xử lý của các thuật toán phát hiện mặt người luôn là thách thức được đề ra. Bằng cách tách vùng chuyển động, tiếp theo là sử dụng phương pháp trích chọn đặc trưng LBP, Haar với bộ phân loại cascade để phát hiện người [1,2,3]. Tác giả đề xuất một thuật toán BS-CC với mục tiêu phát hiện người dựa trên vùng chuyển động nhằm rút ngằn thời gian xử lý hơn so với phương pháp phát hiện người bằng bộ phân loại cascade. Kết quả thực nghiệm cho thấy phương pháp phát hiện dựa trên vùng chuyển động tối ưu hơn so với việc việc tính toán đặc trưng LBP trên tất cả các cửa sổ trong toàn khung ảnh, cho tất cả khung ảnh. Phần còn lại của bài báo được tổ chức như sau: phần 2 tác giả trình bày những công việc liên quan, phần 3 tác giả trình bày thuật toán, phần 4 tác giả sẽ trình bày kết quả thực nghiệm, đánh giá và cuối cùng là kết luận lại vấn đề. 1. MỘT SỐ CÔNG VIỆC CÓ LIÊN QUAN Mẫu nhị phân cục bộ (Local Binary Pattern-LBP) là phương pháp trích chọn kết cấu của ảnh thành vector đặc trưng gọi là đặc trưng LBP. Ý tưởng ban đầu của phương pháp này được tác giả Ojala và các đồng nghiệp giới thiệu [4], ban đầu xử lý trên ảnh xám. Ví dụ với một điểm ảnh xét 8 điểm lân cận và sử dụng chính giá trị của điểm ảnh tại trung tâm để phân ngưỡng 8 giá trị lân cận. Kết quả tìm được một chuỗi bit nhị phân có chiều dài bằng 8 tương ứng với 8 điểm lân cận được định nghĩa theo thứ tự nhất định. Chuỗi bit sẽ được chuyển sang hệ thập phân và giá trị thập phân này thay thế giá trị ban đầu của 217 Tr n hư g n ăn T ng g ư ng à điểm ảnh đang xét. Số điểm lân cận có thể được thay đổi bằng đại lượng bán kính. Hình 1.a mô tả quá trình tính toán LBP cho bài toán nhận dạng mặt người [5]. ình . (a) Mô tả tính toán với bán kính 1 điểm ảnh và lấy mẫu 8 điểm lân cận, (b) Mô tả 9×9 MB-LBP. Ưu điểm của phương pháp LBP là có chi phí tính toán thấp, ổn định khi cường độ thay đổi đơn điệu và dễ mở rộng lên không gian nhiều chiều như ảnh màu trong hệ RGB. Tuy nhiên, nhược điểm của đặc trưng dựa trên gradient là, đầu tiên, gradient phác họa cường độ phân phối xung quanh điểm ảnh một cách khá thô do chỉ biểu thị bởi hai giá trị 0 và 1. Hai mức gradient giống nhau có thể thuộc hai đối tượng cục bộ khác nhau, do đó không rõ ràng. Thứ hai, thông tin về gradient không đủ biểu diễn cho các đối tượng trong trường hợp gặp môi trường phức tạp gây ra nhiễu. Trong MB-LBP [2], Hình 1b toán tử so sánh giữa các điểm ảnh đơn trong LBP đơn giản được thay thế bằng so sánh giữa các giá trị trung bình màu xám của tiểu vùng. Mỗi tiểu vùng là một khối hình vuông chứa các pixel lân cận. Chúng ta lấy kích thước của bộ lọc như một tham số và s × s biểu thị thang đo của toán tử MB-LBP (đặc biệt là 3×3 MB-LBP trên thực tế là LBP ban đầu). Phương pháp Haar là một cách trích chọn đặc trưng của ảnh phát triển dựa trên phương pháp sóng Haar (Haar wavelet) trong xử lý tín hiệu số do Alfred Haar công bố. Viola và Jones [1] đã đưa ra phương pháp tính toán đặc trưng của ảnh với tốc độ xử lý rất nhanh dựa vào kĩ thuật quy hoạch động gọi là ảnh tích phân. Các đặc trưng thay đổi màu theo chiều ngang và dọc được phát hiện rất tốt do đó phương pháp Haar thường được sử dụng để phát hiện khuôn mặt trực diện của người, bởi vì đặc tính chung của khuôn mặt là có một số vùng mắt và miệng tối hơn vùng trán và má theo chiều dọc, và vùng mũi thường sáng hơn hai má theo chiều ngang. Nhược điểm của phương pháp này là nó khá nhạy cảm với điều kiện ánh sáng. Đồng thời nó không tập trung trích chọn được các đặc trưng về hình dáng của vật thể. Bộ phân loại cascade này dựa trên thuật toán học AdaBoost [1], áp dụng cho cả việc chọn lựa các tập đặc trưng nhỏ và việc huấn luyện cho bộ phân loại. Mỗi đặc trưng trong tập các đặc trưng của một mẫu , một bộ học yếu được định nghĩa nhằm xác định hàm phân ngưỡng tối ưu sao cho tập mẫu được phân loại sai là nhỏ nhất. Bộ phân loại yếu vì thế bao gồm một đặc trưng , một ngưỡng và một biến chẵn lẻ đại diện cho dấu của bất đẳng thức. { Thuật toán AdaBoost có thể được mô tả chi tiết thành các bước sau: - Cho một tập các mẫu { } tương ứng cho ảnh là các ảnh và trong đó là nhãn của mẫu . Trong trường hợp này có chứa đối tượng người hay không. - Khởi tạo các giá trị trọng số tương ứng với trong đó là số ảnh không chứa người hay trường hợp âm (negative) và là số trường hợp dương (positive) hay số ảnh chứa người. - Lặp lại với : - Chuẩn hóa các trọng số để cho là một phân phối xác suất ∑ + Với mỗi đặc trưng , huấn luyện bộ phân loại đơn. Sai số được đánh giá cho ∑ 218 chỉ được hạn chế để sử dụng cho một đặc trưng hư ng ph p ph t hiện người + Chọn bộ phân loại a tr n ng h với sai số n ng nhỏ nhất. + Cập nhật lại các trọng số: Trong đó nếu được phân loại chính xác, ngược lại bằng 1 và . - Bộ phân loại mạnh cuối cùng là { Với ∑ ∑ . Bộ phân loại cascade là tập hợp của nhiều bộ phân loại huấn luyện bởi thuật toán AdaBoost và điều chỉnh lại ngưỡng sao cho trường hợp phát hiện thiếu là thấp nhất. Tổng quát, ngưỡng thấp dẫn đến tỉ lệ phát hiện cao và do đó tỉ lệ phát hiện nhầm cũng cao. ình . Sơ đồ bộ phân loại cascade gồm 3 bộ phân loại đơn Bộ phân loại cascade có cấu trúc tương tự như một cây quyết định mà mỗi node là một bộ phân loại đơn. Bằng cách sử dụng bộ phân loại có cấu trúc như trên, quá trình phát hiện người sẽ được cải thiện về thời gian chạy do các ảnh chắc chắn không phải người sẽ có các đặc trưng rất khác biệt và có thể được phát hiện sớm từ các bộ phân loại đơn đầu tiên. 2. BÀI TOÁN BACKGROUND SUBTRACTION-CASCADE CLASSIFIER (BS-CC) Mô hình phát hiện đối tượng được cài đặt để giải quyết bài toán trong thời gian thực. Tín hiệu từ máy ghi hình sẽ được chuyển đến dưới dạng từng khung hình liên tiếp theo thời gian. Trong bài báo này, tác giả sử dụng các đoạn video đã được ghi lại sẵn để kiểm tra kết quả của thuật toán nhưng sẽ đọc từng khung hình và tính toán để mô phỏng trường hợp thực tế. Quá trình xử lý tổng quát có thể được mô tả bằng sơ đồ dưới đây: ình 3 Sơ đồ các bước xử lý tổng quát Tại thời điểm khung hình là một ảnh màu được đọc và xử lý phân đoạn tìm ra các đối tượng động. Để làm được điều này ta cần mô hình hóa nền bằng thông tin từ các khung hình trước đó. Tác giả xây dựng một cấu trúc dữ liệu hướng đối tượng để lưu trữ khung hình trước đó có tên là FrameProcessor. Bộ xử lý khung hình có các thuộc tính gồm số nguyên cho phép người dùng lựa chọn chính là số khung hình trước đó cần lưu lại; một cấu trúc hàng đợi lưu trữ khung hình; một ảnh cộng dồn và một ảnh nền được tính toán tại mỗi thời điểm . Cụ thể, gọi là khung hình tại thời điểm t trong đó là tọa độ của điểm ảnh, { } lần lượt là kênh màu đỏ, lục hoặc lam. Ta thực hiện xám hóa và được ảnh xám bằng công thức [6]. 219 Tr n hư Mặt nạ công thức: g n ăn T ng là một ảnh nhị phân chứa các vùng chuyển động tại thời điểm g ư ng à được tính bằng { Trong đó là một ngưỡng được định nghĩa ngay từ đầu. Ảnh nền được tính bằng: ∑ Hàng đợi { điểm bằng cách gán cập nhật bằng cách trừ cho } chứa khung hình dưới dạng ảnh xám và sẽ được cập nhật tại thời ̅̅̅̅̅̅̅̅̅̅ và với . Tương tự ảnh cộng dồn cũng được và cộng cho . Mô hình phát hiện người được áp dụng trong các vùng chuyển động sau khi phân đoạn. Tác giả sử dụng phương pháp trích chọn đặc trưng LBP, Haar với bộ phân loại cascade để phát hiện người do đó đối tượng [1,2,5] được sử dụng, cùng với kết quả học máy cũng được cung cấp sẵn. Mỗi khi một đối tượng người được phát hiện trong video, ta cần lưu trữ các đặc trưng của đối tượng cho quá trình xử lý. Vì thế tác giả định nghĩa một cấu trúc dữ liệu đại diện cho người, là lớp đối tượng Human. Trong lớp đối tượng này tác giả định nghĩa một biến quyết định lưu lại số khung hình liên tiếp mà đối tượng được phát hiện bằng bộ phân loại. Biến này đóng vai trò xác định đối tượng có thực sự là người hay chỉ là một phát hiện nhầm. 3. KẾT QUẢ THỰC NGHIỆM Tập dữ liệu kiểm tra gồm 10 video mà tác giả lấy từ bộ dữ liệu UT-Interaction [7] được giới thiệu trong [8]. UT-Interaction là bộ dữ liệu sử dụng trong bài toán nhận dạng hành động tương tác giữa hai người trong video, gồm 20 đoạn video độ dài khoảng 1 phút, độ phân giải , 30 fps, với chiều cao của người trong video vào khoảng 200 điểm ảnh. Bộ dữ liệu được chia thành 2 tập nhỏ, mỗi tập 10 video. Tập dữ liệu thứ hai có khung cảnh phức tạp hơn tập dữ liệu thứ nhất, có nhiều cây cối rung động và độ sáng tương đối thấp. Tác giả chọn lựa trong 20 đoạn video thuộc bộ UT-Interaction ra 10 video đạt chuẩn điều kiện đầu mà tác giả định nghĩa đồng thời tùy chỉnh lại kích thước của video. Cụ thể, điều kiện đầu mà tác giả áp dụng gồm: - Độ phân giải: điểm ảnh. - Tốc độ: 30 khung hình trên giây. - Tại thời điểm khởi đầu của video chưa xuất hiện bất kì đối tượng nào trong khung hình. Bảng 1. Bộ dữ liệu thực nghiệm Tên tập tin (*.avi) Số người xuất hiện trong video (người) 01 2 02 2 03 2 04 4 05 5 06 2 07 2 08 8 09 5 10 10 220 hư ng ph p ph t hiện người a tr n ng h n ng Tốc độ xử lý giữa thuật toán của tác giả được so sánh với tốc độ chạy của thuật toán phát hiện người bằng bộ phân loại cascade trên toàn khung ảnh. Ta thấy rằng việc tính toán đặc trưng LBP trên tất cả các cửa sổ trong toàn khung ảnh, cho tất cả khung ảnh rất tốn chi phí so với phương pháp phát hiện dựa trên vùng chuyển động. 25 Phương pháp BSCC (fps) 20 15 Phương pháp Cascade Classifier 10 5 0 01 02 03 04 05 06 07 08 09 10 (video) ình 4 Biểu đồ so sánh tốc độ xử lý của phương pháp phát hiện người bằng bộ phân loại cascade và phương pháp BS-CC 4. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Với bộ dữ liệu video đạt chuẩn điều kiện đầu mà tác giả định nghĩa trên mục 4 thì tốc độ xử lý giữa thuật toán BS-CC nhanh hơn nhiều so với thuật toán phát hiện người bằng bộ phân loại cascade. Phương pháp phát hiện dựa trên vùng chuyển động tối ưu hơn so với việc việc tính toán đặc trưng LBP, Haar trên tất cả các cửa sổ trong toàn khung ảnh, cho tất cả khung ảnh. Tuy nhiên thuật toán phát hiện người còn cần được huấn luyện để cải thiện về độ ổn định trong kích thước của hình chữ nhật bao đối tượng, nghĩa là đối tượng người trong hình chữ nhật này phải có một tỉ lệ nhất định và tâm của hình chữ nhật trùng với tâm của đối tượng. Điều này sẽ hỗ trợ rất nhiều trong việc trích chọn đặc trưng bất biến của người một cách hiệu quả khi ta có thể xác định được chiều cao của đối tượng cũng như một số đặc trưng nâng cao theo hướng mô hình hóa người. Đặc trưng màu sắc của đối tượng người mà tác giả trích chọn dựa vào phương pháp tính biểu đồ mức xám của từng kênh màu do đó sự khác biệt màu sắc giữa các đối tượng chưa rõ ràng. Một phương pháp trích tính toán biểu đồ màu có thể được phát triển để bổ trợ cho việc trích chọn đặc trưng này. Dựa trên biểu đồ màu, chúng ta có thể xây dựng một hàm nhân theo ý tưởng của phương pháp mean shift làm nổi bật sự khác biệt màu sắc giữa các đối tượng chính là một đặc trưng bất biến hiệu quả. Trong thuật toán của tác giả, mỗi đối tượng từ khi xuất hiện đến khi ra khỏi vùng máy quay đều được ghi lại vị trí trong khung hình thành một đường đi theo thời gian. Dữ kiện này có thể được sử dụng kết hợp trong bài toán nhận dạng hành động người do sự tương tác giữa hai hay nhiều người có phụ thuộc vào vị trí của họ. TÀI LIỆU THAM KHẢO 1. Paul Viola and Michael Jones (2001). Rapid Object Detection using a Boosted Cascade of Simple Features. Computer Vision and pattern Recognition. 2. Shengcai Liao, Xiangxin Zhu, Zhen Lei, Lun Zhang, and Stan Z Li (2007). Learning multi-scale block local binary patterns for face recognition. In Advances in Biometrics, Springer, pages 828– 837. 3. OpenCV 3.2.0 documentation Cascade Classifier http://docs.opencv.org/3.2.0/dc/d88/tutorial_traincascade.html 4. T. Ojala, M Pietikäinen, and D Harwood (1996). A Comparative Study of Texture Measures with Classification Based on Feature Distributions. Pattern Recognition 29(1). 221 Training. [Online].