TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH
TẠP CHÍ KHOA HỌC
HO CHI MINH CITY UNIVERSITY OF EDUCATION
JOURNAL OF SCIENCE
ISSN:
1859-3100
KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ
Tập 15, Số 6 (2018): 97-106
NATURAL SCIENCES AND TECHNOLOGY
Vol. 15, No. 6 (2018): 97-106
Email: tapchikhoahoc@hcmue.edu.vn; Website: http://tckh.hcmue.edu.vn
97
ĐÁNH GIÁ MỘT SỐ PHƯƠNG PHÁP BIỂU DIỄN ĐẶC TRƯNG
CHO BÀI TOÁN TÁI NHẬN DẠNG NHÂN VẬT
Võ Duy Nguyên*, Nguyễn Thị Bảo Ngọc, Nguyễn Tấn Trần Minh Khang
Phòng Thí nghiệm Truyền thông Đa phương tiện - Trường Đại học Công nghệ Thông tin – ĐHQG TPHCM
Ngày nhận bài: 14-5-2018; ngày nhận bài sửa: 29-5-2018; ngày duyệt đăng: 19-6-2018
TÓM TẮT
Tái nhận dạng nhân vật là bài toán tìm kiếm các đối tượng đã di chuyển qua các camera
khác nhau. Trong bài báo này, chúng tôi đánh giá thực nghiệm trên bộ dữ liệu lớn Airport,
DukeMTMC4ReID được công bố gần đây bằng các phương pháp rút trích đặc trưng ELF, gBiCov,
LOMO, WHOS. Kết quả cho thấy đặc trưng gBiCov có nAUC 54,42% (Airport), 40,61%
(DukeMTMC4ReID) cao hơn các đặc trưng khác.
Từ khóa: tái nhận dạng nhân vật, hệ thống giám sát.
ABSTRACT
Empirical evaluation of feature representation methods for Person reidentification
Person re-identification is a practical task matching people moving across cameras. In this
paper, we evaluated performance of various person re-identification approaches on recently
published datasets Airport and DukeMTMC4ReId by feature extractors as ELF, gBiCov, LOMO,
WHOS. The results show gBiCov achieved nAUC 54.42% (Airport), 40.61% (DukeMTMC4ReID)
greater than the others.
Keywords: person re-identification, surveillance system.
1. Giới thiệu
Việc giám sát an ninh ở những nơi công cộng đang rất được chú trọng. Các camera
giám sát được lắp đặt ở nhiều nơi như nhà ga, sân bay, trường học… Để vận hành các hệ
thống giám sát này cần tốn nhiều chi phí về nhân lực và việc giám sát thủ công cũng không
đảm bảo hiệu quả giám sát. Trong những năm gần đây, các hệ thống giám sát thông minh
được xây dựng để nâng cao hiệu quả, giảm chi phí cũng như đáp ứng nhu cầu phát triển
của các khu đô thị, thành phố thông minh. Bài toán Tái nhận dạng nhân vật (person re-id)
là một trong những bài toán được ứng dụng trong việc giám sát an ninh.
Tái nhận dạng nhân vật là bài toán có ảnh đầu vào là ảnh của một người thu được ở
một camera, đầu ra là một danh sách những người được thu ở các camera khác, danh sách
này được sắp xếp giảm dần theo mức độ tương đồng với ảnh đầu vào. Hình 1 minh họa bài
toán tái nhận dạng nhân vật, tìm cùng một người xuất hiện ở hai camera khác nhau. Trong
ví dụ, cô gái xuất hiện ở camera A ở góc quay ngang được tìm thấy ở camera B ở góc quay
từ phía sau.
* Email: nguyenvd@uit.edu.vn
TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM
Tập 15, Số 6 (2018): 97-106
98
Bài toán có nhiều thách thức lớn do ảnh của nhân vật có nhiều biến thể trong những
điều kiện khác nhau về ánh sáng, góc quay của camera, sự chồng lấp bởi các nhân vật hay
các vật thể khác, sự thay đổi của nền (background) như trong nhà, ngoài trời hay giữa thời
điểm ban ngày và ban đêm, thậm chí trong một số trường hợp thay đổi cả về trang phục
của nhân vật.
Bài toán nhận được sự quan tâm của cộng đồng nghiên cứu thị giác máy tính trong
hơn một thập kỉ qua [1, 2, 3]. Hai hướng nghiên cứu chính là biểu diễn đặc trưng (feature
representation) và học độ đo khoảng cách (metric learning) giữa các đặc trưng. Bộ biểu
diễn đặc trưng tốt sẽ “ổn định bền” trước những yếu tố làm đa dạng biến thể của nhân vật
và giúp cho các phương pháp học độ đo khoảng cách giữa các hình ảnh biến thể của nhân
vật đạt kết quả tốt hơn.
Cùng với sự phát triển của khoa học thế giới, nghiên cứu trong nước cũng có tiến
triển, một số nghiên cứu sơ khởi nhằm nâng cao hiệu suất cho bài toán đã công bố [4, 5].
Tuy nhiên, ở Việt Nam chưa có một đánh giá nào trên các trên các bộ dữ liệu lớn mới được
công bố trong những năm gần đây. Trong nghiên cứu này, chúng tôi sẽ trình bày tổng quan
về các phương pháp biểu diễu đặc trưng và học độ đo khoảng cách để đánh giá trên những
bộ dữ liệu mới bằng các độ đo tiêu chuẩn. Thông qua khảo sát này, chúng tôi cung cấp cái
nhìn tổng quan hơn về bài toán tái nhận dạng nhân vật.
Hình 1. Minh họa bài toán tái nhận dạng nhân vật [6]
Phần còn lại của bài báo được tổ chức như sau: Phần 2 trình bày mô hình tái nhận
dạng nhân vật, một số phương pháp rút trích đặc trưng và học độ đo. Phần 3 trình bày các
bộ dữ liệu Airport, DukeMTMC4ReID, các độ tiêu chuẩn Rank i, nAUC và kết quả thực
nghiệm. Cuối cùng, phần 4 trình bày kết luận.
TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM
Võ Duy Nguyên và tgk
99
2. Các nghiên cứu liên quan
2.1. Mô hình phổ biến của bài toán tái nhận dạng nhân vật
Trong phần này, chúng tôi trình bày tổng quan về các phương pháp rút trích đặc
trưng của bài toán tái nhận dạng nhân vật. Tái nhận dạng nhân vật được nghiên cứu chủ
yếu dựa trên ảnh đơn (single image). Bài toán được xem xét bao gồm dữ liệu ‘gallery’ có
N ảnh tương ứng cho N người khác nhau (G1, G2,…, GN ) và dữ liệu ‘‘Probe’’ cũng có N
ảnh, tương ứng với N người khác nhau (P1, P2,…, PN), trong đó, ảnh G1 và P1 là cùng một
người, tương tự cho các ảnh còn lại. Bài toán đặt ra là cho ảnh truy vấn q thuộc ‘Probe’ và
tìm người giống ảnh q trong bộ dữ liệu ‘gallery’. Các hướng giải quyết của bài toán chủ
yếu xoay quanh hai vấn đề: một là biểu diễn nhân vật và hai là so khớp các nhân vật.
Hình 2. Mô hình phổ biến của bài toán tái nhận dạng nhân vật
Đặc trưng biểu diễn cho nhân vật được trích xuất từ ảnh thông qua các phương pháp
rút trích đặc trưng. Một số phương pháp rút trích đặc trưng đã công bố trong các nghiên
cứu trước đây: ELF, LDFV, gBiCov, IDE-CaffeNet, IDE-VGGNet, DenseColorSIFT,
HistLBP, LOMO, GOG. Sau bước rút trích đặc trưng, chúng ta tiến hành so khớp (đặc
trưng) các nhân vật. So khớp các đặc trưng để tính độ tương đồng của các nhân vật.
Một phương pháp truyền thống là tính khoảng cách Euclid ( ). Để tìm một người
q trong tập dữ liệu ‘gallery’, chúng ta tính khoảng cách giữa (đặc trưng của) người q với
tất cả người trong ‘gallery’, dựa vào kết quả khoảng cách, thu được danh sách sắp xếp
giảm dần theo độ tương đồng. Những người đứng đầu danh sách gần giống với người q
nhất. Thay vì sử dụng độ đo Euclid, một hướng tiếp cận khác là học có giám sát, phương
pháp học độ đo khoảng cách (metric learning). Nhằm mục đích xác định những vectơ đặc
trưng của cùng một người sẽ có khoảng cách gần hơn so với vectơ đặc trưng của những
người khác.
2.2. Một số phương pháp rút trích đặc trưng
Đặc trưng thủ công được thiết kế bởi các chuyên gia để biểu diễn nhân vật dựa trên
các đặc điểm của đối tượng. Như Ensemble of Localized Features (ELF) [7] được đề xuất
bởi D. Gray and H. Tao vào năm 2008. ELF là đặc trưng kết hợp, sử dụng thông tin
histogram màu của các kênh màu RGB, YcbCr và HS và các thông tin về kết cấu bề mặt
Rút trích
đặc trưng
So khớp
Xếp hạng
Danh sách
Gallery
TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM
Tập 15, Số 6 (2018): 97-106
100
(texture) ảnh. Vectơ đặc trưng ELF dùng 29 đặc trưng gồm 8 kênh màu và 21 thông tin cấu
trúc, mỗi đặc trưng là một vecto 16 chiều.
Gabor filters, Biologically Inspired Features and Covariance descriptors (gBiCov) là
một phương pháp trích xuất đặc trưng mới dựa trên Gabor filters, Biologically Inspired
Features (BIF) kết hợp với phương pháp Covariance descriptors. B.Ma và cộng sự đã công
bố đặc trưng gBiCov vào năm 2014. Đặc trưng gBiCov thu được bằng cách tính toán và
mã hóa sự khác biệt giữa đặc trưng sinh học BIF ở các tỉ lệ khác nhau. Khoảng cách giữa
các nhân vật được tính toán hiệu quả bởi độ đo Euclidean.
Local Maximal Occurrence (LOMO) được đề xuất bởi S.Liao và cộng sự tại hội
nghị CVPR 2015. LOMO sử dụng thuật toán đa tỉ lệ Retinex xử lí các đặc trưng LBP và
biểu đồ màu HSV. LOMO phân tích sự xuất hiện theo chiều ngang của các đặc trưng cục
bộ, và tối đa hóa sự xuất hiện tạo ra sự diễn tả rõ ràng hơn trước sự thay đổi của đối tượng
qua các góc nhìn khác nhau.
Weighted Histogram of Overlapping Stripes (WHOS) là đặc trưng tập trung vào
người (foreground) trong bức ảnh, dựa trên việc loại bỏ nền (background) bằng phương
pháp Epanechnikov Kernel. WHOS lấy được nhiều đặc trưng về người ở trong ảnh, sau đó
lấy histogram của ảnh và nối với đặc trưng HOG của ảnh đã loại bỏ nền.
2.3. Một số độ đo khoảng cách (Metric learning)
Một số phương pháp metric learning như: KISSME, MFA, FDA, NSFT. MFA
(Marginal Fisher Analysis) loại bỏ được các sai lầm do bộ dữ liệu không phải dạng
Gaussian. MFA là phương pháp tham số đặc trưng cục bộ kết hợp với k hàng xóm, nên nó
có khả năng tính toán phi tuyến tính. FDA (Fisher's discriminant analysis) được tổng quát
hóa bằng LDA, một phương pháp được sử dụng trong thống kê, nhận dạng m u và máy
học để tìm một sự kết hợp tuyến tính của các tính năng đặc trưng hoặc tách hai hoặc nhiều
lớp của đối tượng hoặc các sự kiện. NSFT (Null Foley-Sammon Transform) giải quyết vấn
đề Small Sample Size (SSS) bằng việc áp dụng không gian phân biệt (discriminative null
space), trong đó các hình giống nhau thì phải nằm chung một điểm trên không gian đó, và
các hình không giống nhau phải nằm ở điểm khác, bằng một phép chiếu.
Trong phần này, chúng tôi tìm hiểu phương pháp kissme và cài đặt phương pháp này.
KISSME [8] là phương pháp phân biệt ảnh khác nhau dựa trên hàm phân phối Gaussian
giúp học nhanh bộ dữ liệu, bên cạnh đó sử dụng ma trận hiệp phương sai (cov matrix) giúp
tăng hiệu suất (performance). Để đánh giá các phương pháp rút trích đặc trưng ELF,
WHOS cho bài toán tái nhận dạng nhân vật, chúng tôi chọn KISSME làm phương pháp
tính độ đo khoảng cách.
3. Bộ dữ liệu
3.1. Bộ dữ liệu
Trong phần này, chúng tôi sẽ giới thiệu một số bộ dữ liệu được sử dụng để đánh giá
thực nghiệm, bao gồm: Airport, DukeMTMC4ReID.
TẠP CHÍ KHOA HỌC - Trường ĐHSP TPHCM
Võ Duy Nguyên và tgk
101
Bảng 1. Các đặc tính 2 bộ dữ liệu: Airport, DukeMTMC4ReID
STT
Tên bộ dữ liệu
Năm
công bố
Số
camera
Số
người
Số
ảnh
Môi trường
lắp đặt
1
DukeMTMC4ReID
2017
8
1852
46261
Trường học
2
Airport
2018
6
1382
39902
Sân bay
Airport Bộ dữ liệu Airport [9] công bố năm 2018 được thu thập từ sáu camera giám
sát lắp đặt ngoài trời ở một sân bay từ 8 giờ sáng đến 8 giờ tối. Ảnh người được nhận diện
tự động với rất nhiều ảnh chỉ chứa một phần thân người (xem Hình 3). Tổng cộng, có
39.902 ảnh của 9651 người được thu thập. Trong đó có 1382 người xuất hiện trong ít nhất
trong hai camera khác nhau. Airport là một bộ dữ liệu hứa hẹn với những đặc điểm giống
như môi trường mở thực sự của một hệ thống giám sát thực sự.
Hình 3. Minh họa bộ dữ liệu Airport
DukeMTMC4ReID [10] là bộ dữ liệu mới nhất hiện nay được xây dựng dựa trên bộ
dữ liệu DukeMTMC. Ảnh trong bộ dữ liệu DukeMTMC4ReID được thu thập từ một hệ
thống bao gồm tám camera giám sát lắp đặt ở khuôn viên Trường Đại học Duke.
DukeMTMC4ReID cung cấp 46.261 ảnh của 1852 người. Trong đó, 1413 người (22.515
ảnh) xuất hiện trong hơn một camera; 439 người còn lại (2195 ảnh) chỉ xuất hiện một trong
tám camera. Ảnh trong bộ dữ liệu có kích thước giao động từ 72x34 pixel đến 515x188
pixel (xem Hình 4).