Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018 Kỷ yếu khoa học
152
HỆ THỐNG HỖ TRỢ PHÂN TÍCH DỮ LIỆU
NGƯỜI XEM QUẢNG CÁO
Võ Minh Công*, Lê Ngọc Phú
Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh
*Tác giả liên lạc: vominhcong05@gmail.com
TÓM TẮT
Thị trường quảng cáo sử dụng LCD ngày càng nở rộ ở Việt Nam bởi tính hiệu
quả về mặt quảng bá sản phẩm, kích thích thị hiếu người dùng thông qua hình
ảnh và âm thanh sống động. Tuy nhiên, không phải chiến dịch nào được triển
khai cũng mang về doanh thu như mong đợi bởi sự khó khăn trong quá trình đo
lường độ hiệu quả của quảng cáo đối với từng đối tượng khách hàng cụ thể.
Trong nghiên cứu này, chúng tôi đề xuất một hệ thống sử dụng các thuật tóa n xử
lí ảnh kết hợp với các thuật tóa n học sâu giúp trích xuất thông tin người xem
quảng cáo như số lượng người xem, thời gian xem, giới tính, độ tuổi nhằm hỗ trợ
việc phân tích mức độ tác động của quảng cáo đến từng đối tượng khách hàng
một cách nhanh và hiệu quả. Mô hình nhận dạng giới tính và độ tuổi hiện đã hoạt
động được với tốc dộ ~30FPS, và cho ra kết quả khá tốt với độ chính xác đạt
được là 92% với giới tính và sai số về tuổi là 3.2. Với kết quả này, mô hình đã có
khả năng triển khai rộng rãi trên các hệ thống quảng cáo LCD, trong tương lai,
độ chính xác của mô hình có thể được cải thiện hơn nhờ việc thu thập thêm dữ
liệu hình ảnh và sẽ có thêm công cụ hỗ trợ phân tích các dữ liệu thu thập được
bằng thuật tóa n máy học.
Từ khóa: Quảng cáo, phân tích, xử lí ảnh, học sâu, độ tuổi và giới tính.
SMART ADVERTISING SYSTEMS
Vo Minh Cong*, Le Ngoc Phu
Ho Chi Minh City University of Technology and Education
*Corresponding Author: vominhcong05@gmail.com
ABSTRACT
The LCD advertising market is booming in Vietnam because of the efficiency in
promoting the product, stimulating attraction through visuals and sound.
However, not every campaign is deployed as well as expected as the difficulty in
measuring the effectiveness of advertising for each specific customer. In this
study, we propose a system that utilizes image processing algorithms in
conjunction with deep learning algorithms to extract viewer information such as
the number of views, viewing time, gender and age, to help analyze the impact of
advertising to each customer quickly and effectively. Gender and age
identification is now working at ~ 30FPS, and yields good results with 92%
accuracy with gender and age error of 3.2. With this result, the model has the
potential to be widely deployed on LCD advertising systems. In the future, the
accuracy of the model can be further improved by acquiring more image data
and will have additional tools for analyzing data collected by machine learning
algorithms.
Keywords: advertisings, analysis, image processing, deep learning, age and
gender.
Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018 Kỷ yếu khoa học
153
TỒNG QUAN
Trong thị trường cạnh tranh cao ngày
nay, quảng cáo đóng vai trò quan trọng
và ảnh hưởng trực tiếp đến sự thành
công của các doanh nghiệp. Cùng với
sự phát triển của nền công nghiệp sản
xuất, các công ty ngày càng quan tâm
đến việc quảng bá hình ảnh, sản phẩm
và dịch vụ của mình đến với khách
hàng. Riêng thị trường Việt Nam các
bảng quảng cáo ngoài trời chiếm tỷ lệ
cao nhất (95,2% - theo nghiên cứu của
Kantar Media). Và sự xuất hiện của các
bảng quảng cáo bằng bảng điện tử,
LCD khiến cho việc các quảng cáo tiếp
cân khách hàng càng dễ dàng hơn.
Nhưng hiện nay chưa có một phương
pháp nào để đánh giá độ hiểu qua của
quảng cáo ngay lập tức mà các nhãn
hàng thường phải dựa vào doanh số
bán hàng, việc này cần phải tốn nhiều
thời gian. Ngày nay với sự phát triển
mạnh mẽ của khoa học máy tính, càng
ngày càng có nhiều đột phá trong các
thuật tóa n máy học đặc biệt là học sâu,
một thuật tóa n đang được ứng dụng
rộng rãi trong các sản phẩm ứng dụng
trí tuệ nhân tạo. Mục tiêu của đề tài là
nghiên cứu một hệ thống ứng dụng
thuật tóa n học sâu để hỗ trợ trích xuất
thông tin về độ tuổi, giới tính, thời gian
xem, và số lượng người xem quảng cáo
trên các bảng LCD và lưu lại thông tin
trên máy chủ, từ đó những nhà phân
tích có thể kiểm chứng độ hiệu quả của
quảng cáo nhanh chóng.
CÁC THUẬT TÓA N VÀ PHƯƠNG
PHÁP NGHIÊN CỨU
Chuẩn bị dữ liệu
Bộ dữ liệu huấn luyện lấy từ tập
MegAsian (Zhang, Liu, Li, & Loy,
2017). Sử dụng phương pháp của
Viola-Jone (Viola & Jones, 2004) đó là
dùng các đặc trưng Haar để nhận diện
vùng có chứa khuôn mặt người. và cắt
khuôn mặt ra khỏi bộ dữ liệu gốc. Dữ
liệu được đa dạng hóa bằng các phép
xoay hình để tạo thêm dữ liệu cho quá
trình huấn luyện.
Xây dựng mô hình của thuật tóa n
học sâu
Để trích xuất đặc trưng của khuôn mặt
người chúng tôi đã thiết kế một mạng
CNN. Cấu trúc mạng CNN lần đầu
được tạo ra có tên là AlexNet
(Krizhevsky, Ilya, & Hinton, 2012)
Mạng CNN là một mô hình có chứa
nhiều lớp ma trận nhân chập khác nhau
đảm nhiệm các tính năng khác nhau
trong mạng như khử nhiễu, làm mờ,
trích xuất cạnh, … và nhiều đặc trưng
khác. Đối với các thuật tóa n xử lí ảnh
thông thường quá trình trích xuất đặc
trưng thì giá trị các mặt nạ phải được
nghiên cứu và cài đặt một cách thủ
công. Nhưng đối với thuật tóa n học
sâu thì các giá trị của các mặt nạ (trọng
số) được máy điều chỉnh thông qua quá
trình huấn luyện sao cho giá trị của các
lớp cuối là đúng với nhãn của dữ liệu.
Giữa các lớp nhân chập chúng tôi sử
dụng thêm kĩ thuật thường hóa (Ioffe
& Szegedy, 2015) nhằm giảm thiểu
thời gian huấn luyện và chống mô hình
tạo ra một đầu ra quá chính xác với tập
dữ liệu huấn luyện (hay còn gọi là
overfitting). Lớp cuối của mạng CNN
cho ra 2 ngõ ra là tuổi và giới tính. Với
ngõ ra dự đóa n tuổi hàm kích hoạt
được sử dụng là hàm tuyến tính cho bài
tóa n hồi quy độ tuổi. Với ngõ ra giới
tính, hàm kích hoạt là hàm sigmoid cho
ngõ ra 0/1 tương ứng với hai giới tính
nữ/nam. Với mục tiêu ban đầu là một
hoạt động theo thời gian thực, lấy ý
tưởng dựa vào mạng MobileNet
(Howard, et al., 2017) nhằm giảm thiểu
thời gian xử lnhưng vẫn cho ra kết
quả khá tốt.
Đánh giá sai số
Để xác định được thời gian mà khuôn
Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018 Kỷ yếu khoa học
154
mặt xem quảng cáo, hệ thống tích hợp
thêm một thuật tóa n nhằm theo dõi
khuôn mặt từ khi khuôn mặt xuất hiện
trên camera đến khi rời khỏi camera.
Khi một khuôn mặt được phát hiện, hệ
thống sẽ gán mã số định danh cho
khuôn mặt đó, một đường bao sẽ được
tạo ra xung quanh khuôn mặt. Hệ thống
sẽ tạo ra thêm một đường bao lớn hơn
dự đóa n khu vực vùng mặt đó xuất
hiện trong khung ảnh tiếp theo, nếu
trong vùng ảnh tiếp theo khuôn mặt đó
vẫn còn trong vùng dự đóa n, thuật tóa
n sẽ cập nhật vị trí mới của khuôn mặt.
Giao tiếp giữa máy chủ và các biển
quảng cáo được hình thành qua giao
thức HTTP và một giao diện người
dùng được tạo ra để các bảng quảng
cáo có thể truyền thông tin hình ảnh về
máy chủ.
KẾT QUẢ VÀ THẢO LUẬN
Sau gần 50 vòng lặp để huấn luyện mô
hình học sâu ta có kết quả như sau:
Bảng 1. Kết quả sai số của mô hình trên hai tập dữ liệu sau 50 vòng lặp
Sai số
Trên tập huấn luyện
~4.08
Trên tập đánh giá
~3.22
Bảng 2. Kết quả độ chính xác của mô hình trên hai tập dữ liệu sau 50 vòng lặp
Độ chính xác
Trên tập huấn luyện
~91%
Trên tập đánh giá
~91%
Kết quả mô hình mạng CNN có thiết kế như hình bên dưới.
Hình 1. Sơ đồ mô hình của mạng CNN
Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018 Kỷ yếu khoa học
155
Mô hình mạng CNN này là lõi xử lý
mấu chốt của toàn bộ hệ thống. Cùng
với các thuật tóa n xử l ảnh, mô hình
mạng CNN được triển khai trên máy
chủ. Những bảng quảng cáo được tích
hợp camera có nhiệm vụ thu thập dữ
liệu người xem và gửi về máy chủ và
máy chủ sẽ trích xuất thông tin và lưu
vào nhật k để phân tích.
KẾT LUẬN
Mô hình dự báo tuổi và giới tính tuy
chưa đạt độ chính xác tuyệt đối và
những trường hợp sai lệch là những
trường hợp có thể bỏ qua được. Theo
một cách khách quan, ngay cả mắt
người cũng không thể dự đóa n chính
xác được độ tuổi của người chỉ bằng
hình ảnh. Vì vậy những kết quả kể trên
có thể chấp nhận được. Với các kết quả
này thì mô hình có thể được sử dụng
trong hệ thống, hỗ trợ trích xuất đặc
trưng của người dùng để hỗ trợ phân
tích độ hiệu quả của quảng cáo. Trong
tương lai, hệ thống sẽ được cải thiện về
mật độ chính xác, nâng cấp thời gian
xử l, tạo nhiều kết nối giữa hệ thống
máy chủ và máy trạm hơn nữa. Ngoài
ra, màn hình quản l và phân tích các
thông tin hữu ích và cần thiết sẽ được
thiết kế để cung cấp cho các bên quản
l có cái nhìn trực quan và chi tiết hơn.
Và khả năng ứng dụng của mô hình
này có thể tùy biến để áp dụng vào
nhiều vấn đề hơn nữa ngoài việc hỗ trợ
phân tích hiệu quả quảng cáo.
TÀI LIỆU THAM KHẢO
HOWARD, A. G., ZHU, M., CHEN, B., KALENICHENKO, D., WANG, W.,
WEYAND, T., ADAM, H. (2017). MobileNets: Efficient Convolutional
Neural Networks for Mobile Vision Applications. CoRR.
IOFFE, S., & SZEGEDY, C. (2015). Batch normalization: Accelerating deep
network training by reducing internal covariate shift. International
Conference on Machine Learning (trang 448-456). JMLR.org.
KRIZHEVSKY, A., ILYA, S., & HINTON, G. E. (2012). ImageNet
classification with deep convolutional neural networks. Neural
Information Processing Systems (NIPS) (trang 1097-1105). Curran
Associates Inc.
VIOLA, P., & JONES, M. J. (2004). Robust Real-Time Face Detection.
International Journal of Computer Vision, 57, 137-154.
ZHANG, Y., LIU, L., LI, C., & LOY, C. C. (2017). Quantifying Facial Age by
Posterior of Age Comparisons. CoRR.