SCIENCE - TECHNOLOGY Số 13.2023 Tập san SINH VIÊN NGHIÊN CỨU KHOA HỌC 153
NGHIÊN CỨU MỘT SỐ MÔ HÌNH DEEPLEARNING VÀ ỨNG DỤNG TRONG XÂY DỰNG HỆ THỐNG ĐIỂM DANH TỰ ĐỘNG DỰA TRÊN NHẬN DIỆN KHUÔN MẶT
RESEARCH ON SOME DEEPLEARNING MODELS AND APPLICATIONS IN BUILDING AUTOMATIC ATTENDANCE SYSTEM BASED ON FACE RECOGNITION Nguyễn Thị Huyền1,*, Phan Minh Giang1, Hoàng Hữu Kim1, Trần Duy Đình Hải2, Nguyễn Xuân Hoàng3 TÓM TẮT Nghiên cứu một shình Deeplearning và ứng dụng trong xây dựng hệthống điểm danh tự động dựa trên nhận diện khuôn mặt gồm những n
i dung
chính sau: Nghn cứu tổng
quan hình Deeplearning; các hình
Deeplearning. Tiếp theo là tìm hiểu, demo các công cụ phần mềm được sử dụ
ng
trong nhận diện khuôn mặt gồm: Thư viện Dlib, hình MTCNN, Công cụFaceAPI và mô hình RetinaFace. Đánh giá các mô hình; từ đó, xây dựng hệ thố
ng
điểm danh tđộng dựa trên nhận diện khuôn mặt sử dụng thư việ
n Dlib
Elasticsearch. Dliệu gồm ảnh của tất cả sinh viên ngành Công ngh
thông tin
khóa K14 đã được gán nhãn bằng sinh viên. App demo cho phép chọn
nh
từ t viện hoặc chụp ảnh bằng camera và sẽ trả về mã sinh viên tương ứng vớ
i
ảnh đầu vào. Từ khóa: Học sâu, nhận diện khuôn mặt, thư việ
RetinaFace, openCV, Elasticsearch, train model, data, app android. ABSTRACT
Research on some Deeplearning models and applications in building
automatic attendance system based on face recognition includes the following
main contents: Overview of Deeplearning model; Deep learning models. Next is
to learn and demo software tools use
d in facial recognition including: Dlib
Library, MTCNN Model, FaceAPI Tool and RetinaFace model. Evaluation of
models; from there, build an automatic attendance system based on face
recognition using Dlib and Elasticsearch libraries. The data includes phot
os of
all Information Technology students of course K14 that have been labeled with
a student code. The demo app allows you to choose a photo from the gallery or
take a photo with the camera and will return the student code corresponding
to the input. Keywords:
Deeplearning, Face Recognition, Dlib, FaceAPI, MTCNN, RetinaFace,
openCV, Elasticsearch, train model, data, database, app android. 1Lớp CNTT 02 - K14, Khoa CNTT, Trường Đại học Công nghiệp Hà Nội 2Lớp CNTT 03 - K16, Khoa CNTT, Trường Đại học Công nghiệp Hà Nội 3Khoa CNTT, Trường Đại học Công nghiệp Hà Nội *Email: huyenit2.k14@gmail.com 1. ĐẶT VẤN ĐMỗi học rất nhiều lớp học khác nhau. Hằng ngày giảng viên lên lớp phải mở bảng theo dõi để điểm danh sinh viên vắng. Công tác quản hiện nay chủ yếu được thực hiện thủ công, mất nhiều thời gian và chưa hiệu quả. Sự cần thiết của một hệ thống điểm danh tự động sẽ là một lựa chọn tốt nhất để giải quyết tình trạng hiện nay. Qua quá trình tìm hiểu phân tích, chỉ ra việc chưa hiệu qucủa quy trình điểm danh hiện đang triển khai, nêu ra những yêu cầu mới, qua đó đề xuất những phương án để khắc phục những khó khăn đang gặp phải nhằm nâng cao tính hiệu qutrong công tác quản tại trường đẩy nhanh tiến trình ứng dụng tin học hóa trong công tác quản lý sinh viên vắng của trường Đại học Công nghiệp Hà Nội. Hiện nay rất nhiều ứng dụng hỗ trđiểm danh tự động bằng nhiều cách thức khác nhau. Trong đó, hệ thống điểm danh tự động dựa trên nhận diện khuôn mặt đem lại nhiều lợi ích mang tính thực tiễn cao việc nhận diện khuôn mặt đang ngày càng trở nên cần thiết đối với nhiều ngành nghề, lĩnh vực khác nhau. Việc xây dựng một hệ thống nhận diện khuôn mặt thể đáp ứng được mọi nhu cầu sử dụng vẫn đang là một vấn đề nan giải mặc dù đã tồn tại rất nhiều hình nhận diện khuôn mặt. Để thể giải bài toán này, ta cần phải thiết kế hệ thốngkhả năng linh hoạt cao cũng như phạm vi ứng dụng lớn để người dùng có thể truy cập và sử dụng ở mọi lúc, mọi nơi. Xuất phát từ vấn đề trên, nhóm tác giả tiến hành nghiên cứu một số hình Deeplearning để xây dựng hệ thống điểm danh tự động dựa trên nhận diện khuôn mặt với mong muốn sẽ giúp ích cho các thầy, cô trong công tác điểm danh sinh viên khi đến lớp. 2. THỰC NGHIỆM 2.1. Quy trình Hệ thống nhận diện khuôn mặt được chia thành hai giai đoạn chính phát hiện nhận diện khuôn mặt. Quá trình xử lý của hệ thống có thể được mô tả theo như hình 1.
CÔNG NGHỆ Tập san SINH VIÊN NGHIÊN CỨU KHOA HỌC Số 13.2023
154
KHOA H
ỌC
Hình 1. Quy trình nhận diện khuôn mặt 2.2. Thu thập dữ liệu - Xác định mục đích thu thập: Thu thập đầy đủ ảnh của các sinh viên ngành Công nghệ thông tin K14. - Chọn nguồn cung cấp dữ liệu: + Huy động kênh tự nộp của Câu lạc bộ HIT. + Nhờ sự giúp đỡ của các Lớp trưởng. + Thu thập ảnh thông qua phần mềm Đại học điện tử của nhà trường. - Tiến hành thu thập dữ liệu. - Xử lý dữ liệu. - Cập nhật dữ liệu. Hình 2. Bộ dữ liệu dùng để huấn luyện 2.3. Cài đặt thực nghiệm - Cài đặt Python. - Cài đặt Elasticsearch. - Cài đặt các thư viện cần thiết: Thư viện Dlib, Pillow, numpy. - Chạy chương trình: + Bước 1: Khởi chạy Elasticsearch. + Bước 2: Khởi tạo môi trường ảo trong Python dùng để nhận diện khuôn mặt. + Bước 3: Điều hướng đến thư mục chứa project. + Bước 4: Train data - Lưu c vector đã được mã hóa từ bộ dự liệu có sẵn sử dụng Elasticsearch + Bước 5: Build thành API. + Bước 6: Demo qua app android. 3. KẾT QUẢ VÀ THẢO LUẬN 3.1. Kết quả thực nghiệm - Chụp ảnh từ camera để nhận diện: Hình 3. Demo nhận diện khuôn mặt từ ảnh chụp bằng camera - Chọn ảnh từ thư viện máy: Hình 4. Demo nhận diện khuôn mặt từ ảnh chọn từ thư viện máy 3.2. Đánh giá thực nghiệm Sau nhiều lần thử nghiệm, nhóm tác gibảng thử nghiệm đánh giá như sau: - Số lần thử nghiệm: 30 lần - Số lần cho kết quả đúng: 28/30 - Số lần nhận diện sai: 2/30
SCIENCE - TECHNOLOGY Số 13.2023 Tập san SINH VIÊN NGHIÊN CỨU KHOA HỌC 155
Bảng 1. Bảng đánh giá thực nghiệm Lần thử nghiệm Thời gian xử lý (giây) Kết quả 1 9,89 Đ 2 3,79 Đ 3 6,77 Đ 4 3,51 Đ 5 3,35 Đ 6 3,11 Đ 7 4,12 Đ 8 2,24 Đ 9 2,88 Đ 10 2,28 Đ 11 3,16 S 12 2,67 Đ 13 1,92 Đ 14 1,47 Đ 15 3,79 Đ 16 4,68 Đ 17 3,01 Đ 18 1,91 Đ 19 2,47 S 20 1,36 Đ 21 2,25 Đ 22 4,56 Đ 23 3,2 Đ 24 4,52 Đ 25 3,25 Đ 26 2,25 Đ 27 2,1 Đ 28 1,89 Đ 29 1,92 Đ 30 2,26 Đ Thời gian xử lý trung bình: 2,574s Độ chính xác: 93,33% 4. KẾT LUẬN Qua nghiên cứu, đánh giá một số mô hình Deeplearning, nhóm tác giả đã cài đặt thực nghiệm đánh giá các công cụ phần mềm được sử dụng trong nhận diện khuôn mặt (Dlib, RetinaFace, MTCNN, FaceAPI) xây dựng hệ thống điểm danh tự động dựa trên nhận diện khuôn mặt. Mặc đã thu được một số kết qunhưng trong thời gian tới hệ thống cần được cải thiện độ chính xác và tốc độ nhận diện, tự động Realtime với camera để nhận diện ngay lập tức khuôn mặt định danh sinh viên, áp dụng điểm danh sinh viên khi n lớp học, tích hợp với các hình khác để xây dựng ứng dụng thông minh hơn phát triển trên các nền tảng khác nhau. TÀI LIỆU THAM KHẢO [1]. Trần Hùng Cường, Nguyễn Phương Nga, 2014. Giáo trình trí tuệ nhân tạo. Nhà xuất bản Thống kê. [2]. Huỳnh Hữu Tài, 2019. Deeplearning - Cuộc cách mạng học sâu. Hà Nội. [3]. http://dlib.net/ [4]. https://github.com/serengil/retinaface [5]. https://topdev.vn/blog/elasticsearch-la-gi/ [6]. https://aws.amazon.com/vi/what-is/deep-learning/