TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP. HỒ CHÍ MINH
KHOA CÔNG NGHỆ THÔNG TIN
THỰC TẬP TỐT NGHIỆP
XÂY DỰNG HỆ THỐNG NHẬN DẠNG
KIỂM SOÁT KHUÔN MẶT VỚI
DEEP LEARNING
Ngành: CÔNG NGHỆ THÔNG TIN
Chuyên ngành: CÔNG NGHỆ THÔNG TIN
Giảng viên hướng dẫn : Ths. Đặng Nhân Cách
Sinh viên thực hiện : Nguyễn Hà Khánh Duy
MSSV: 1651120078 Lớp: CN16B
Đỗ Nguyên Khang
MSSV: 1651120098 Lớp: CN16B
Võ Thành Thông
MSSV: 1651120135 Lớp: CN16B
2
TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP. HỒ CHÍ MINH
KHOA CÔNG NGHỆ THÔNG TIN
---------------------------------------
NGUYỄN HÀ KHÁNH DUY
ĐỖ NGUYÊN KHANG
VÕ THÀNH THÔNG
XÂY DỰNG HỆ THỐNG NHẬN DẠNG KIỂM
SOÁT KHUÔN MẶT VỚI DEEPLEARNING
NGÀNH: CÔNG NGHỆ THÔNG TIN
CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN
BÁO CÁO THỰC TẬP TỐT NGHIỆP
NGƯỜI HƯỚNG DẪN
(Đơn vị công tác/ công ty nếu có)
TP. HỒ CHÍ MINH – 2020
3
LỜI CAM ĐOAN
Nhóm xin cam đoan đồ án Thực tập tốt nghiệp với đề tài: “Xây dựng hệ
thống nhận dạng kiểm soát khuôn mặt với Deep Learning” là công trình nghiên
cứu của nhóm. Những phần sử dụng tài liệu tham khảo trong đồ án đã được nêu
rõ trong phần tài liệu tham khảo.
Các số liệu, kết quả trình bày trong đồ án là hoàn toàn trung thực, nếu
sai nhóm xin chịu hoàn toàn trách nhiệm và chịu mọi kỷ luật của bộ môn và
nhà trường đề ra.
4
MỤC LỤC
CHƯƠNG 1 GIỚI THIỆU .............................................................................. 10
1.1 TÍNH CẤP THIẾT CỦA VẤN ĐỀ NGHIÊN CỨU................................................ 10
1.2 MỤC TIÊU, ĐỐI TƯỢNG, PHẠM VI NGHIÊN CỨU .......................................... 10
1.2.1 Mục tiêu nghiên cứu....................................................................... 10
1.2.2 Đối tượng áp dụng, phạm vi nghiên cứu ......................................... 11
1.3 PHƯƠNG PHÁP NGHIÊN CỨU ..................................................................... 11
1.3.1 Trích xuất khuôn mặt từ ảnh 2D ..................................................... 11
1.3.2 Kỹ thuật Deep Learning ................................................................. 12
1.4 KẾT QUẢ ĐẠT ĐƯỢC CỦA ĐỀ TÀI .............................................................. 13
CHƯƠNG 2 CƠ SỞ LÝ THUYẾT ................................................................. 15
2.1 BÀI TOÁN NHẬN DẠNG MẶT NGƯỜI – NHỮNG VẤN ĐỀ CƠ BẢN ................... 15
2.1.1 Giới thiệu ....................................................................................... 15
2.1.2 Thách thức trong nhận dạng mặt người .......................................... 16
2.2 BẢN CHẤT BÀI TOÁN VỀ DEEP LEARNING ................................................. 17
2.3 CÁC THƯ VIỆN MÃ NGUỒN MỞ ĐƯỢC SỬ DỤNG .......................................... 19
2.3.1 Thư viện OpenCV .......................................................................... 19
2.3.2 Thư viện Dlib ................................................................................. 23
2.3.3 Thư viện Tensorflow ...................................................................... 23
2.3.4 Thư viện Keras............................................................................... 26
2.3.5 Thư viện Numpy ............................................................................ 26
2.3.6 Thư viện Matplotlib ....................................................................... 27
2.3.7 Tóm tắt từng nhiệm vụ của thư viện ............................................... 28
2.4 MẠNG THẦN KINH NHÂN TẠO (NEURAL NETWORK) .................................. 29
2.4.1 Mạng nơ-ron .................................................................................. 29
2.4.2 Neural network .............................................................................. 29
2.4.3 Deep Learning ............................................................................... 30
2.4.4 Convolutional Neural Network....................................................... 33
2.4.5 Cấu trúc của mạng CNN (Covolutional Neural Network) ............... 35
2.4.6 Huấn luyện Neural Network ........................................................... 42
5
2.4.7 Hàm loss ........................................................................................ 44
CHƯƠNG 3 TRIỂN KHAI NGHIÊN CỨU ................................................... 45
3.1 LỰA CHỌN KỸ THUẬT .............................................................................. 45
3.2 CHUẨN BỊ DỮ LIỆU................................................................................... 45
3.3 CHUẨN BỊ MÔ HÌNH ................................................................................. 46
3.4 CHUẨN BỊ HÀM LOSS PHÙ HỢP VỚI MODEL ................................................ 51
CHƯƠNG 4 TRIỂN KHAI HUẤN LUYỆN MÔ HÌNH ............................... 55
4.1 XÁC ĐỊNH KHUÔN MẶT TRONG ẢNH (FACIAL DETECTION) ........................ 55
4.2 BIỂU DIỄN CÁC KHUÔN MẶT DƯỚI DẠNG VECTOR ...................................... 60
4.3 XÂY DỰNG MODEL .................................................................................. 61
4.3.1 Sumary .......................................................................................... 61
4.3.2 Compile ......................................................................................... 64
4.3.3 Mô phỏng dữ liệu ........................................................................... 75
4.4 KẾT QUẢ QUÁ TRÌNH HUẤN LUYỆN VÀ TIẾN HÀNH ĐÁNH GIÁ ..................... 82
4.4.1 Quá trình huấn luyện một model .................................................... 82
4.4.2 Xác minh danh tính khuôn mặt ....................................................... 84
4.4.3 Kết quả .......................................................................................... 85
CHƯƠNG 5 KẾT LUẬN ................................................................................ 87