Luận văn Thạc sĩ Khoa học máy tính: Xây dựng mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc con người

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:65

Thêm vào BST

Báo xấu

22
lượt xem 5
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu nghiên cứu của luận văn là xây dựng mô hình kết hợp ảnh thông thường và ảnh nhiệt để ước lượng cảm xúc. Tìm hiểu tổng quan tình hình nghiên cứu về nhận dạng, phân tích và dự đoán cảm xúc của người bằng ảnh thường và ảnh nhiệt. Nghiên cứu mô hình học sâu để trích xuất đặc trưng của ảnh thường và ảnh nhiệt. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Khoa học máy tính: Xây dựng mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc con người

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Trần Thanh Nhã XÂY DỰNG MÔ HÌNH KẾT HỢP ẢNH THƯỜNG VÀ ẢNH NHIỆT ĐỂ ƯỚC LƯỢNG CẢM XÚC CON NGƯỜI LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thành phố Hồ Chí Minh - 2019
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Trần Thanh Nhã XÂY DỰNG MÔ HÌNH KẾT HỢP ẢNH THƯỜNG VÀ ẢNH NHIỆT ĐỂ ƯỚC LƯỢNG CẢM XÚC CON NGƯỜI Chuyên ngành: Khoa học máy tính Mã số : 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. NGUYỄN VIẾT HƯNG Thành phố Hồ Chí Minh - 2019
LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Xây dựng mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc con người” là do tôi tìm hiểu, nghiên cứu và thực hiện dưới sự hướng dẫn của Tiến sĩ Nguyễn Viết Hưng. Luận văn không có sự sao chép từ các tài liệu, công trình nghiên cứu khác mà không ghi rõ nguồn trong tài liệu tham khảo. Tôi xin chịu trách nhiệm về kết quả thực hiện và lời cam đoan này. Thành phố Hồ Chí Minh, ngày 27 tháng 12 năm 2019
LỜI CẢM ƠN Trước hết tôi xin chân thành gởi lời cảm ơn sâu sắc đến Thầy của tôi, Tiến sĩ Nguyễn Viết Hưng, người đã định hướng, chỉ bảo, giúp đỡ tận tình trong cả quá trình học tập, nghiên cứu và hoàn thiện luận văn này. Tôi cũng xin bày tỏ lòng biết ơn đến quý Thầy, cô giáo đã trực tiếp tham gia giảng dạy và truyền đạt kiến thức quý báu cho tôi trong suốt quá trình học cao học tại Trường Đại học Sư phạm Thành phố Hồ Chí Minh. Đồng thời, tôi xin được cảm ơn tới quý Thầy cô Khoa Công nghệ thông tin, Phòng Sau đại học Trường Đại học Sư phạm Thành phố Hồ Chí Minh đã tận tình dạy dỗ và hướng dẫn cho tôi trong suốt quá trình học tập tại Trường. Cuối cùng, tôi muốn gửi lời cảm ơn đến gia đình và bạn bè của tôi. Những người luôn bên cạnh, động viên và ủng hộ tôi để tôi có đủ niềm tin, động lực để hoàn thành khóa học và luận văn của mình. Tp Hồ Chí Minh, ngày 27 tháng 12 năm 2019
MỤC LỤC Trang Lời cam đoan Lời cảm ơn Mục lục Danh mục các ký hiệu và chữ viết tắt Danh mục các bảng biểu Danh mục các hình vẽ MỞ ĐẦU .......................................................................................................... 1 1. Lý do chọn đề tài ........................................................................................ 1 2. Mục tiêu và nhiệm vụ nghiên cứu.............................................................. 2 3. Đóng góp của luận văn............................................................................... 3 4. Đối tượng và phạm vi nghiên cứu.............................................................. 3 5. Phương pháp nghiên cứu............................................................................ 3 6. Ý nghĩa khoa học và thực tiễn ................................................................... 4 7. Cấu trúc luận văn ....................................................................................... 4 Chương 1. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU ............................. 6 1.1. Các công trình nghiên cứu liên quan ...................................................... 6 1.2. Một số thách thức trong lĩnh vực nghiên cứu nhận dạng cảm xúc của con người............................................................................................... 10 1.3. Sơ lược về cơ sở dữ liệu cảm xúc ......................................................... 11 Chương 2. CƠ SỞ LÝ THUYẾT ................................................................. 15 2.1. Bài toán phát hiện cảm xúc khuôn mặt ................................................. 15 2.2. Kiến trúc Mạng nơ-ron tích chập (Convolutional neural network) ...... 17 2.2.1. Lớp Convolution............................................................................... 17 2.2.2. Lớp pooling ..................................................................................... 18
2.2.3. Lớp Fully Connected ...................................................................... 19 2.3. Học chuyển giao.................................................................................... 20 2.4. Mạng huấn luyện Resnet (Residual Network) ...................................... 21 2.5. Độ đo đánh giá mô hình phân lớp ......................................................... 25 Chương 3. ƯỚC LƯỢNG CẢM XÚC CỦA NGƯỜI DỰA TRÊN ẢNH THƯỜNG VÀ ẢNH NHIỆT ...................................................... 27 3.1. Cơ sở dữ liệu ảnh nhiệt Kotani Thermal Facial Emotion (KTFE) ....... 27 3.2. Mô hình ước lượng cảm xúc trên ảnh thường và ảnh nhiệt .................. 32 Chương 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ............................................ 37 4.1. Môi trường thực nghiệm ....................................................................... 37 4.2. Dữ liệu đầu vào ..................................................................................... 37 4.3. Phân tích đánh giá ................................................................................. 38 4.3.1. Kết quả thực nghiệm ....................................................................... 38 4.3.2. So sánh kết quả thực nghiệm với kết quả của phương pháp [32]... 43 4.3.3. So sánh kết quả thực nghiệm với kết quả của phương pháp [36]... 44 Chương 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ................................ 46 CÔNG TRÌNH CÔNG BỐ ........................................................................... 48 TÀI LIỆU THAM KHẢO ............................................................................ 49
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Chữ Nguyên mẫu Diễn giải viết tắt Mô hình xuất hiện tích AAM Active Appearance Model cực Đơn vị hành động, xác AU Action Units định độ co của cơ mặt Convolutional Neural Mô hình mạng nơ-ron CNN Networks tích chập Mô hình máy Boltzman DBM Deep Boltzmann Machine học sâu ECG Electrocardiogram Tín hiệu điện tâm đồ EEG Electroencephalogram Tín hiệu điện não đồ Phương pháp không Eigenspace Method based EMC gian riêng dựa trên các on Class features đặc trưng của lớp Facial Action Coding Hệ thống mã hóa hành FACS System động mặt Facial Thermal Feature Cơ sở các điểm đặc FTFP Points trưng nhiệt mặt HMM Hidden Markov Models Mô hình Markov ẩn Histogram of Oriented Biểu đồ của các HOG Gradients gradient định hướng Kotani Thermal Facial KTFE Cơ sở dữ liệu ảnh nhiệt Emotion Mô hình nhị phân cục LBP Local Binary Pattern bộ LDA Linear Discriminant Phương pháp phân tích
Analysis phân biệt tuyến tính Mô hình định hướng LDP Local Directional Pattern cục bộ Natural Visible and NVIE Cơ sở dữ liệu ảnh nhiệt Infrared facial Expression Principal Component Phương pháp phân tích PCA Analysis thành phần chính Posttraumatic Stress PTSD Chấn thương tâm lý Disorder ROI Region of Interest Khu vực quan tâm Phương pháp Máy SVM Support Vector Machines vector hỗ trợ
DANH MỤC CÁC BẢNG BIỂU Bảng 1.1. Một số cơ sở dữ liệu ảnh nhiệt [8] .................................................. 13 Bảng 2.1. Bảng chi tiết kiến trúc mạng Resnet 18, 50,101 và 153 lớp [50] ... 24 Bảng 2.2. Định nghĩa các giá trị cho việc đánh giá thực thi mô hình ............. 25 Bảng 4.1. Số lượng dữ liệu cụ thể chia 80% quá trình huấn luyện (train và val) và 20% cho kiểm tra (test set) ......................................................... 37 Bảng 4.2. Kết quả thí nghiệm mô hình. Từ trái sang phải: giận dữ (An), ghê tởm (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne), buồn rầu (Sa) và ngạc nhiên (Su) ................................................................... 38 Bảng 4.4. So sánh phân tích với phương pháp [32] trên 5 cảm xúc ............... 44 Bảng 4.3. So sánh phân tích với phương pháp [36] ........................................ 45
DANH MỤC CÁC HÌNH VẼ Hình 1.1. Ví dụ về đặc trưng hình học của mặt gồm lông mày, mắt, mũi, miệng [17] ......................................................................................... 7 Hình 1.2. Trích xuất ROI trong phương thức [32] ............................................ 9 Hình 1.3. Thuật toán xác định cảm xúc [33] ..................................................... 9 Hình 1.4. Cơ sở dữ liệu FACES [39] thể hiện 6 loại cảm xúc: bình thường, giận dữ, hạnh phúc, buồn rầu, sợ hãi và ghê tởm. .......................... 12 Hình 1.5. Các dải hồng ngoại trong phổ điện từ [46] ..................................... 14 Hình 2.1. Mô hình phát hiện cảm xúc sử dụng phương pháp học máy truyền thống................................................................................................ 15 Hình 2.2. Kiến trúc cơ bản của mạng tích chập .............................................. 17 Hình 2.3. Minh họa phép tích chập [47] ......................................................... 18 Hình 2.4. Minh họa phương thức maxpooling và average pooling [48] ........ 19 Hình 2.5. Minh họa kết nối đầy đủ và phân lớp [49] ...................................... 20 Hình 2.6. Hình so sánh độ lỗi của mô hình trước và sau khi thêm các lớp mạng [50] ........................................................................................ 22 Hình 2.7. ResNets block .................................................................................. 23 Hình 2.8. So sánh mạng truyền thống với Resnet (18/34 lớp) [50] ................ 24 Hình 3.1. Mẫu ảnh nhiệt và ảnh nhìn thấy của bảy cảm xúc [8] .................... 28 Hình 3.2. Thư mục lưu trữ dữ liệu thô KTFE chứa video ảnh thường ........... 29 Hình 3.3. Tập tin dữ liệu thô hiển thị trên giao diện phần mềm NS9500-PRO (Video chứa các frame ảnh nhiệt) ................................................... 30 Hình 3.4. Frame ảnh thường và ảnh nhiệt của một đối tượng sau khi xóa vùng dư thừa trên ảnh nhiệt (bên trái)...................................................... 31 Hình 3.5. Freeze các layer của pre-trained model, chỉ train FC layer mới thêm vào ................................................................................................... 33 Hình 3.6. Unfreeze các layer của pre-trained model, train ở các layer trong ConvNet của pre-trained model và fully connected layer mới. ...... 34
Hình 3.7. Mô hình kết hợp ước lượng cảm xúc ảnh thường và ảnh nhiệt ...... 35 Hình 4.1. Kết quả dự đoán của mô hình ......................................................... 39 Hình 4.2. Kết quả nhận dạng trên ảnh thường Vi-Resnet-50 ......................... 40 Hình 4.3. Kết quả nhận dạng trên ảnh nhiệt Ther-Resnet-50 ......................... 41 Hình 4.4. Kết quả ước lượng cảm xúc kết hợp ảnh thường và ảnh nhiệt Fu- Resnet-50 ........................................................................................ 42 Hình 4.5. So sánh giữa Vi-Resnet-50, Ther- Resnet-50 và Fu-Resnet-50..... 43 Hình 4.6. So sánh giữa phương pháp đề xuất và phương pháp [32] ............... 44 Hình 4.7. So sánh giữa phương pháp đề xuất và phương pháp [36] ............... 45
1 MỞ ĐẦU 1. Lý do chọn đề tài Trong kỷ nguyên công nghệ số và sự bùng nổ của các ứng dụng cho cuộc cách mạng công nghiệp lần thứ tư, trao đổi thông tin của người và máy đóng một vai trò cực kì quan trọng. Những nghiên cứu hỗ trợ cho máy móc và robot hiểu được con người và giao tiếp tốt với con người đang được thu hút từ nhiều ngành nghề. Hai nguồn thông tin chính giúp người và máy có thể trao đổi được một cách nhanh chóng và hiệu quả đó là giọng nói và hình ảnh [1], [2], [3]. Trong dữ liệu hình ảnh mặt người, những biểu hiện trên khuôn mặt chiếm 55% cơ sở để giúp con người có thể hiểu nhau trong quá trình trao đổi và nói chuyện [4]. Bên cạnh đó, rất dễ dàng cho con người có thể hiểu nhau thông qua những biểu hiện khuôn mặt trong giao tiếp xã hội, nhưng đó lại là một bài toán khó đối với máy tính và robot. Do đó, nghiên cứu về biểu hiện trên khuôn mặt được thu hút rất nhiều nghiên cứu và đạt được nhiều kết quả khích lệ [5], [6], [7], [8], [9], [10]. Cảm xúc là một trong những biểu hiện của khuôn mặt nhưng khó để hiểu hết được cảm xúc bằng thông tin của ảnh thông thường. Cảm xúc, trong nghiên cứu này, được định nghĩa không chỉ là biểu hiện bề ngoài của khuôn mặt (do sự di chuyển của các khối cơ) mà còn là sự thay đổi vật lí về nhiệt độ diễn ra trong các mạch máu. Để có thể lấy được đầy đủ thông tin như định nghĩa trên, với ảnh thông thường là chuyện không thể. Ngoài các vấn đề như chất lượng ảnh thu được kém khi nguồn sáng yếu, màu da khác nhau, ảnh thông thường không phản ánh được cảm xúc của những người ít khi thể hiện hay cảm xúc trái ngược với biểu hiện của khuôn mặt. Bên cạnh đó, ảnh nhiệt không phụ thuộc vào nguồn sáng, đồng thời nó phản ánh được cảm xúc của những người ít khi thể hiện cảm xúc. Việc kết hợp sử dụng thêm thông tin của ảnh nhiệt, giúp máy tính lẫn con người dự đoán chính xác hơn về cảm xúc của
2 con người [8], [9]. Hầu hết các nghiên cứu tập trung vào dự đoán 6 loại cảm xúc như: giận dữ (anger), ghê tởm (disgust), hạnh phúc (happiness), sợ hãi (fear), ngạc nhiên (surprise) và buồn (sadness). Hiện nay, có rất nhiều nghiên cứu cảm xúc (biểu hiện khuôn mặt) dựa trên ảnh thông thường, có thể tham khảo tại [9], [10]. Tuy nhiên, rất ít nghiên cứu cảm xúc dựa trên ảnh nhiệt và kết hợp ảnh nhiệt và ảnh thông thường. Xuất phát từ các cơ sở đó, đề tài “Xây dựng mô hình kết hợp ảnh thường và ảnh nhiệt để ước lượng cảm xúc con người” được thực hiện dựa trên biểu hiện trên khuôn mặt bằng cách kết hợp ảnh có thể nhìn thấy và ảnh nhiệt. Luận văn làm rõ cơ sở lý thuyết và các nghiên cứu liên quan cũng như thực nghiệm, đánh giá kết quả đạt được trong thực tế và khả năng phát triển của đề tài. 2. Mục tiêu và nhiệm vụ nghiên cứu Mục tiêu: Xây dựng mô hình kết hợp ảnh thông thường và ảnh nhiệt để ước lượng cảm xúc. Nhiệm vụ: Để đạt mục tiêu trên, đề tài thực hiện những nhiệm vụ sau đây: - Tìm hiểu tổng quan tình hình nghiên cứu về nhận dạng, phân tích và dự đoán cảm xúc của người bằng ảnh thường và ảnh nhiệt. - Nghiên cứu các cơ sở lý thuyết của đề tài. - Nghiên cứu mô hình học sâu để trích xuất đặc trưng của ảnh thường và ảnh nhiệt. - Xây dựng đa mô hình ước lượng cảm xúc của người dựa trên ảnh thường và ảnh nhiệt. - Tiến hành thực nghiệm và đánh giá kết quả đạt được. - Đề xuất hướng phát triển trong tương lai của đề tài.
3 3. Đóng góp của luận văn Đóng góp của luận văn là xây dựng mô hình kết hợp ước lượng cảm xúc dựa trên nguồn dữ liệu ảnh thường và ảnh nhiệt. Bên cạnh đó, xây dựng cơ sở dữ liệu cảm xúc ảnh thường và ảnh nhiệt. 4. Đối tượng và phạm vi nghiên cứu Đối tượng: Cảm xúc của con người thông qua thông tin khuôn mặt người. Phạm vi nghiên cứu: - Cảm xúc (emotion) trong nghiên cứu này không chỉ là những biểu hiện bên ngoài của khuôn mặt mà đó còn có cả những thay đổi thành phần vật lí bên trong của khuôn mặt. - Nhận biết và dự đoán sự thay đổi cảm xúc trong đề tài này chính là ước lượng cảm xúc của người dựa trên hai nguồn thông tin (ảnh thường và ảnh nhiệt) của khuôn mặt người (human emotion estimation). - Nhận dạng bảy cảm xúc cơ bản: buồn rầu, hạnh phúc, sợ hãi, giận dữ, ngạc nhiên, ghê tởm và bình thường. - Nghiên cứu được thực hiện và kiểm thử trên cơ sở dữ liệu KTFE. 5. Phương pháp nghiên cứu Phương pháp nghiên cứu lý thuyết - Tìm hiểu các công trình nghiên cứu liên quan. - Tìm hiểu về bài toán ước lượng cảm xúc con người. - Tìm hiểu về hình ảnh thường, ảnh nhiệt và trích xuất các đặc trưng quan trọng dựa trên cơ sở dữ liệu KTFE. - Tìm hiểu các phương pháp trích xuất đặc trưng và phân loại. - Tìm hiểu mô hình học sâu cho bài toán ước lượng cảm xúc. Phương pháp nghiên cứu thực nghiệm - Tiến hành phân tích, xây dựng mô hình và cài đặt.
4 - So sánh và đánh giá kết quả đạt được. 6. Ý nghĩa khoa học và thực tiễn Về mặt lý thuyết: Xây dựng đa mô hình từ nhiều nguồn dữ liệu khác nhau phục vụ không chỉ cho thị giác máy tính mà còn phục vụ cho cả hướng tâm lí học, và nhiều hướng khác. Về mặt thực tiễn: Việc sử dụng trí tuệ nhân tạo ứng dụng vào giải quyết bài toán thực tế là cần thiết và cấp bách trong việc hội nhập thời đại công nghiệp 4.0 như yêu cầu của Thủ tướng Chính phủ. 7. Cấu trúc luận văn Dựa trên mục tiêu cụ thể đã trình bày trong phần trước, nội dung luận văn được xây dựng gồm các phần sau: Chương mở đầu Chương này giới thiệu tổng quan về đề tài gồm các nội dung như: lý do chọn đề tài, mục tiêu và nhiệm vụ nghiên cứu, đối tượng và phạm vi nghiên cứu, phương pháp nghiên cứu, ý nghĩa khoa học và thực tiễn cũng như cấu trúc chung của đề tài. Chương 1. Tổng quan tình hình nghiên cứu Chương này giới thiệu tổng quan về tình hình nghiên cứu và tìm hiểu về cơ sở dữ liệu ảnh thường và ảnh nhiệt. Những kiến thức cơ bản này là tiền đề để áp dụng vào việc xây dựng đa mô hình dựa trên hai nguồn dữ liệu (ảnh thường và ảnh nhiệt). Chương 2. Cơ sở lý thuyết Chương này giới thiệu lý thuyết về mạng CNN, kỹ thuật học chuyển giao, mô mình mạng pre-trained và độ đo đánh giá mô hình. Chương 3. Uớc lượng cảm xúc của người dựa trên ảnh thường và ảnh nhiệt
5 Chương này vận dụng những kiến thức đã nêu ở chương một và chương hai để xây dựng đa mô hình phân lớp từ nhiều nguồn dữ liệu khác nhau và hợp nhất quyết định sau mỗi nguồn được phân loại riêng lẻ nhằm nâng cao độ chính xác. Chương 3. Thực nghiệm và đánh giá Chương này phân tích về những ưu điểm, nhược điểm, so sánh và đánh giá kết quả mô hình ước lượng cảm xúc trên ảnh thường, ảnh nhiệt và mô hình kết hợp. Chương 4. Kết luận và hướng phát triển Chương này tổng kết lại những gì đã đạt được và chưa đạt được trong luận văn để từ đó đề xuất những hướng nghiên cứu tiếp theo để nâng cao độ chính xác về bài toán ước lượng cảm xúc của con người.
6 Chương 1. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1.1. Các công trình nghiên cứu liên quan Trong các bài toán phân tích cảm xúc hay ước lượng cảm xúc đều có ba bước chính: phát hiện khuôn mặt, rút trích đặc trưng và phân loại cảm xúc. Trong rút trích đặc trưng, ta có thể phân loại làm hai nhánh chính đó là phương pháp dựa trên đặc trưng biểu hiện (hình dạng) và phương pháp dựa trên đặc trưng hình học. Bản chất của rút trích đặc trưng là tìm ra một ánh xạ sao cho hỗ trợ việc phân loại cảm xúc tốt nhất. Phương pháp rút trích đặc trưng dựa trên hình học, trích xuất thông tin đặc trưng bằng hình dạng, khoảng cách và vị trí của các thành phần trên khuôn mặt. Công việc đầu tiên trong lĩnh vực này là hệ thống mã hóa hành động mặt (FACS), được thiết kế bởi Ekman [11]. FACS mã hóa một biểu hiện khuôn mặt trong 44 đơn vị hành động trên khuôn mặt (AU). Ngoài ra các phương pháp dựa trên đặc trưng hình học còn sử dụng mô hình Active Appearance Model (AAM) hoặc các biến thể của nó. Vị trí của các vùng trên khuôn mặt này sau đó được sử dụng theo nhiều cách khác nhau để trích xuất hình dạng các đặc điểm khuôn mặt và chuyển động các đặc điểm khuôn mặt khi cảm xúc thay đổi. Choi và cộng sự [12] sử dụng AAM với sự giảm thiểu bậc hai, và một perceptron đa lớp, để nhận biết biểu hiện khuôn mặt. Một ví dụ gần đây về kỹ thuật dựa trên AAM để nhận dạng biểu hiện khuôn mặt được trình bày trong [13], trong đó các thuật toán cải tiến AAM khác nhau được so sánh và đánh giá. Trong [14], [15] các tác giả cũng đã đưa ra một cách tiếp cận dựa trên đặc trưng hình học để lập mô hình, theo dõi và nhận dạng các biểu hiện khuôn mặt.
7 Hình 1.1. Ví dụ về đặc trưng hình học của mặt gồm lông mày, mắt, mũi, miệng [17] Các đặc trưng dựa trên hình học mô tả hình dạng của khuôn mặt và các thành phần của khuôn mặt trong khi các đặc điểm dựa trên đặc trưng thể hiện được tạo ra từ biểu hiện trên khuôn mặt. Các đặc trưng xuất hiện đã được sử dụng thành công để nhận dạng cảm xúc như toán tử mô hình nhị phân cục bộ (LBP) [16], biểu đồ của gradient định hướng (HOG) [17, 18], cục bộ mô hình định hướng (LDP) [19], thông tin kết cấu dựa trên bộ lọc Gabor [20], phân tích thành phần chính (PCA) [21] và phân tích phân biệt tuyến tính (LDA) [22]. Những tiến bộ gần đây trong ảnh hồng ngoại nhiệt đã giúp chúng ta có được tín hiệu sinh lý, nhiệt độ cơ thể, thông qua các phương tiện không xâm nhập và không tiếp xúc [23]. Khi một cảm xúc xảy ra, nhiệt độ trên khuôn mặt xuất hiện do lưu lượng máu mà cơ thể phát ra qua các mạch máu ở dưới da [24], sự thay đổi này có thể đủ điều kiện và định lượng để có thể nghiên cứu cảm xúc thông qua ảnh nhiệt. M.M.Khan và các cộng sự của ông [25] đề xuất sử dụng các điểm đặc trưng nhiệt mặt (FTFP) tỷ lệ chính xác dao động từ 66,3% đến 83,8% với năm loại cảm xúc. Di Giacinto cùng cộng sự [26] khám phá cảm xúc sợ hãi ở những bệnh nhân bị rối loạn stress sau chấn thương
8 (PTSD). Nó cho thấy rằng nhiệt độ trên mặt ở bệnh nhân PTSD là thấp hơn so với những người được kiểm soát. Trong [27] các tác giả phân loại các cảm xúc bất ngờ, hạnh phúc, bình thường từ hai yếu tố đầu vào. Dữ liệu đầu vào đầu tiên bao gồm các lựa chọn của một tập hợp các vùng thích hợp khi thực hiện trích xuất đặc trưng, đầu vào thứ hai là ma trận hiệp phương sai mức xám được sử dụng để tính toán các bộ mô tả vùng của ảnh nhiệt. Liu và Wang [28] đã phân tích dữ liệu chuỗi nhiệt độ mặt, tính toán thống kê và các tính toán biểu đồ khác biệt về nhiệt độ. Hơn nữa, mô hình Hidden Markov (HMM) được sử dụng để phân biệt hạnh phúc, ghê tởm và sợ hãi với tỷ lệ công nhận tương ứng là 68,11%, 57,14% và 52,30%. Họ đã sử dụng các mẫu từ cơ sở dữ liệu NVIE (biểu hiện trên khuôn mặt tự nhiên và hồng ngoại) để đánh giá kết quả. Nguyen.H và cộng sự [29] đề xuất phương pháp kết hợp ảnh nhìn thấy và chuỗi ảnh nhiệt để ước lượng bảy cảm xúc cơ bản. Kết quả được đánh giá với hai phương pháp phân loại t-PCA và n-EMC trên tập cơ sở dữ liệu KTFE. B.R. Nhan và T.Chau [30] nhận dạng cảm xúc dựa trên phân tích tần số thời gian từ chuỗi thời gian trung bình của năm vùng quan tâm trên mặt nhiệt. Shan He và các cộng sự [31] đề xuất phương pháp nhận dạng cảm xúc với Deep Boltzmann Machine (DBM) trên cơ sở dữ liệu NVIE đạt tỷ lệ công nhận là 51,3% . Trong bài báo [32], một phương pháp nhận dạng cảm xúc dựa vào vùng quan tâm (ROI), như hình 3, và phân loại bằng cách sử dụng SVM nhiều lớp. Thuật toán được kiểm tra trên cơ sở dữ liệu KTFE công nhận năm cảm xúc cơ bản gồm tức giận, sợ hãi, hạnh phúc, buồn và bình thường với độ chính xác 87,50%.
9 Hình 1.2. Trích xuất ROI trong phương thức [32] Trong nghiên cứu [33], nhóm Wang đã đề ra thuật toán như Hình 1.3. Tuy nhiên, thuật toán này có những ràng buộc ban đầu để xác định ví trị mắt mũi miệng cho phần rút trích đặc trưng. Hình 1.3. Thuật toán xác định cảm xúc [33] Trong nghiên cứu công bố vào cuối năm 2018, nhóm Basu [34] đã đưa ra hệ thống phân loại đặc trưng của cá nhân như P, E hay N dựa vào mô hình của Eysenck. Hệ thống sử dụng mô hình kết hợp ảnh thường và ảnh nhiệt