Tóm tắt luận án Tiến sĩ Kỹ thuật điều khiển và Tự động hóa: Mạng Neural trong hệ thống điều khiển xe lăn cho người tàn tật nặng sử dụng điện não (EEG) và camera

Chia sẻ: Gaocaolon6 Gaocaolon6 | Ngày: | Loại File: PDF | Số trang:34

Thêm vào BST

Báo xấu

50
lượt xem 4
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận án với mục tiêu tìm ra phương thức thu nhận 5 mẫu tín hiệu điện não EEG một cách dễ dàng và hiệu quả. Sử dụng các công cụ toán học để phân tích tín hiệu thành các đặc trưng cơ bản, sử dụng gom cụm dữ liệu trước khi đưa vào mạng neural để nhận dạng đối tượng.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tóm tắt luận án Tiến sĩ Kỹ thuật điều khiển và Tự động hóa: Mạng Neural trong hệ thống điều khiển xe lăn cho người tàn tật nặng sử dụng điện não (EEG) và camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP. HỒ CHÍ MINH LÂM QUANG CHUYÊN MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN NÃO (EEG) VÀ CAMERA CHUYÊN NGÀNH KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA MÃ SỐ: 9520216 NGƯỜI HƯỚNG DẪN KHOA HỌC PGS. TS. NGUYỄN HỮU KHƯƠNG PGS. TS. VÕ CÔNG PHƯƠNG TP. HỒ CHÍ MINH – 03/2020
MỞ ĐẦU Nghiên cứu tín hiệu điện não là một trong những lĩnh vực được quan tâm của nhiều nhà khoa học hiện nay, với mục đích là phát triển ứng dụng hỗ trợ, phát hiện bệnh lý con người như stress, trầm cảm…, chẩn đoán bệnh (động kinh, alzheimer – hội chứng suy giảm trí nhớ, chấn thương não), tuy nhiên trong lĩnh vực điều khiển tự động phục vụ cho con người, đặc biệt là người khuyết tật chưa được nghiên cứu nhiều. Trước đây, việc đọc tín hiệu điện não đồ hay điện tim đồ là công việc của các bác sĩ chuyên khoa thần kinh hay tim mạch, thì ngày nay với sự phát triển của các công cụ phân tích và xử lý tín hiệu hiện đại như mạng neural hay hệ thống AI các loại tín hiệu như thế có thể được xử lý để đưa ra những thông tin phục vụ cho các yêu cầu khác, như để điều khiển hỗ trợ hoạt động của con người. Vì vậy mục tiêu của luận án là xây dựng được hệ thống hỗ trợ điều khiển một số hoạt động cơ bản của con người thông qua tín hiệu điện não, ví dụ như điều khiển chuyển động của xe lăn cho người tàn tật mất khả năng hoạt động tay chân, có thể đáp ứng nhu cầu xã hội bức thiết hiện nay. Nghiên cứu đã phân tích ba phương pháp tiền xử lý tín hiệu từ EEG, dùng biến đổi Fourier, phép biến đổi Wavelet, thuật toán HHT (Hilbert Huang Transform), để biến đối thành 5 dạng sóng cơ bản Delta, Theta, Alpha, Beta, Gamma, sau đó sử dụng kỹ thuật gom cụm dữ liệu trước khi đưa vào mạng neuron để phân loại thành 5 tín hiệu mong muốn chuyển động. Các mạng neural được thử nghiệm từ mạng đơn lớp đến mạng đa lớp cụ thể trong luận án này là 3 lớp. Hệ thống xử lý tín hiệu EEG bằng tiền xử lý HHT dùng mạng neural cùng với camera được thử nghiệm trên mô hình thực tế điều khiển xe lăn mô hình đã cho những kết quả chính xác tốt nhất đến 92,4% đối với nhóm 20 người được chọn cho thực nghiệm. Điều này thể hiện thành công về ý nghĩa thực tiễn của luận án. Trang 1
ABSTRACT Nowadays, EEG signal, one of the most important field was interested by science researchers, the main purpose research is support applications devlepment, diagnose and find out pathological of human as stress, depression, epileptic, alzheimer, brain trauma…, however, in the field of automatic control serving for human, especially for disabilities people, has not been studied so much. For long time ago, recording and processing the EEGs or ECGs signal was the work of neurologists or cardiologists. Nowadays, with the development of modern signal processing and analysis tools such as neural networks and AI systems, such signals can be processed to meet the other needs, such as the control system support human acitivites.The goal of this thesis is to build a control system, which support some basic human activities through EEG signal. For example, wheelchair equipement control for disabled people, meet today’s pressing social needs. The author researched and analyzed three EEG signal pre- processing methods as using Fourier transform, Wavelet transform and HHT transform, converting EEG signal to 5 basic waves (Delta, Theta, Alpha, Beta, Gamma), and then using data clustering technical before put them into input layer of multi neural network. The neural network was test from single to multi layer (3 layer). The EEG signal processing system with HHT pre-processing and image processing using multi neural network to control the wheelchair model with accuracy rate 92.4% for group 20 students, this shows the successful in the practical of the thesis. Trang 2
CẤU TRÚC NỘI DUNG LUẬN ÁN Chương 1: Tổng quan – Trình bày khái quát tình hình nghiên cứu tín hiệu điện não EEG trong và ngoài nước, những ứng dụng đã đạt được hiện nay, phân tích những vấn đề chưa được giải quyết, còn hạn chế mà trong luận án cần giải quyết, ngoài ra tác giả cũng trình bày mục đích và phạm vi nghiên cứu, những đóng góp của luận án trong khoa học và thực tiễn. Chương 2: Cơ sở lý thuyết – Trình bày những kiến thức cơ bản liên quan đến luận án: Các phương pháp trích đặc điểm tín hiệu như: Fourier, Wavelet Transform, HHT…, gom cụm dữ liệu, đến việc phân loại các đặc tính từng mẫu tín hiệu bằng mạng neural đa lớp. Chương 3: Xây dựng mô hình – Trình bày quá trình xây dựng mạng neural đa lớp, việc xây dựng mạng neural đa lớp được tiến hành từng bước từ việc phân loại 2 mẫu tín hiệu đến phân loại 5 mẫu tín hiệu. Trong chương này cũng trình bày về việc xử lý tín hiệu điện não kết hợp với xử lý ảnh thông qua camera. Mỗi kết quả đều có các công trình nghiên cứu được đăng trên các tạp chí quốc tế hoặc kỷ yếu hội nghị quốc tế. Chương 4: Xây dựng phần mềm và phần cứng điều khiển xe lăn mô hình. Trong chương này tác giả giới thiệu về các chức năng của phần mềm, xử lý ảnh từ camera để phát hiện sự di chuyển của hướng mắt kết hợp với việc xử lý tín hiệu điện não EEG để đưa ra kết quả cuối cùng. Tác giả cũng trình bày kết quả thực nghiệm, so sánh kết quả thực nghiệm giữa 2 phương pháp riêng biệt (tín hiệu điện não và xử lý ảnh), cuối cùng là sự kết hợp giữa 2 phương pháp trên. Chương 5: Kết luận và kiến nghị – Chương này đánh giá kết quả đạt được so với yêu cầu của luận án và đề xuất hướng phát triển của luận án ngày càng hoàn thiện hơn. Trang 3
CHƯƠNG 1 TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO 1.1 Tình hình nghiên cứu trong nước Cho đến thời điểm hiện nay, các công trình nghiên cứu về lĩnh vực điện não ở nước ta chủ yếu tập trung vào hoạt động cơ học như chớp mắt, di chuyển đầu… việc phát hiện và phân loại được sự kiện trên được xác định bằng phương pháp ngưỡng biên độ, chưa có đề tài liên quan đến cảm nhận hình ảnh thông qua hoạt động quan sát của mắt, việc phân tích tín hiệu EEG thông qua việc quan sát bằng mắt không thể dùng phương pháp ngưỡng biên độ mà phải phân tích tín hiệu thành các đặc trưng cơ bản và nhận dạng thông qua mạng neural. 1.2 Tình hình nghiên cứu ngoài nước Các công trình nghiên cứu được công bố trên các bài báo và tạp chí nước ngoài tập trung nghiên cứu chủ yếu vào các lĩnh vực như y sinh: phát hiện stress, trầm cảm, động kinh,… trong lĩnh vực điều khiển như: đánh vần (spelling), chớp mắt, di chuyển đầu, tính nhẫm, tưởng tượng chuyển động vật thể… nhưng nhìn chung các công trình nghiên cứu này thực hiện trên dạng dữ liệu offline, mà chưa tập trung nhiều đến trích đặc điểm và phát hiện sự kiện theo thời gian thực (online) phục vụ trong lĩnh vực điều khiển tự động. 1.3 Nội dung thực hiện đề tài Trong quá trình thực hiện luận án, tác giả dựa vào cơ sở dữ liệu về tín hiệu điện não EEG có sẵn được cung cấp bởi trường Đại học San Diego (UCSD) có uy tín của Mỹ, xếp hạng thứ 38 trên thế giới năm 2018, để xây dựng các giải thuật xử lý và nhận dạng các mẫu tín hiệu điện não, sau khi đã đánh giá được tính khả thi của của việc nhận dạng mẫu tín hiệu thông qua mạng neural, tác giả tiến hành thu nhận 5 mẫu tín hiệu điện não thông qua việc quan sát 5 loại hình khác nhau trên bảng quan sát (con người, thành phố, phong cảnh, bông hoa và con vật), cái mới cải tiến của luận án so với các công trình trước là tác giả mạnh dạn sử dụng nhận dạng mẫu tín hiệu EEG trực tuyến có kết hợp camera để tăng độ chính xác của giải thuật, ngoài ra trong khâu tiền xử lý tác giả kết hợp giữa trích đặc điểm HHT với giải thuật gom cụm dữ liệu giúp cho việc nhận dạng thông qua mạng neural được nhanh hơn sử dụng phương pháp khác như wavelet transform và giúp cho mạng neural làm việc hiệu quả hơn, chính xác hơn và tránh overfitting. Trang 4
1.4 Mục đích nghiên cứu Tìm ra phương thức thu nhận 5 mẫu tín hiệu điện não EEG một cách dễ dàng và hiệu quả. Sử dụng các công cụ toán học để phân tích tín hiệu thành các đặc trưng cơ bản, sử dụng gom cụm dữ liệu trước khi đưa vào mạng neural để nhận đạng đối tượng. Kết hợp giữa tín hiệu camera và tín hiệu điện não để xác định được thời điểm xuất hiện mẫu tín hiệu chính xác phục vụ cho việc phân loại và điều khiển xe. 1.5 Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu chính trong luận án này là sử dụng mạng neural để phân loại 5 mẫu tín hiệu này thành các dạng lệnh điều khiển tương ứng với 5 lệnh điều khiển xe lăn chạy tới, chạy lui, quay phải, quay trái, dừng lại, trong luận án còn đề cập đến quá trình xử lý ảnh để phát hiện hướng mắt hỗ trợ cho việc điều khiển xe được chính xác và hiệu quả hơn, tuy nhiên trong phần xử lý ảnh tác giả không tập trung nhiều mà chủ yếu phần tín hiệu điện não EEG. 1.6 Những đóng góp của luận án 1.6.1 Đóng góp về mặt lý thuyết Tìm ra được bảng quan sát phù hợp và đơn giản để thu thập dữ liệu, kết hợp một cách khoa học giữa giải thuật trích đặc điểm và gom cụm dữ liệu trước khi đưa vào mạng neural để phân loại từng mẫu dữ liệu. 1.6.2 Đóng góp về mặt thực tiễn Kết quả thực nghiệm của luận án cho thấy rằng, việc phân loại các đối tượng thông qua việc quan sát bằng mắt (những hình ảnh có đặc trưng khác nhau) nhưng đầu óc còn minh mẫn và mắt hoạt động như người bình thường là hoàn toàn thực hiện được. CHƯƠNG 2 – CƠ SỞ LÝ THUYẾT 2.1 Các dạng sóng cơ bản của tín hiệu điện não EEG Sóng Delta có tần số từ 0 đến 3 Hz, biên độ lớn như hình 2.1, sóng này xuất hiện nhiều ở lứa tuổi từ bé đến một tuổi và ở những người lớn trong lúc ngủ, ngủ say, dạng sóng này thường xuất hiện khắp nơi trên da đầu. Trang 5
Hình 2. 1 Dạng sóng Delta Sóng Theta có tần số từ 3 Hz đến 7 Hz thường xuất hiện khi nhắm mắt và khi tinh thần ở trạng thái thư giãn như hình 2.2, xuất hiện ở những người trẻ hoặc lúc tỉnh thức ở người lớn tuổi và thường xuất hiện tại vùng thái dương. Hình 2. 2 Dạng sóng Theta Sóng Alpha có tần số từ 7 đến 13 Hz như hình 2.3, xuất hiện nhiều nhất ở người lớn tuổi, sóng alpha thường xảy ra 2 bên đầu nhưng có biên độ 2 bên không đều nhau. Sóng alpha xuất hiện khi nhắm mắt (trạng thái thư giãn) và thường biến mất khi mở mắt hay bị stress. Hình 2. 3 Dạng sóng Alpha Sóng Beta có biên độ nhỏ như hình 2.4, dãy tần số từ 13 đến 30 Hz. Dạng sóng này thường xuất hiện ở những bệnh nhân người mà thường có tâm trạng cảnh giác, đề phòng, lo lắng… Sóng Beta được phân bố đối xứng 2 bên và rõ ràng nhất ở phía trước, thường xuất hiện ở phía trước và trên đỉnh đầu vỏ não, biên độ sóng Beta thường nhỏ hơn 30uV. Hình 2. 4 Dạng sóng Beta Trang 6
Sóng Gamma có dãy tần số từ 30 đến 45 Hz như hình 2.5, thường được gọi là sóng nhanh Beta. Sóng này thường có biên độ thấp và hiếm khi xuất hiện, nhưng việc phát hiện sóng này đóng vai trò rất quan trọng trong việc xác định các bệnh lý về thần kinh, sóng này xảy ra ở trung tâm vỏ não. Hình 2. 5 Dạng sóng Gamma 2.2 Vị trí các điện cực trên thiết bị EEG Não là một trong những cơ quan lớn nhất và phức tạp nhất trong cơ thể con người. Nó được hình thành từ hơn 100 tỉ dây thần kinh, liên lạc tới 1000 tỉ khớp thần kinh, các vị trí được gắn điện điện cực trên đầu theo tiêu chuẩn quốc tế 10/20 như hình 2.6. Hình 2. 6 Tên và vị trí các điện cực theo chuẩn quốc tế 10/20 CHƯƠNG 3 XÂY DỰNG MÔ HÌNH HỆ THỐNG ĐIỀU KHIỂN Để bắt đầu quá trình nghiên cứu, tác giả sử dụng CSDL được cung cấp trên website của trường Đại học San Diego (UCSD) có uy tín của Mỹ, xếp hạng 38 trên thế giới năm 2018, dữ liệu này thu được từ việc người tham gia nhìn vào 5 đối tượng hình ảnh khác nhau (con người, con vật, thành phố, phong cảnh và bông hoa), kích thước hình Trang 7
ảnh 8 bit màu (256 pixel rộng và 384 pixel cao). Tổng số lượng mẫu cho cơ sở dữ liệu này là 21.000 mẫu. Trong chương này, tác giả đã từng bước xây dựng các mô hình từ đơn giản đến phức tạp, sau đó đánh giá kết quả thực nghiệm trên CSDL của trường Đại học San Diego (UCSD) và từ 80 sinh viên trường Cao Đẳng Công Thương TP.HCM để làm rõ phần đóng góp và ý nghĩa khoa học của luận án. 3.1 Mô hình mạng Neural đơn lớp Giai đoạn đầu tiên, tác giả xây dựng mô hình mạng neural để phân ra 2 loại tín hiệu riêng biệt (con vật và không phải con vật), mục đích trong lần nghiên cứu này là đánh giá xem mô hình neural có đáp ứng được yêu cầu phân loại hay không, hệ thống sử dụng phần mềm Matlab cho quá trình thực nghiệm này. CSDL của tín hiệu điện não EEG được trích đặc điểm bằng phương pháp biến đổi Wavelet dạng hình nón Mêhicô và sử dụng mạng Neural đơn lớp để nhận dạng. Mô hình hệ thống được thể hiện trong hình 3.1, mô hình này bao gồm 2 giai đoạn: giai đoạn 1: quá trình tiền xử lý nhẳm xử lý tín hiệu dữ liệu thô và tổng hợp thành 5 tín hiệu sóng Delta, Theta, Alpha, Beta và Gamma. Giai đoạn 2: xây dựng mạng Neural đơn lớp với 5 ngõ vào là 5 tín hiệu sóng Delta, Theta, Alpha, Beta, Gamma và một ngõ ra để xác định kết quả nhận dạng. Dữ liệu thô Quá trình tiền xử lý Mạng neural đơn lớp Kết quả nhận dạng Hình 3. 1 Mô hình hệ thống Neural đơn lớp Quá trình huấn luyện mạng được thực hiện trên tập dữ liệu huấn luyện với các tham số sau:  Tỷ lệ học cố định là: 0,7  Trọng số khởi tạo ngẫu nhiên trong đoạn từ -0,5 đến 0,5. Trang 8
 Ngưỡng sai số là 1x10-5 với cách tính sai số dựa trên MSE (Mean Square Error).  Số vòng lặp tối đa là: 5.000. Kết quả thực nghiệm nhận dạng trên tập dữ liệu kiểm tra được thể hiện trong bảng 3.1. Bảng 3. 1 Kết quả thực nghiệm trên dữ liệu kiểm tra Loại ảnh Con vật/Phong cảnh Tỷ lệ nhận dạng France Phong cảnh 99,13% Wild sheep Con vật 98,67% Wild cats Con vật 99,28% Bali, Indonesia Phong cảnh 62,44% Wild animals Con vật 99,64% California Coasts Phong cảnh 56,89% Wolves Con vật 98,64% Mushrooms Phong cảnh 95,16% Kenya Con vật 99,76% The big Apple Phong cảnh 98,79% Snakes, lizards... Con vật 98,32% Caves Con vật 67,18% Polar bears Con vật 99,03% Exotic Hong Kong Phong cảnh 98,72% Images of France Phong cảnh 99,37% Fabulous fruit Phong cảnh 98,25% Wild animals Con vật 93,97% Sand & solitude Con vật 98,42% Lions Con vật 62,78% Great Silk Road Phong cảnh 98,47% Trang 9
Từ kết quả thực nghiệm ở bảng 3.1, chúng ta nhận thấy kết quả nhận dạng chính xác trung bình trên tập dữ liệu kiểm tra là 91,15%. 3.2 Mô hình mạng Neural đa lớp 3.2.1 Mô hình hệ thống Dựa trên những kết quả đạt được từ mô hình mạng Neural đơn lớp, tác giả tiếp tục phát triển mô hình mạng Neural đa lớp với kết quả phân thành 5 lớp tương ứng với 5 tín hiệu điều khiển. Bảng 3.2 mô tả 05 lệnh điều khiển tương ứng với kết quả phân lớp khi người dùng nhìn vào các loại hình ảnh tương ứng. Mô hình này đề xuất sử dụng biến đổi Wavelet để khử tín hiệu và trích xuất đặc trưng, sau đó dùng thuật toán K-mean để gom cụm các đặc trưng của dữ liệu sau đó đưa vào mạng Neural đa lớp để phân loại. Trong mô hình này tác giả chỉ chọn 10 kênh để xử lý nhằm giảm thời gian xử lý và thực hiện. Mô hình hệ thống được mô tả trong hình 3.2. Tín hiệu EEG Chọn kênh Biến đổi Wavelet Gom cụm Mạng neural đa lớp Kết quả phân lớp Hình 3. 2 Mô hình hệ thống Neural đa lớp Mô hình mạng neural 3 lớp được trình bày trong hình 3.3. Lớp đầu tiên chứa năm nút đó là Delta, Theta, Alpha, Beta và Gamma. Lớp này được gọi là lớp đầu vào. Lớp thứ hai là lớp ẩn. Số lượng nút ẩn trong lớp ẩn được đặt là 5, 10, 15, 20, 25, 30, 35, 40, 45 và 50. Lớp đầu ra chứa một nút, kết quả của này nút được sử dụng để phân lớp tín hiệu EEG. Hàm hành động được sử dụng trong mô hình này là hàm hyperbolic tangent, giá trị của đầu ra trong khoảng [-1, 1]. Trang 10
Hình 3. 3 Mô hình mạng Neural đa lớp Trước khi sử dụng mô hình, mạng Neural cần phải vượt qua giai đoạn huấn luyện. Thuật toán huấn luyện được hiển thị trong hình 3.4, thể hiện một quy trình huấn luyện lan truyền ngược. Trang 11
Bắt đầu Khởi tạo bộ trọng số ngẫu nhiên Nhận giá trị Delta, Theta, Alpha, Beta, Gamma Tính giá trị nhập của các nút trong lớp ẩn Tính giá trị xuất của các nút trong lớp ẩn Tính giá trị nhập của nút xuất Tính giá trị xuất của nút xuất Tính lỗi của lớp xuất Tính lỗi của lớp ẩn Tính lỗi của hệ thống Sai Lỗi hệ thống
 Giá trị trọng số khởi tạo ngẫu nhiên từ 0 đến 1  Ngưỡng lỗi trung bình: 10-5 và dựa trên RMSE Độ chính xác của phân loại được đo bằng tỷ lệ kết quả phân loại sai so với tổng số mẫu theo (3.1). − = (3.1) Trong đó, n là tổng số mẫu, ntrue là số mẫu có kết quả phân loại đúng. Bảng 3. 2 Kết quả thực nghiệm Số Neural (Lỗi trung (Tỷ lệ nhận (Sai số tối thiểu) trong lớp bình) dạng) Minimum Error ẩn Average Error Accuracy Rate 5 25.21% 21.98% 78.02% 10 23.77% 20.04% 79.96% 15 20.44% 17.13% 82.87% 20 17.76% 14.21% 85.79% 25 15.43% 11.88% 88.12% 30 12.98% 10.06% 89.94% 35 9.87% 7.74% 92.26% 40 7.74% 6.43% 93.57% 45 9.56% 7.92% 92.08% 50 10.24% 8.63% 91.37% Ta có thể quan sát trong bảng 3.2 và thấy rằng kết quả phân loại của tập dữ liệu thử nghiệm không ngừng tăng lên cho đến khi đạt giá trị tốt nhất có thể (40 Neural trong lớp ẩn và tỷ lệ chính xác là 93,57%). Sau đó, kết quả bắt đầu giảm khi số lượng Neural trong lớp ẩn tăng lên. Điều này xảy ra được gọi là overfitting. Một ma trận nhầm lẫn (confusion matrix) chứa thông tin về phân loại thực tế và dự đoán được thực hiện bởi một hệ thống. Bảng 3.3 mô tả hiệu năng của hệ thống được đánh giá bởi dữ liệu trong ma trận nhầm lẫn với 40 nút ẩn trong lớp ẩn. Bảng 3. 3 Ma trận nhầm lẫn của kết quả phân loại Thực tế Tiên Con Phong Thành Con Bông đoán vật cảnh phố người hoa Trang 13
Con vật 93.8% 1.4% 1.5% 2.0% 1.6% Phong cảnh 1.1% 93.6% 3.1% 1.5% 1.2% Thành phố 1.6% 1.3% 93.5% 1.6% 1.8% Con người 1.9% 1.8% 1.3% 93.2% 1.7% Bông hoa 1.7% 1.9% 0.8% 1.8% 93.8% Để cung cấp một phương pháp trực quan và dễ hiểu hơn trong việc đo lường chất lượng dự đoán, các công thức sau được sử dụng để kiểm tra chất lượng hiệu quả. Độ chính xác Accuracy (AC) là tỷ lệ dự đoán chính xác. Nó được xác định bằng cách sử dụng công thức (3.2). + (3.2) = + + + Độ chính xác Precision (P) là tỷ lệ của các trường hợp đúng được dự đoán là chính xác, được tính bằng công thức (3.3). = (3.3) + Trong đó, True Possitive (TP) đề cập đến các bộ dữ liệu đúng được phân loại chính xác là đúng. True Negative (TN) đề cập đến các bộ dữ liệu sai được phân loại chính xác là sai. False Possitive (FP) đề cập đến các bộ dữ liệu sai được phân loại không chính xác là đúng. False Negative (FN) đề cập đến các bộ dữ liệu đúng được phân loại không chính xác là sai. Tỷ lệ nhận dạng thành với 40 nút ẩn trong lớp ẩn được đưa ra trong bảng 3.4 Bảng 3. 4 Kết quả thực nghiệm TP TN FP FN AC P Con vật 93,8% 93,6% 6,4% 6,2% 93,7% 93,6% Phong cảnh 93,6% 93,2% 6,8% 6,4% 93,4% 93,2% Thành phố 93,5% 93,8% 6,3% 6,6% 93,6% 93,7% Con người 93,2% 93,4% 6,6% 6,8% 93,3% 93,4% Trang 14
Bông hoa 93,8% 93,9% 6,1% 6,2% 93,9% 93,9% Những kết quả này cũng được so sánh với một số nghiên cứu trước đây như xác định tín hiệu EEG dựa trên nháy mắt với 15.360 mẫu và đạt 90,85%, cây quyết định đạt tối đa 85%, dựa trên chuyển động của mắt bằng 2 thí nghiệm với 3.600 mẫu và 8.320 mẫu và đạt 85%. 3.3 Thiết kế mô hình tổng hợp xử lý tín hiệu Mô hình này được phát triển từ mô hình mạng neural đa lớp trong phần 3.2, ngoài việc nhận dạng tín hiệu EEG còn kết hợp với tín hiệu hướng mắt của người dùng thông qua camera. Mô hình này trung vào các vấn đề sau:  Sử dụng biến đổi theo phương pháp Hilbert Huang (HHT) để làm giảm nhiễu tín hiệu EEG vì HHT phù hợp với tín hiệu EEG cho kết quả tốt hơn các phương pháp khác.  Nhận dạng hướng mắt dựa trên hình ảnh khuôn mặt của người dùng kết hợp với nhận dạng tín hiệu EEG nhằm cải thiện hiệu quả của nhận dạng.  Thiết kế một hệ thống bao gồm phần cứng và phần mềm để thử nghiệm trong thế giới thực.  Dữ liệu thực nghiệm được thu thập từ 80 sinh viên trường Cao đẳng Công thương TP.HCM tình nguyện tham gia. Kiến trúc hệ thống bao gồm 3 khối được trình bày trong hình 3.5. Trang 15
Ảnh khuôn mặt Tín hiệu EEG Chuyển sang ảnh Chọn kênh nhị phân Phát hiện mắt và Biến đổi HHT lông mày Tính tỉ lệ mắt và Gom cụm lông mày Rút trích 04 đặc Rút trích 05 đặc trưng trưng MẠNG NEURAL ĐA LỚP Hình 3. 5 Kiến trúc hệ thống mô hình tổng hợp  Khối đầu tiên là khối nhận dạng tín hiệu EEG để trích xuất 5 tính năng.  Khối thứ hai là khối nhận dạng hướng mắt bằng cách nhận dạng mắt và lông mày từ hình ảnh khuôn mặt của người dùng để trích xuất 4 tính năng.  Khối thứ ba là mạng neural đa lớp với 9 nút đầu vào (4 cho camera và 5 cho EEG), 5 nút đầu ra được phân loại thành 5 tín hiệu điều khiển như "đi tiếp", "đi lùi", "rẽ trái", "rẽ phải" và "dừng". 3.3.1 Khối nhận dạng tín hiệu EEG Khối này thực hiện giống như mô hình được trình bày trong phần 3.2. Trước tiên, chọn các kênh có thông tin hữu ích và loại bỏ các kênh có thông tin dư thừa. Kế tiếp, dùng HHT để trích lọc đặc trưng và khử nhiễu dữ liệu. Sau đó, dùng thuật toán gom cụm K-Means để gom các cụm dữ liệu. 3.3.2 Nhận dạng tín hiệu hướng mắt Hình ảnh khuôn mặt được nhận từ camera và được cắt tại khu vực chứa thông tin về mắt để giảm thời gian xử lý, sau đó hình ảnh khuôn mặt được chuyển đổi thành hình ảnh nhị phân thỏa yêu cầu hiển thị Trang 16
đầy đủ 2 chân mày và 2 mắt như hình 3.6, giá trị ngưỡng được tính toán bằng thuật toán isodata. Hình 3. 6 Phát hiện mắt và lông mày  Sử dụng thuật toán phân đoạn ảnh để phát hiện trung tâm đồng tử của mắt, phân đoạn mắt và lông mày như trong hình 3.7. Hình 3. 7 Tâm đồng tử, phân đoạn ảnh mắt và lông mày  Tính tỷ lệ mắt trái và lông mày trái theo công thức (3.4) như trong hình 3.8. (3.4) = Hình 3. 8 Tỷ lệ mắt trái và lông mày trái  Tính tỷ lệ mắt phải và lông mày phải theo công thức (3.5) như trong hình 3.9. (3.5) = Trang 17
Hình 3. 9 Tỷ lệ mắt phải và lông mày phải  Tính toán tỷ lệ trung tâm đồng tử của mắt trái và chiều dài của mắt trái theo công thức (3.6) như trong hình 3.10. (3.6) = Hình 3. 10 Tỷ lệ tâm đồng tử và chiều dài mắt  Tính tỷ lệ trung tâm đồng tử của mắt phải và chiều dài của mắt phải theo công thức (3.7) như trong hình 3.10. = (3.7) 3.3.3 Mô hình mạng Neural đa lớp lan truyền ngược Mô hình mạng neural đa lớp lan truyền ngược được đề xuất bao gồm 3 lớp được trình bày trong hình 3.11. Trang 18
Hình 3. 11 Mô hình mạng Neural  Lớp đầu tiên chứa 9 nút như Delta, Theta, Alpha, Beta, Gamma, d1, d2, d3 và d4. Lớp này được gọi là lớp nhập.  Lớp thứ hai là lớp ẩn, số lượng Neural trong lớp ẩn là 11 Neural.  Lớp xuất chứa 5 nút, kết quả của nút này được sử dụng để phân loại tín hiệu EEG. Do hàm hành động được sử dụng trong mô hình này là hàm hyperbolic tangent, giá trị của nút xuất nằm trong khoảng [-1, 1]. Vì ngõ ra có 5 nút, nút nào có giá trị lớn nhất, nút đó sẽ được chọn và đó là tín hiệu điều khiển. 3.3.4 Chọn tập dữ liệu và kết quả thực nghiệm Dữ liệu thực nghiệm được thu thập từ 80 sinh viên trường Cao đẳng Công thương TP.HCM tham gia tình nguyện. Sinh viên đeo thiết bị Emotiv EEG và ngồi cách bảng quan sát 120cm. Dữ liệu thực nghiệm được chia thành 3 bộ dữ liệu như sau:  Tập dữ liệu huấn luyện được thu thập từ 70% dữ liệu của 60 SV.  Tập dữ liệu kiểm tra đầu tiên được thu thập từ 30% dữ liệu của 60 SV. Trang 19