Luận án Tiến sĩ Khoa học máy tính: Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não – máy tính

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:125

Thêm vào BST

Báo xấu

40
lượt xem 12
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu nghiên cứu của luận án là: Phát triển phương pháp để tăng cường chất lượng điện não dựa trên học máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân tích tín hiệu điện não. Mời các bạn tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án Tiến sĩ Khoa học máy tính: Một số phương pháp xử lý và phân loại tín hiệu điện não cho các ứng dụng giao diện não – máy tính

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thế Hoàng Anh MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội – 2020
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH Chuyên ngành: Khoa học máy tính Mã số: 9480101.01 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS. TS. Bùi Thế Duy 2. PGS. TS. Lê Thanh Hà Hà Nội – 2020 1
LỜI CAM ĐOAN Tôi xin cam đoan rằng đây là công trình nghiên cứu của riêng tôi. Các kết quả trong luận án là trung thực và chưa từng công bố trong bất kỳ công trình nào khác. Các kết quả được viết chung với các tác giả khác đều được sự đồng ý trước khi đưa vào luận án. Tác giả luận án Nguyễn Thế Hoàng Anh 2
LỜI CẢM ƠN Nghiên cứu khoa học là hành trình dài có nhiều thử thách cần vượt qua và đồng thời là quá trình đào sâu, tìm ra lời giải cho các vấn đề khoa học thú vị. Nghiên cứu về Khoa học máy tính, cụ thể lĩnh vực trí tuệ nhân tạo và khoa học thần kinh chắc chắn là một công việc nhận được nhiều sự quan tâm. Tôi cảm thấy rất may mắn được trở thành một phần của cộng đồng nghiên cứu hàn lâm về lĩnh vực đầy hứng khởi này với những phát kiến khoa học khiêm tốn của mình. Trong quá trình học tập, nghiên cứu và hoàn thiện luận án tiến sĩ, tôi đã nhận được sự giúp đỡ, chỉ bảo tận tình của các thầy, cô giáo, nhà khoa học, Phòng thí nghiệm Tương tác người máy HMI, Bộ môn Khoa học máy tính tại Trường Đại học công nghệ, Đại học Quốc gia Hà Nội. Tôi xin bày tỏ lòng biết ơn sâu sắc đặc biệt tới PGS. TS. Bùi Thế Duy và PGS. TS. Lê Thanh Hà, những người thầy hướng dẫn đã trực tiếp truyền thụ kiến thức và thắp lên ngọn lửa đam mê nghiên cứu khoa học, giúp đỡ, động viên tôi kiên định trong suốt quá trình nghiên cứu và thực hiện luận án. Tôi xin chân thành cám ơn Lãnh đạo và các đồng nghiệp tại Viện Công nghệ thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã luôn tạo điều kiện thuận lợi nhất và cùng tôi thực hiện các đề tài, công trình nghiên cứu trong đó một phần kết quả đã được trực tiếp thể hiện trong luận án. Tôi xin dành tất cả sự yêu thương và cám ơn tới gia đình: bố TS. Nguyễn Song Hoan, mẹ TS. Nguyễn Thị Bạch Yến, vợ Lê Minh Trang và hai con Mật Ong, Cá Mập đã luôn bên cạnh, động viên để tôi vượt qua những khó khăn và hoàn thành mục tiêu. Xin trân trọng cám ơn! Tác giả luận án Nguyễn Thế Hoàng Anh 3
MỤC LỤC LỜI CAM ĐOAN ........................................................................................................................................2 LỜI CẢM ƠN ..............................................................................................................................................3 DANH MỤC BẢNG ....................................................................................................................................7 DANH MỤC HÌNH VẼ ..............................................................................................................................8 DANH MỤC CHỮ VIẾT TẮT.................................................................................................................10 PHẦN MỞ ĐẦU ........................................................................................................................................11 1. Tính cấp thiết ...................................................................................................................... 11 2. Mục tiêu của luận án ........................................................................................................... 13 3. Đóng góp của luận án .......................................................................................................... 14 4. Phạm vi của luận án ............................................................................................................ 16 5. Phương pháp luận ............................................................................................................... 17 6. Cấu trúc luận án ................................................................................................................. 17 CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO ............................................................................................................................................................19 1. Giới thiệu ............................................................................................................................ 19 2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ..................................................... 21 2.1. Các phương pháp đo tín hiệu từ não bộ ....................................................................... 21 2.1.1. Chụp quang phổ cận hồng ngoại chức năng ............................................................. 21 2.1.2. Chụp Cộng hưởng từ chức năng .................................................................................... 22 2.1.3. Chụp cắt lớp phát xạ positron ....................................................................................... 22 2.1.4. Từ não đồ ...................................................................................................................... 23 2.1.5. Điện não đồ xâm lấn ...................................................................................................... 24 2.2. Tín hiệu điện não và các vấn đề liên quan .................................................................... 25 2.2.1. Điện não đồ.................................................................................................................... 25 2.2.2.Tín hiệu điện não ............................................................................................................ 26 2.2.3. Cơ chế phát sinh tín hiệu điện não ................................................................................. 28 2.2.4. Thu tín hiệu điện não ..................................................................................................... 29 3. Một số phương pháp xử lý, phân tích tín hiệu điện não ....................................................... 30 3.1. Biến đổi wavelet............................................................................................................... 30 3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não..................................... 33 3.3. Mạng Nơron wavelet ....................................................................................................... 34 3.3.1. Huấn luyện............................................................................................................... 35 3.3.2. Khử nhiễu ................................................................................................................ 35 3.4. Phương pháp phân ngưỡng wavelet ................................................................................ 36 3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não ................................... 38 4. Một số ứng dụng hệ giao diện não máy tính ........................................................................ 40 4
4.1. Hệ BCI2000 ..................................................................................................................... 40 4.2. Hệ VR-BCI trong phục hồi chức năng ............................................................................. 41 4.3. Một số hệ BCI trong đánh vần ký tự ............................................................................... 42 4.4. Một số nghiên cứu BCI và tín hiệu điện não khác............................................................ 43 5. Kết luận Chương 1 .............................................................................................................. 45 CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT............................................................................46 1. Đặt vấn đề ........................................................................................................................... 46 2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet ....................................................... 49 2.1. Mạng học sâu tự mã hóa thưa ...................................................................................... 50 2.2. Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar ........................................ 52 2.2.1. Biến đổi wavelet Haar .............................................................................................. 52 2.2.2. Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar .......................................... 53 2.3. Mạng học sâu tự mã hóa thưa wavelet trong khử EOG ............................................... 55 2.3.1. Huấn luyện tự động.................................................................................................. 55 2.3.2. Tự động sửa lỗi tín hiệu............................................................................................ 57 2.4. Độ đo đánh giá kết quả ................................................................................................ 58 3. Kết quả ............................................................................................................................... 59 3.1. Dữ liệu kiểm thử .......................................................................................................... 59 3.2. Thiết kế thí nghiệm ...................................................................................................... 60 3.3. Kết quả thí nghiệm ...................................................................................................... 60 3.3.1. Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát .............................. 60 3.3.2. Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ ..................................... 65 3.3.3. Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa nhiễu ........................ 68 4. Thảo luận ............................................................................................................................ 69 5. Kết luận Chương 2 .............................................................................................................. 72 CHƯƠNG 3. ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA TRÊN HỌC MÁY .....................................................................................................................................73 1. Đặt vấn đề ........................................................................................................................... 73 2. Cơ sở dữ liệu thử nghiệm .................................................................................................... 75 2.1. Cơ sở dữ liệu đã có ........................................................................................................... 75 2.2. Cơ sở dữ liệu của luận án ................................................................................................. 77 3. Đề xuất một số phương pháp phân loại trạng thái suy nghĩ dựa trên học máy .................... 79 3.1. Phương pháp máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối ............. 79 3.1.1. Năng lượng wavelet tương đối trong trích chọn đặc trưng tín hiệu điện não ................. 81 3.1.2. Máy vec-tơ hỗ trợ trong phân loại tín hiệu điện não ...................................................... 82 3.2. Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần chính .................. 84 5
3.2.1. Phân tích thành phần chính cho giảm số chiều tín hiệu điện não.............................. 86 3.2.2. Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP ..................................... 87 3.3. Phương pháp học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE ........................ 89 3.3.1. Lựa chọn thành phần chính với phân ngưỡng thích nghi SURE .............................. 91 3.3.2. Mạng học sâu Deep belief net trong phân loại tín hiệu điện não ............................... 92 4. Kết quả và thảo luận ........................................................................................................... 94 4.1. Tiền xử lý dữ liệu ......................................................................................................... 95 4.2. Phân loại trạng thái ..................................................................................................... 98 5. Kết luận chương 3 ............................................................................................................. 100 CHƯƠNG 4. ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH ...........................................................................................102 1. Hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng thông minh............. 102 1.1. Khối thu tín hiệu và thiết bị Emotiv Epoc+ ................................................................ 103 1.2. Khối DSP........................................................................................................................ 104 1.3. Khối WIoT ..................................................................................................................... 104 2. Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh ........................... 105 3. Kết quả và thảo luận ......................................................................................................... 108 4. Kết luận Chương 4 ............................................................................................................ 110 PHẦN KẾT LUẬN VÀ KIẾN NGHỊ ....................................................................................................112 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ .............................................................................116 TÀI LIỆU THAM KHẢO ......................................................................................................................118 6
DANH MỤC BẢNG Bảng 1. Kết quả nhận diện EOG ............................... 55 Bảng 2. MSE của ba phương pháp dựa trên wavelet ................... 69 Bảng 3. So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não ...... 71 Bảng 4. Kết quả phân loại hai trạng thái suy nghĩ .................... 98 Bảng 5. Kết quả phân loại 02 trạng thái suy nghĩ theo các bước với DBN .... 99 Bảng 6. Kết quả phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN ....... 99 Bảng 7. Kết quả phân loại 03 trạng thái suy nghĩ theo các bước với DNN ... 100 Bảng 8. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100 Bảng 9. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên mạng nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE ..... 100 Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần .................. 108 Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy học cộng đồng so với các phương pháp thành phần .................. 109 7
DANH MỤC HÌNH VẼ Hình 1. Cấu trúc não bộ [64] .................................. 19 Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d) MEG, (e) EcoG và (f) EEG ................................... 20 Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20] ........... 25 Hình 4. Bản ghi tín hiệu điện não EEG ........................... 27 Hình 5. Một số dạng sóng trong tín hiệu điện não EEG ................. 28 Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược ......... 31 Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG ..... 34 Hình 8. Cấu trúc của mạng Wavelet Neural Network [8] ................ 35 Hình 9. Huấn luyện mạng Nơ-ron .............................. 35 Hình 10. Quá trình khử nhiễu ................................. 36 Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG. ......... 39 Hình 12. Thiết kế hệ BCI2000 [17] .............................. 40 Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] .. 41 Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] ............ 42 Hình 15. Giao diện thí nghiệm Berlin BCI [68] ...................... 43 Hình 16. Tín hiệu bất thường do nháy mắt EOG ..................... 47 Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE .... 49 Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder ............ 51 Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG .... 53 Hình 20: Kết quả nhận diện EOG ............................... 54 Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa wavelet ................................................ 56 Hình 22. Quy trình tự động khử EOG với DWSAE ................... 57 Hình 23. Kết quả khử nhiễu của DWSAE so với (a) SOBI, (b) Infomax, (c) JADE, (d)WNN và (e) Wavelet thresholding ............................ 62 Hình 24. Hình vẽ thể hiện PSD của tín hiệu trước và sau khi khử nhiễu ...... 63 Hình 25. Hệ số tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 64 Hình 26 So sánh kết quả khử nhiễu giữa DWSAE và (a) SOBI, (b) Infomax, (c) JADE, (d)WNN và (e) Wavelet thresholding ....................... 66 Hình 27. PSD giữa tín hiệu gôc và tín hiệu sau khử nhiễu ............... 67 Hình 28. Tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a) DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT .......... 67 Hình 29. Kết quả trên đoạn tín hiệu bán giả lập trước và sau khi khử nhiễu bởi . 68 Hình 30. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên SVM ....... 80 Hình 31. Siêu phẳng phân cách bởi SVM .......................... 82 Hình 32. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên mạng nơ-ron .. 85 Hình 33. Cấu trúc mạng nơ-ron nhân tạo ba lớp ..................... 88 8
Hình 34. Huấn luyện mạng ANN với thuật toán OWO-BP .............. 89 Hình 35. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên học sâu ..... 90 Hình 36. Thiết kế máy học Boltzman ............................ 92 Hình 37. Mạng học sâu Deep belief net với nhiều máy Boltzman .......... 94 Hình 38. Biến đổi ICA trong khử nhiễu tín hiệu điện não ............... 96 Hình 39. Kết quả khử nhiễu với ICA ............................. 96 Hình 40. Kết quả khử nhiễu với WNN ........................... 96 Hình 41. Hiển thị vùng kích hoạt não bộ với phương pháp LORETA trong quá trình đối tượng thực hiện ba thí nghiệm (a) N, (b) L and (c) P ............ 97 Hình 42. Kiến trúc tổng thể của hệ thống giao diện não-máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh. ......................... 102 Hình 43. Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) ............ 103 Hình 44. Tín hiệu điện não thu bằng chương trình Test Bench ........... 103 Hình 45. Mô hình tương đương module ESP 8266 ................... 105 Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín hiệu điện não ........................................... 107 9
DANH MỤC CHỮ VIẾT TẮT ANN Aritificial neural network (Mạng nơ-ron nhân tạo) BCI Brain computer interface (Giao diện não máy tính) CT Computed Topography (Chụp cắt lớp) DNN Deep neural network (Mạng học sâu) DBN Deep belief network (Mạng học sâu niềm tin) DWSAE Deep wavelet sparse autoencoder (Máy học sâu tự mã hóa thưa wavelet) EEG Electroencephalography (Điện não đồ) EOG Electrooculography (Tín hiệu bất thường sinh ra do nháy mắt) EMG Electromyogram (Tín hiệu bất thường sinh ra do cử động cơ) ECoG Electro-corticography (Điện não đồ xâm lấn) FC Frequency correlation (Tương quan tần số) fMRI functional Magnetic resonance imaging (Chụp cộng hưởng từ chức năng) fNIRS Functional Near-Infrared Spectroscopy (Quang phổ cận hồng ngoại) ICA Independent component analysis (Phân tích thành phần độc lập) Infomax Information Maximization (Tối đa thông tin) JADE Joint Approximation Diagonalization of Eigen-matrices LORETA Low resolution brain electromagnetic tomography (Định vị điện từ não đồ phân giải thấp) MEG Magnetoencephalography (Từ não đồ) MSE Mean square error (Sai số toàn phương trung bình) OWO-BP Output weight optimization – Backpropagation (Lan truyền ngược tối ưu hóa trọng số lớp ra) PCA Principal component analysis (Phân tích thành phần chính) PET Positron emission tomography (Chụp positron phát xạ) PSD Power spectral density (Mật độ phổ năng lượng) RBM Restricted Bolzmann machine (Máy Bolzmann chặt) RWE Relative wavelet energy (Năng lượng wavelet tương đối) SAE Sparse autoencoder (Máy tự mã hóa thưa) SOBI Second-Order Blind Identification (Nhận dạng mù bậc hai) SURE Stein’s unbiased risk estimate SVM Support vector machine (Máy vec-tơ hỗ trợ) WIoT Wireless internet of things (Internet vạn vật vô tuyến) WNN Wavelet neural network (Mạng nơ-ron wavelet) WT Wavelet thresholding (Phân ngưỡng wavelet) 10
PHẦN MỞ ĐẦU 1. Tính cấp thiết Não bộ là một trong những cơ quan quan trọng nhất, về cơ bản chịu trách nhiệm điều phối toàn bộ các cơ quan khác trong cơ thể con người. Cơ chế hoạt động của não bộ là một vấn đề rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng. Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ, tự kỷ/trầm cảm, Parkinson, đột qụy… Tín hiệu điện não là một cách tiếp cận phù hợp để có thể đánh giá tình trạng của não bộ trong các trường hợp kể trên do chất lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết bị, an toàn và giá thành hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn… Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) là các giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế bào thần kinh trong não. Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu EEG không tuân theo phân bố Gauss thông thường và cũng không tĩnh (nonstationary). Thông thường, tín hiệu EEG cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz). Phân tích tín hiệu EEG có thể dẫn đến một số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh... Tín hiệu điện não thường xuyên được sử dụng để phát triển các hệ giao diện não-máy tính (Brain Computer Interface - BCI), phương thức truyền thông cho phép kết nối máy tính để xử lý và hiểu được tín hiệu sinh ra từ bộ não một cách hiệu quả. 11
BCI là một giải pháp hữu ích cho người bị các bệnh như xơ cứng teo cơ một bên (ALS) hay bệnh nhân trong tình trạng nghiêm trọng không cử động và điều khiển được các bộ phận của cơ thể. Giao điện não máy tính cho phép chuyển tải thông điệp người sử dụng muốn chỉ thông qua tín hiệu đã được phân tích, xử lý và “dịch” bởi hệ thống mà không cần bất kỳ can thiệp nào khác. Một số ứng dụng của hệ BCI có thể kể đến trong việc hỗ trợ phục hồi chức năng của người bị liệt nửa người do chấn thương tủy sống [1], cho phép người sử dụng điều khiển các nhân vật hoạt họa di chuyển trong một trò chơi điện tử dựa trên Xung phản ứng kích thích thị giác trạng thái ổn định [2], điều khiển con chuột máy tính [3]. Để thực hiện việc phân tích thông tin và triển khai các ứng dụng dựa trên tín hiệu EEG kể trên, một số vấn đề còn tồn tại, chưa được giải quyết bởi các nghiên cứu trước đây có thể được kể đến: - Tín hiệu điện não sau khi được biến đổi sang miền thời gian – tần số sẽ chứa các thông tin đặc trưng được khu trú trên từng dải tần cụ thể và theo từng khung thời gian nhất định. Các phương pháp trước đây, ví dụ sử dụng mạng nơ-ron nhân tạo, thường phải trải qua bước huấn luyện off-line, do đó không tự động hóa được quy trình khử nhiễu. - Các thiết kế thí nghiệm của các nghiên cứu khác tập trung vào việc tạo ra các đặc trưng như P300, xung kích thích thị giác trạng thái ổn định SSVEP, nhịp Mu và Beta… thường yêu cầu thiết bị phụ trợ như màn hình máy tính hiển thị các hình ảnh, ký tự được nháy sáng. - Các phương pháp phân loại tín hiệu điện não trước đây thường được phát triển cho các thí nghiệm như hình dung ảnh vận động, nhịp vận động cảm giác hay xung kích thích thị giác trạng thái ổn định không phù hợp cho việc phân loại tín hiệu điện não sinh ra trong tác vụ tập trung suy nghĩ vốn không đòi hỏi thiết kế thí nghiệm phải có thiết bị hỗ trợ. Học máy là các phương pháp tính toán thông minh cho phép máy tính tạo ra các mô hình toán học có tham số hình thành bởi quá trình khai phá, huấn luyện với dữ liệu gán nhãn (học có giám sát) hoặc không cần gán nhãn (học không giám sát). 12
Học sâu hay mạng nơ-ron nhân tạo sâu (deep neural network) với các cấu trúc khác nhau như mạng niềm tin (deep belief net), máy tự mã hóa thưa (autoencoder), mạng tích chập (convolutional neural network), mạng sinh đối nghịch (generative adversarial networks)... là các thuật toán học máy được ứng dụng rất thành công trong nhiều lĩnh vực. Các thuật toán học sâu khi có nhiều dữ liệu để huấn luyện sẽ càng trở nên hiệu quả trong việc thực hiện chức năng được “dạy”. Kết quả thực nghiệm trong luận án này mới chỉ tiến hành trên một tập dữ liệu quy mô nhỏ, tuy nhiên việc sử dụng các phương pháp học sâu là bước chuẩn bị sẵn sàng để triển khai công nghệ đề xuất cho các bài toán thực tế, khi có lượng lớn dữ liệu. Dựa trên những phân tích ở trên, việc nghiên cứu và phát triển các phương pháp xử lý và phân loại tín hiệu điện não, hướng đến áp dụng các phương pháp này trong một hoặc một số ứng dụng cụ thể là một vấn đề nghiên cứu có ý nghĩa khoa học và thực tiễn cao, rất cần thiết được tập trung nghiên cứu một cách kỹ lưỡng. 2. Mục tiêu của luận án Luận án đặt ra một số mục tiêu như sau: - Phát triển phương pháp để tăng cường chất lượng điện não dựa trên học máy: Với vai trò là thông tin đầu vào, chất lượng của bản ghi tín hiệu điện não rất quan trọng, ảnh hưởng đến chất lượng xử lý và phân loại tín hiệu của hệ xử lý, phân tích tín hiệu điện não. Do đó, việc tăng cường chất lượng điện não, cụ thể là loại bỏ thành phần tín hiệu điện não không mong muốn trong đó tín hiệu điện não bất thường sinh ra do nháy mắt (Electrooculography – EOG), là một cách tiếp cận phù hợp để tăng hiệu quả hoạt động của hệ BCI cũng như các hệ thống phân tích tính hiệu điện não khác. - Phát triển các phương pháp trong phân tích, xử lý tín hiệu điện não dựa trên các phương pháp học máy trong đó bao gồm việc kiểm thử các phương pháp học có giám sát và không giám sát dựa trên SVM, ANN, DNN, Học cộng đồng: Đối với các phương pháp phân tích tín hiệu điện não dựa trên học có giám sát, kết quả phân loại tín hiệu sẽ cho thấy mô hình đã được huấn luyện có thể học và làm tốt đến đâu với 13
dữ liệu tín hiệu điện não đầu vào đã được gán nhãn. Trong trường hợp xử lý tín hiệu điện não với phương pháp học không giám sát, luận án sẽ kiểm chứng việc một thuật toán học máy trong trường hợp cụ thể có thể làm tốt đến đâu khi đã biết nhiệm vụ nhưng chưa thực sự thực hiện nhiệm vụ này bao giờ. Suy rộng ra là mục tiêu chứng tỏ các hệ thống trí tuệ nhân tạo có khả năng tự học và suy diễn để thực hiện các nhiệm vụ được đặt ra như khả năng suy luận của con người mà không cần phải cho huấn luyện trước (trong chừng mực nào đó) trên một nhiệm vụ như vậy - Phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh: Hiện nay, rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện não trên thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và rộng rãi. Tuy nhiên cách tiếp cận này có một nhược điểm là dữ liệu thu trước không phải lúc nào cũng phù hợp với nội dung của nghiên cứu. Một số nghiên cứu khác chủ động tiến hành thu nhận và sử dụng dữ liệu thu được. Những nghiên cứu này sử dụng các qui trình thu nhận dữ liệu khác nhau, tuy nhiên phần lớn trong số đó đều khá phức tạp. Mục tiêu ban đầu của luận án này là phát triển một hệ BCI trong điều khiển các thiết bị điện tử thông minh, có thể hỗ trợ những nhóm người bị tổn thương chức vận động (đột quỵ, xơ cứng teo cơ một bên - ALS, đa xơ cứng, chấn thương tủy sống, loạn dưỡng cơ, …) không có khả năng cử động tương tác được với các thiết bị điện tử. Để thực hiện hệ BCI như vậy, nghiên cứu trong khuôn khổ luận án này đã phát triển một qui trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh. 3. Đóng góp của luận án Luận án có những đóng góp khoa học tập trung vào ba nhóm vấn đề (1) xử lý, tăng cường chất lượng tín hiệu điện não, (2) phân tích, phân loại tín hiệu điện não và (3) một hệ thống giao diện não máy tính hoàn chỉnh trong ứng dụng điều khiển thiết bị điện tử gia dụng. Cụ thể các đóng góp như sau: (1) Đề xuất các phương pháp xử lý, tăng cường chất lượng tín hiệu điện não: 14
Thứ nhất, khử tín hiệu điện não bất thường sinh ra do nháy mắt tự động với mạng học sâu tự mã hóa thưa wavelet (DWSAE). Đây là một phương pháp mới, trong đó thuật toán DWSAE được huấn luyện không giám sát và khử nhiễu một cách tự động. Cách tiếp cận này chứng tỏ các thuật toán trí tuệ nhân tạo nếu được triển khai theo một quy trình phù hợp, có khả năng tự tìm cách thực hiện các nhiệm vụ cụ thể mà không cần được biết trước nhiệm vụ đó. Thứ hai, nhận diện, dò đếm giả tượng mắt EOG dựa trên biến đổi wavelet với hàm cơ sở wavelet Haar. Phương pháp này được phát triển với mục đích thu thập các đoạn tín hiệu điện não sạch phục vụ huấn luyện không giám sát mô hình DWSAE. (2) Đề xuất các phương pháp phân tích, phân loại tín hiệu điện não: Thứ ba, phân loại tín hiệu điện não trong các tác vụ suy nghĩ dựa trên bộ phân lớp SVM với đặc trưng năng lượng wavelet tương đối. Việc triển khai phương pháp này cho thấy, đặc trưng (Relative wavelet energy – RWE) rất phù hợp để làm đầu vào cho các mô hình phân lớp học máy dựa trên việc tạo ra các siêu phẳng, nhất là trong bài toán phân loại tín hiệu điện não. Thứ tư, phân loại tín hiệu điện não sử dụng mạng nơ-ron phân tích thành phần chính trong lựa chọn đặc trưng. Trong cách tiếp cận này, mạng nơ-ron được huấn luyện với phương pháp lan truyền ngược tối ưu trọng số lớp đầu ra (OWO-BP) sử dụng đặc trưng trích xuất bởi phương pháp phân tích thành phần chính. Thứ năm, phân loại tín hiệu điện não sử dụng mạng học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE. Trong phương pháp này, mạng học sâu được huấn luyện với đầu vào là các đặc trưng trên miền tần số được trích chọn và giảm số chiều thông tin sau phân tích thành phần chính PCA. Một phương pháp phân ngưỡng SURE [4] được đề xuất để giảm số chiều các thành phần chính nhằm giảm độ phức tạp tính toán và thời gian xử lý, đồng thời tăng chất lượng của bộ phân lớp sử dụng mạng học sâu. (3) Đề xuất một hệ thống giao diện não máy tính hoàn chỉnh ứng dụng trong điều khiển thiết bị điện tử gia dụng: 15
Thứ sáu, đề xuất mô hình và thực hiện hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng. Hệ giao diện não máy tính này gồm bốn phần chính là khối thu tín hiệu (cùng với thiết kế thí nghiệm, sử dụng phù hợp), khối xử lý tín hiệu số, khối kết nối và điều khiển thiết bị không dây và khối các thiết bị thông minh. Các khối thành phần của hệ thống được kết nối hữu tuyến hoặc vô tuyến (wi-fi, blue tooth) với nhau Thứ bảy, phân loại tín hiệu điện não sử dụng mô hình dựa trên máy học cộng đồng là một cách tiếp cận phù hợp để phát triển hệ BCI trong điều khiển thiết bị điện tử gia dụng thông minh. Mô hình máy học cộng đồng sử dụng tín hiệu đầu vào đã được khử tín hiệu điện não bất thường sinh ra do nháy mắt với phương pháp DWSAE. Các máy học thành phần được sử dụng là máy học dựa trên học sâu, mạng nơ-ron nhân tạo và máy vec-tơ hỗ trợ được đề xuất trong Chương 3 của luận án. Các đóng góp khoa học cũng như kết quả thực nghiệm của luận án cho thấy sử dụng học máy là phương pháp tiếp cận phù hợp để giải quyết các bài toán liên quan đến xử lý, phân loại tín hiệu điện não và hệ giao diện não máy tính trong điều kiện tín hiệu điện não có tính chất không tĩnh (non-stationary), thay đổi từ người này sang người khác và từ phiên thu tín hiệu này sang phiên thu tín hiệu khác. Ngoài ra, việc thực hiện thành công phương pháp DWSAE cho thấy máy học không giám sát có thể là một cách tiếp cận mới trong xử lý phân tích tín hiệu điện não một cách tự động. Khái quát hóa lên, các công cụ trí tuệ nhân tạo có khả năng học tự động với dữ liệu được gán nhãn để giải quyết nhiệm vụ chưa có kinh nghiệm. Đây là cách giải quyết vấn đề rất gần với tư duy của con người. 4. Phạm vi của luận án Luận án này tập trung giải quyết các vấn đề liên quan đến phân tích, xử lý tín hiệu điện não, phát triển và thực hiện hệ giao diện não máy tính nói chung và ứng dụng cụ thể cho hệ BCI có khả năng điều khiển các thiết bị điện tử gia dụng thông minh dựa trên tín hiệu điện não. Để thực hiện được mục tiêu này, luận án tập trung phát triển một số phương pháp xử lý, phân tích tín hiệu điện não để tăng cường chất lượng tín hiệu điện não. Các phương pháp này có thể được áp dụng cho hệ BCI điều 16
khiển thiết bị điện tử được mô tả trong luận án này cũng như các hệ xử lý tín hiệu điện não khác. Bên cạnh đó, luận án trình bày một số nghiên cứu, đề xuất về các mô hình phân loại tính hiệu điện não hoàn chỉnh gồm tiền xử lý tín hiệu sóng điện não, trích chọn các đặc trưng phù hợp và huấn luyện, sử dụng mô hình phân lớp dựa trên học máy trong phân loại tín hiệu điện não thành các tác vụ suy nghĩ tương ứng. Mô hình hệ giao diện não máy tính trong điều khiển các thiết bị điện tử thông minh được đề xuất trong nghiên cứu của luận án sử dụng thiết bị thu tín hiệu điện não có chất lượng tín hiệu tương đối tốt, thiết kế nhỏ gọn, linh động nhưng có giá thành hợp lý, phù hợp với điều kiện kinh tế -xã hội của Việt Nam. Chương 4 của luận án đề xuất cách tiếp cận sử dụng mô hình học cộng đồng cho khối xử lý tín hiệu trong hệ BCI này. 5. Phương pháp luận Luận án giải quyết các vấn đề nghiên cứu đặt ra theo cách tiếp cận sau: - Sử dụng phương pháp nghiên cứu lý thuyết, xây dựng và kiểm thử các mô hình đề xuất trên dữ liệu đã được công bố và dữ liệu tự thu thập. - Các phương pháp được đề xuất được so sánh với các phương pháp đã có khác để đánh giá sự hiệu quả. - Kết quả được báo cáo dưới dạng số liệu hoặc trực quan hóa để thuận tiện cho việc đánh giá, kiểm chứng. 6. Cấu trúc luận án Luận án này gồm 06 phần trong đó có Phần mở đầu, 04 chương nội dung và Phần kết luận. Phần mở đầu nêu lên tính cấp thiết của vấn đề nghiên cứu, mục tiêu, đóng góp khoa học và phạm vi của luận án. Chương 1 nêu tổng quan các vấn đề liên quan đến tín hiệu điện não, cơ chế sinh ra tín hiệu điện não và một số phương pháp xử lý, phân tích tín hiệu điện não. Chương 2 trình bày đề xuất phương pháp xử lý, tăng cường chất lượng tín hiệu điện não đầu vào của hệ giao diện não máy tính bằng cách khử tín hiệu điện não bất thường sinh ra do nháy mắt. Phương pháp được đề xuất kết hợp mạng học sâu tự mã hóa thưa và biến đổi wavelet để khử tín hiệu điện 17
não bất thường sinh ra do nháy mắt một cách tự động và theo thời gian thực. Chương 3 trình bày một số cách tiếp cận và đề xuất các mô hình phân loại dựa trên học máy như máy vec-tơ hỗ trợ, mạng nơ-ron nhân tạo, mạng học sâu. Chương 4 trình bày cách tiếp cận sử dụng học cộng đồng xếp ngăn để tăng cường khả năng phân loại của các phương án dựa trên học máy đã được đề xuất trong ứng dụng BCI phục vụ điều khiển thiết bị điện tử gia dụng thông minh. Phần kết luận đưa ra đánh giá tổng quát về các kết quả nghiên cứu trình bày trong luận án, các đóng góp chính của luận án và gợi ý một số hướng nghiên cứu để phát triển các nội dung đã được thảo luận trong luận án. 18
CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN NÃO 1. Giới thiệu Bộ não, trung tâm điều khiển của hệ thần kinh trung ương, đóng vai trò rất quan trọng trong việc điều phối các hoạt động của các cơ quan khác và sản sinh ra ý thức [5]. Não bộ (Hình 1) có khoảng 100 tỉ tế bào thần kinh và là một trong những bộ phận sinh học phức tạp nhất trong trong cơ thể con người [6]. Tìm hiểu về cấu trúc của não bộ cũng như cách thức não bộ truyền nhận thông tin là một lĩnh vực chứa nhiều tiềm năng đem tới những phát kiến khoa học lớn. Để thực hiện được việc đó, một trong những việc đầu tiên và quan trọng nhất là phải thu nhận được những tín hiệu/thông tin do não bộ sản sinh. Một số phương pháp khác nhau ghi lại hoạt động của não (Hình 2), đó là: - Điện não đồ (Electroencephalography - EEG), - Chụp quang phổ cận hồng ngoại chức năng (Functional Near-Infrared Spectroscopy - fNIRS), - Điện não xâm lấn (Electro-corticography - ECoG), - Chụp cắt lớp (Computed Topography - CT) - Từ não đồ (Magnetoencephalography - MEG), - Chụp cắt lớp phát xạ positron (Positron emission tomography - PET) - Chụp cộng hưởng từ chức năng (functional magnetic resonance imaging - fMRI). Hình 1. Cấu trúc não bộ [64] 19