Luận án Tiến sĩ Kỹ thuật điều khiển và Tự động hóa: Mạng Neural trong hệ thống điều khiển xe lăn cho người tàn tật nặng sử dụng điện não (EEG) và camera

Chia sẻ: Gaocaolon6 Gaocaolon6 | Ngày: | Loại File: PDF | Số trang:109

Thêm vào BST

Báo xấu

92
lượt xem 12
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận án bao gồm 5 chương, trình bày tổng quan về tín hiệu điện não; cơ sở lý thuyết; xây dựng mô hình hệ thống điều khiển; xây dựng phần mềm và phần cứng cho hệ thống điều khiển xe lăn mô hình; kết luận và kiến nghị.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án Tiến sĩ Kỹ thuật điều khiển và Tự động hóa: Mạng Neural trong hệ thống điều khiển xe lăn cho người tàn tật nặng sử dụng điện não (EEG) và camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP. HỒ CHÍ MINH LÂM QUANG CHUYÊN MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN NÃO (EEG) VÀ CAMERA LUẬN ÁN TIẾN SĨ KỸ THUẬT TP. HỒ CHÍ MINH – 3/2020
BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI TP. HỒ CHÍ MINH LÂM QUANG CHUYÊN MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN NÃO (EEG) VÀ CAMERA CHUYÊN NGÀNH KỸ THUÂT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA MÃ SỐ: 9520216 NGƯỜI HƯỚNG DẪN KHOA HỌC PGS. TS. NGUYỄN HỮU KHƯƠNG PGS. TS. VÕ CÔNG PHƯƠNG TP. HỒ CHÍ MINH – 3/2020
LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi, các kết quả nghiên cứu được trình bày trong luận án là trung thực, khách quan và chưa từng để bảo vệ ở bất kỳ học vị nào. Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện luận án đã được cám ơn, các thông tin trích dẫn trong luận án này đều được chỉ rõ nguồn gốc. Tp. Hồ Chí Minh, ngày 30 tháng 03 năm 2020 Tác giả luận án Lâm Quang Chuyên Trang i
LỜI CẢM ƠN Để hoàn thành được luận án Tiến sĩ này tôi xin chân thành cảm ơn đến với Thầy hướng dẫn PGS. TS Nguyễn Hữu Khương đã tận tình hướng dẫn, giúp đỡ và động viên tôi trong suốt quá trình thực hiện luận án. Tôi xin chân thành cảm ơn Thầy PGS. TS Võ Công Phương đã động viên, giúp đỡ tôi trong trong quá trình thực hiện luận án. Tôi xin chân thành cảm ơn Thầy TS. Nguyễn Lương Anh Tuấn đã giúp đỡ trong vấn đề học thuật và góp ý một số vấn đề liên quan đến luận án. Tôi xin chân thành cảm ơn Thầy PGS. TS Đặng Xuân Kiên đã tạo điều kiện thuận lợi trong quá trình thực hiện luận án. Ngoài ra tôi cũng chân thành cảm ơn đến quý Thầy/Cô trong khoa Điện và Viện sau đại học Trường Đại học Giao thông Vận tải TP. HCM, đồng nghiệp Trường Cao đẳng Công thương TP. HCM đã tạo điều kiện hết sức thuận lợi trong quá trình nghiên cứu, bổ sung hoàn thành các thủ tục trong quá trình nghiên cứu, tôi xin chân thành cảm ơn các em sinh viên Trường Cao đẳng Công thương TP. Hồ Chí Minh đã nhiệt tình tham gia trong quá trình thu thập dữ liệu, thực nghiệm điều khiển xe mô hình, tôi cũng xin chân thành cảm ơn đến với tất cả các bạn cùng là nghiên cứu sinh như tôi. Tp. Hồ Chí Minh, ngày 30 tháng 03 năm 2020 Tác giả luận án Lâm Quang Chuyên Trang ii
MỤC LỤC LỜI CAM ĐOAN .................................................................................................. 1 LỜI CẢM ƠN ........................................................................................................ ii MỤC LỤC ............................................................................................................. iii DANH MỤC VÀ CHỮ VIẾT TẮT ...................................................................... vi DANH MỤC HÌNH ............................................................................................. vii DANH MỤC BẢNG .............................................................................................. x MỞ ĐẦU ............................................................................................................... xi CHƯƠNG 1 TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO ...................................... 1 1.1 Tình hình nghiên cứu trong nước ---------------------------------------------- 1 1.2 Tình hình nghiên cứu ngoài nước --------------------------------------------- 1 1.3 Nội dung thực hiện đề tài ------------------------------------------------------- 2 1.4 Mục đích nghiên cứu ------------------------------------------------------------ 3 1.5 Đối tượng và phạm vi nghiên cứu --------------------------------------------- 4 1.6 Những đóng góp của luận án --------------------------------------------------- 4 1.6.1 Đóng góp về mặt lý thuyết --------------------------------------------- 4 1.6.2 Đóng góp về mặt thực tiễn --------------------------------------------- 5 1.7 Cấu trúc nội dung của luận án-------------------------------------------------- 5 1.8 Kết luận chương 1 --------------------------------------------------------------- 6 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT ....................................................................... 7 2.1 Tín hiệu điện não EEG ---------------------------------------------------------- 7 2.1.1 Giới thiệu về tín hiệu điện não EEG ------------------------------------ 7 2.2.2 Các loại thiết bị thu nhận tín hiệu điện não EEG -------------------- 10 2.2.3 Các dạng sóng cơ bản của tín hiệu điện não EEG ------------------- 13 2.2 Ý nghĩa vị trí các điện cực trên thiết bị EEG-------------------------------- 16 2.3 Các phương pháp trích đặc điểm tín hiệu------------------------------------ 19 2.3.1 Biến đổi Fourier --------------------------------------------------------- 20 Trang iii
2.3.2 Biến đổi Wavelet ------------------------------------------------------- 20 2.3.3 Biến đổi HHT (Hilbert Huang Transform) -------------------------- 23 2.4 Gom cụm dữ liệu ---------------------------------------------------------------- 29 2.5 Mô hình mạng Neural ---------------------------------------------------------- 31 2.5.1 Cấu trúc mạng Neural -------------------------------------------------- 31 2.5.2 Thuật toán huấn luyện mạng ------------------------------------------ 33 2.6 Kết luận chương 2 -------------------------------------------------------------- 34 CHƯƠNG 3 XÂY DỰNG MÔ HÌNH HỆ THỐNG ĐIỀU KHIỂN ................... 35 3.1 Mô hình mạng Neural đơn lớp ------------------------------------------------ 35 3.1.1 Quá trình tiền xử lý ----------------------------------------------------- 36 3.1.2 Mạng Neural đơn lớp -------------------------------------------------- 39 3.1.3 Kết quả thực nghiệm với mô hình mạng Neural đơn lớp --------- 40 3.2 Mô hình mạng Neural đa lớp -------------------------------------------------- 42 3.2.1 Quá trình tiền xử lý ----------------------------------------------------- 45 3.2.2 Mô hình mạng Neural đa lớp------------------------------------------ 46 3.2.3 Kết quả thực nghiệm với mô hình mạng Neural đa lớp ----------- 49 3.3 Thiết kế mô hình tổng hợp xử lý tín hiệu ------------------------------------ 52 3.3.1 Khối nhận dạng tín hiệu EEG ----------------------------------------- 53 3.3.2 Khối nhận dạng tín hiệu hướng mắt ---------------------------------- 54 3.3.3 Mô hình mạng Neural đa lớp lan truyền ngược -------------------- 55 3.3.4 Kết quả thực nghiệm với mô hình tổng hợp đã thiết kế ----------- 56 3.3.5 Dữ liệu thực nghiệm với mô hình điều khiển xe lăn đã xây dựng 59 3.3.6 Chọn tập dữ liệu và kết quả thực nghiệm --------------------------- 59 3.4 Kết luận chương 3 -------------------------------------------------------------- 62 CHƯƠNG 4 XÂY DỰNG PHẦN MỀM VÀ PHẦN CỨNG CHO HỆ THỐNG ĐIỀU KHIỂN XE LĂN MÔ HÌNH ..................................................................... 63 4.1 Chức năng phần mềm điều khiển xe lăn ------------------------------------- 63 4.1.1 Đăng nhập hệ thống ---------------------------------------------------- 63 4.1.2 Huấn luyện điều khiển xe lăn ----------------------------------------- 64 4.1.3 Điều khiển xe lăn ------------------------------------------------------- 66 4.1.4 Xem đồ thị dữ liệu ------------------------------------------------------ 69 Trang iv
4.2 Các công việc phần mềm đảm nhận ------------------------------------------ 69 4.2.1 Thu nhận dữ liệu -------------------------------------------------------- 70 4.2.2 Trích đặc điểm dữ liệu ------------------------------------------------- 71 4.2.3 Gom cụm dữ liệu ------------------------------------------------------- 71 4.2.4 Mạng neural đa lớp lan truyền ngược -------------------------------- 71 4.2.5 Xử lý ảnh thông qua Camera ------------------------------------------ 71 4.3 Hệ thống phần cứng ------------------------------------------------------------ 72 4.3.1 Bảng quan sát ----------------------------------------------------------- 72 4.3.2 Xe lăn mô hình ---------------------------------------------------------- 73 4.3.3 Thiết bị Emotiv --------------------------------------------------------- 76 4.4 Các bước tiến hành thực nghiệm --------------------------------------------- 78 4.4.1 Quá trình huấn luyện người tham gia điều khiển------------------- 78 4.4.2 Điều khiển xe lăn ------------------------------------------------------- 79 4.5 Lựa chọn nhóm tham gia quá trình đánh giá hệ thống --------------------- 79 4.6 Kết quả thực nghiệm cho 2 phương án sử dụng EEG và Camera -------- 79 4.7 Kết luận chương 4 -------------------------------------------------------------- 80 CHƯƠNG 5 KẾT LUẬN VÀ KIẾN NGHỊ ........................................................ 81 5.1 Kết luận -------------------------------------------------------------------------- 81 5.2 Kiến nghị ------------------------------------------------------------------------- 83 TÀI LIỆU THAM KHẢO ................................................................................. 86 Trang v
DANH MỤC VÀ CHỮ VIẾT TẮT Viết Stt Tiếng Việt Tiếng Anh tắt 1 ANN Mạng neural nhân tạo Artificial neural network Điều khiển thiết bị 2 BCI Brain Computer Interfaces bằng suy nghĩ. 3 CSDL Cơ sở dữ liệu Database 4 EEG Tín hiệu điện não Electroencephalographic Phân tích theo kinh 5 EMD Empirical Mode Decomposition nghiệm 6 FFT Biến đổi Fourier nhanh Fast Fourier Transform Biến đổi Hilbert – Hilbert Huang Transform 7 HHT Huang 8 HT Biến đổi Hilbert Hilbert Transform 9 IMF Hàm bản chất Intrinsic Mode Function Phân tích di biệt tuyến 10 LDA Linear Discriminant Analysis tính 11 PSD Mật độ phổ công suất Power Spectral Density 12 RMS Giá trị hiệu dụng Root Mean Square 13 SNR Tỉ lệ nhiễu tín hiệu Signal to Noise Ratio 14 SQL Ngôn ngữ truy vấn Structured Query Language 15 SV Sinh viên Student Thuật toán học máy có 16 SVM Support Vector Machines giám sát 17 TNV Tình nguyện viên Volunteer 18 WT Biến đổi Wavelet Wavelet Transform Trang vi
DANH MỤC HÌNH Hình 2. 1 Thu nhận tín hiệu điện não EEG -------------------------------------------- 7 Hình 2. 2 Vị trí các điện cực theo chuẩn 10-20 --------------------------------------- 8 Hình 2. 3 Nhà tâm thần học Hans Berger --------------------------------------------- 10 Hình 2. 4 Sản phẩm của NeuroScan --------------------------------------------------- 11 Hình 2. 5 Sản phẩm của Brain Products ---------------------------------------------- 11 Hình 2. 6 Sản phẩm của BioSemi ------------------------------------------------------ 12 Hình 2. 7 Sản phẩm của EGI ----------------------------------------------------------- 12 Hình 2. 8 Sản phẩm của Emotiv-------------------------------------------------------- 13 Hình 2. 9 Dạng sóng Delta -------------------------------------------------------------- 14 Hình 2. 10 Dạng sóng Theta ------------------------------------------------------------ 14 Hình 2. 11 Dạng sóng Alpha ----------------------------------------------------------- 15 Hình 2. 12 Dạng sóng Beta ------------------------------------------------------------- 15 Hình 2. 13 Dạng sóng Gamma --------------------------------------------------------- 16 Hình 2. 14 Vị trí 5 thùy vỏ não --------------------------------------------------------- 16 Hình 2. 15 Tên và vị trí các điện cực theo chuẩn quốc tế 10/20 ------------------- 18 Hình 2. 16 Các dạng hàm Wavelet----------------------------------------------------- 21 Hình 2. 17 Tín hiệu EEG được phân tích thành 3 thành phần --------------------- 22 Hình 2. 18 Tín hiệu được biến đổi Wavelet dạng ảnh------------------------------- 22 Hình 2. 19 Tín hiệu được biến đổi Wavelet dạng ảnh------------------------------- 23 Hình 2. 20 Lưu đồ giải thuật EMD ---------------------------------------------------- 25 Hình 2. 21 Tín hiệu EEG cần phân tích ----------------------------------------------- 26 Hình 2. 22 Tín hiệu được phân tích thành IMF1 ------------------------------------- 26 Hình 2. 23 Tín hiệu được phân tích thành IMF2 ------------------------------------- 27 Hình 2. 24 Tín hiệu được phân tích thành IMF3 ------------------------------------- 27 Hình 2. 25 Tín hiệu được phân tích thành IMF4 ------------------------------------- 27 Hình 2. 26 Tín hiệu được phân tích thành IMF5 ------------------------------------- 27 Hình 2. 27 Tín hiệu được phân tích thành IMF6 ------------------------------------- 27 Hình 2. 28 Tín hiệu được phân tích thành IMF7 ------------------------------------- 28 Hình 2. 29 Tín hiệu được phân tích thành IMF8 ------------------------------------- 28 Trang vii
Hình 2. 30 Tín hiệu được phân tích thành IMF9 ------------------------------------- 28 Hình 2. 31 Tín hiệu được phân tích thành IMF10 ----------------------------------- 28 Hình 2. 32 Tín hiệu được phân tích thành IMF11 ----------------------------------- 28 Hình 2. 33 Tín hiệu được phân tích thành IMF12 ----------------------------------- 28 Hình 2. 34 Một kênh tín hiệu EEG được biến đổi thành các dạng sóng cơ bản - 29 Hình 2. 35 Mô tả gom cụm dữ liệu ---------------------------------------------------- 29 Hình 2. 36 Mô hình mạng Neural đơn lớp có 2 nút nhập --------------------------- 32 Hình 2. 37 Mô hình mạng Neural đa lớp. --------------------------------------------- 33 Hình 3. 1 Mô hình hệ thống------------------------------------------------------------- 36 Hình 3. 2 Quá trình tiền xử lý ---------------------------------------------------------- 36 Hình 3. 3 Sóng con dạng hình nón Mêhicô ------------------------------------------- 37 Hình 3. 4 Tín hiệu EEG ghi nhận được ----------------------------------------------- 38 Hình 3. 5 Một kênh tín hiệu được xử lý bằng biến đổi sóng con ------------------ 38 Hình 3. 6 Mô hình mạng Neural ------------------------------------------------------- 39 Hình 3. 7 Phân lớp kết quả nhận dạng ------------------------------------------------ 40 Hình 3. 8 Giản đồ thời gian thu nhận cho một khung hình ------------------------- 41 Hình 3. 9 Phân loại hình ảnh thành 05 lớp -------------------------------------------- 43 Hình 3. 10 Lệnh điều khiển tương ứng ------------------------------------------------ 44 Hình 3. 11 Mô hình hệ thống ----------------------------------------------------------- 44 Hình 3. 12 Thuật toán K-Means -------------------------------------------------------- 46 Hình 3. 13 Mô hình mạng Neural đa lớp---------------------------------------------- 46 Hình 3. 14 Thuật toán huấn luyện mạng Neural ------------------------------------- 47 Hình 3. 15 Kiến trúc hệ thống ---------------------------------------------------------- 53 Hình 3. 16 Phát hiện mắt và lông mày ------------------------------------------------ 54 Hình 3. 17 Tâm đồng tử, phân đoạn ảnh mắt và lông mày ------------------------- 54 Hình 3. 18 Tỷ lệ mắt trái và lông mày trái -------------------------------------------- 54 Hình 3. 19 Tỷ lệ mắt phải và lông mày phải ----------------------------------------- 55 Hình 3. 20 Tỷ lệ tâm đồng tử và chiều dài mắt -------------------------------------- 55 Hình 3. 21 Mô hình mạng Neural ------------------------------------------------------ 56 Hình 3. 22 Hệ thống phần cứng và phần mềm --------------------------------------- 57 Trang viii
Hình 3. 23 Xe lăn mô hình -------------------------------------------------------------- 57 Hình 3. 24 Bảng quan sát --------------------------------------------------------------- 58 Hình 3. 25 Thiết bị Emotiv EPOC+ --------------------------------------------------- 58 Hình 3. 26 So sánh kết quả thực nghiệm trên 2 tín hiệu riêng biệt ---------------- 62 Hình 4. 1 Giao diện đăng nhập hệ thống ---------------------------------------------- 64 Hình 4. 2 Sinh viên tham gia điều khiển xe ------------------------------------------ 64 Hình 4. 3 Bảng quan sát ----------------------------------------------------------------- 66 Hình 4. 4 Giao diện huấn luyện -------------------------------------------------------- 66 Hình 4. 5 Giao diện điều khiển --------------------------------------------------------- 67 Hình 4. 6 Tín hiệu điều kiển “Chạy tới” ---------------------------------------------- 67 Hình 4. 7 Tín hiệu điều khiển “Chạy lùi” --------------------------------------------- 68 Hình 4. 8 Tín hiệu điều khiển “Dừng” ------------------------------------------------ 68 Hình 4. 9 Tín hiệu điều khiển “Quay trái” -------------------------------------------- 68 Hình 4. 10 Tín hiệu điều khiển “Quay phải” ----------------------------------------- 69 Hình 4. 11 Giao diện xem từng kênh tín hiệu điện não EEG ---------------------- 69 Hình 4. 12 Mô hình hệ thống lưu trữ dữ liệu trên Websever ----------------------- 70 Hình 4. 13 Một kênh tín hiệu EEG được biến đổi thành các dạng sóng cơ bản - 71 Hình 4. 14 Mô hình mạng neural đa lớp ---------------------------------------------- 71 Hình 4. 15 Các thiết bị phần cứng ----------------------------------------------------- 72 Hình 4. 16 Bảng quan sát --------------------------------------------------------------- 73 Hình 4. 17 Camera Logitech C615 ---------------------------------------------------- 73 Hình 4. 18 Xe lăn mô hình -------------------------------------------------------------- 74 Hình 4. 19 Sơ đồ nguyên lý mạch điện------------------------------------------------ 75 Hình 4. 20 Lưu đồ giải thuật điều khiển xe ------------------------------------------- 76 Hình 4. 21 Nón EPOC+ ----------------------------------------------------------------- 77 Hình 4. 22 Máy tính giao tiếp với 2 thiết bị thông qua bluetooth ----------------- 77 Hình 5. 1 Mô hình tổng hợp đề tài ----------------------------------------------------- 83 Hình 5. 2 Xe lăn điều khiển bằng tín hiệu EEG -------------------------------------- 84 Hình 5. 3 Khảo sát khách hàng bằng tín hiệu EEG ---------------------------------- 84 Trang ix
DANH MỤC BẢNG Bảng 2. 1 Chức năng của thùy vỏ não – [52] 16 Bảng 2. 2 Ý nghĩa vị trí các điện cực [53] 18 Bảng 2. 3 Bảng so sánh giữa biến đổi Fourier, Wavelet và HHT [58][70][71] 26 Bảng 3. 1 Kết quả thực nghiệm trên dữ liệu kiểm tra 41 Bảng 3. 2 Mô tả các lệnh điều khiển 43 Bảng 3. 3 Kết quả thực nghiệm 50 Bảng 3. 4 Ma trận nhầm lẫn của kết quả phân loại 50 Bảng 3. 5 Kết quả thực nghiệm 51 Bảng 3. 6 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm tra thứ nhất59 Bảng 3. 7 Kết quả thực nghiệm trên tập dữ liệu kiểm tra thứ nhất 60 Bảng 3. 8 Ma trận nhầm lẫn của kết quả phân loại tập dữ liệu kiểm tra thứ hai 60 Bảng 3. 9 Kết quả thực nghiệm trên tập dữ liệu kiểm tra thứ hai 60 Bảng 3. 10 Kết quả thực nghiệm trên tín hiệu hướng mắt 61 Bảng 3. 11 Kết quả thực nghiệm trên tín hiệu EEG 61 Bảng 3. 12 Kết quả thực nghiệm của 3 phương pháp nhận dạng 61 Bảng 4. 1 Thông số kỹ thuật của xe lăn mô hình 74 Bảng 4. 2 Câu lệnh điều khiển xe 78 Bảng 4. 3 Thời gian tiến hành thực nghiệm đánh giá hệ thống 79 Bảng 4. 4 Tổng hợp kết quả nhận dạng của 3 nhóm 80 Trang x
MỞ ĐẦU Nghiên cứu tín hiệu điện não là một trong những lĩnh vực được quan tâm của nhiều nhà khoa học hiện nay, với mục đính là phát triển ứng dụng hỗ trợ, phát hiện bệnh lý con người như stress, trầm cảm [1][2][3]…, chuẩn đoán bệnh (động kinh, alzheimer – hội chứng suy giảm trí nhớ, chấn thương não), tuy nhiên trong lĩnh vực điều khiển tự động phục vụ cho con người, đặc biệt là người khuyết tật chưa được nghiên cứu nhiều. Trước đây, việc đọc tín hiệu điện não đồ hay điện tim đồ là công việc của các bác sĩ chuyên khoa thần kinh hay tim mạch, thì ngày nay với sự phát triển của các công cụ phân tích và xử lý tín hiệu hiện đại như mạng neural hay hệ thống AI các loại tín hiệu như thế có thể được xử lý để đưa ra những thông tin phục vụ cho các yêu cầu khác, như để điều khiển hỗ trợ hoạt động của con người. Vì vậy mục tiêu của luận án là xây dựng được hệ thống hỗ trợ điều khiển một số hoạt động cơ bản của con người thông qua tín hiệu điện não, ví dụ như điều khiển chuyển động của xe lăn cho người tàn tật mất khả năng hoạt động tay chân, có thể đáp ứng nhu cầu xã hội bức thiết hiện nay.. Nghiên cứu đã phân tích ba phương pháp tiền xử lý tín hiệu từ EEG, dùng biến đổi Fourier, phép biến đổi Wavelet, thuật toán HHT (Hilbert Huang Transform), để biến đối thành 5 dạng sóng cơ bản Delta, Theta, Alpha, Beta, Gamma, sau đó sử dụng kỹ thuật gom cụm dữ liệu trước khi đưa vào mạng neuron để phân loại thành 5 tín hiệu mong muốn chuyển động. Các mạng reuron được thử nghiệm từ mạng đơn lớp đến mạng đa lớp cụ thể trong luận án này là 3 lớp. Hệ thống xử lý tín hiệu EEG bằng tiền xử lý HHT dùng mạng neural cùng với camera được thử nghiệm trên mô hình thực tế điều khiển xe lăn đã cho những kết quả chính xác tốt nhất đến 92,4% đối với nhóm 20 người được chọn cho thực nghiệm. Điều này thể hiện thành công về ý nghĩa thực tiễn của luận án. Trang xi
ABSTRACT Nowadays, EEG signal, one of the most important field was interested by science researchers, the main purpose research is support applications devlepment, diagnose and find out pathological of human as stress, depression, epileptic, alzheimer, brain trauma…, however, in the field of automatic control serving for human, especially for disabilities people, has not been studied so much. For long time ago, recording and processing the EEGs or ECGs signal was the work of neurologists or cardiologists. Nowadays, with the development of modern signal processing and analysis tools such as neural networks and AI systems, such signals can be processed to meet the other needs, such as the control system support human acitivites.The goal of this thesis is to build a control system, which support some basic human activities through EEG signal. For example, wheelchair equipement control for disabled people, meet today’s pressing social needs. The author researched and analyzed three EEG signal pre-processing methods as using Fourier transform, Wavelet transform and HHT transform, converting EEG signal to 5 basic waves (Delta, Theta, Alpha, Beta, Gamma), and then using data clustering technical before put them into input layer of multi neural network. The neural network was test from single to multi layer (3 layer). The EEG signal processing system with HHT pre-processing and image processing using multi neural network to control the wheelchair model with accuracy rate 92.4% for group 20 students, this shows the successful in the practical of the thesis. Trang xii
CHƯƠNG 1 TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO Tóm tắt chương 1 Trong chương này tác giả trình bày khái quát tình hình nghiên cứu tín hiệu điện não EEG trong và ngoài nước, những ứng dụng đã đạt được hiện nay, phân tích những vấn đề chưa được giải quyết, còn hạn chế, mà trong luận án cần giải quyết, ngoài ra tác giả cũng trình bày mục đích và phạm vi nghiên cứu, những đóng góp của luận án trong thực tiễn. 1.1 Tình hình nghiên cứu trong nước Cho đến thời điểm hiện nay, các công trình nghiên cứu về lĩnh vực điện não ứng dụng trong kỹ thuật điều khiển ở nước ta không nhiều và chỉ dừng lại ở mức độ nghiên cứu cơ bản như nghiên cứu hoạt động chớp mắt ảnh hưởng như thế nào đối với tín hiệu điện não [4], lọc nhiễu tín hiệu điện não EEG [5] trong ứng dụng nhận diện trạng thái điện não, trong các công trình nghiên cứu này, đối tượng thu nhận tín hiệu điện não là dạng hoạt động cơ nên việc phát hiện và phân loại được thực hiện bằng phương pháp ngưỡng biên độ. Một nghiên cứu khác đó là lý thuyết về tín hiệu điện não liên quan đến vận động chi trên [6], những nghiên cứu này được thực hiện trên lý thuyết và kết quả nghiên cứu chỉ ra có mối liên hệ giữa việc vận động và tưởng tượng vận động liên quan đến các hoạt động của thần kinh, một công trình nghiên cứu về lọc nhiễu tín hiệu điện não EEG… qua đây cho thấy việc nghiên cứu về tín hiệu điện não ứng dụng trong điều khiển tự động ở nước ta là chưa có, qua tìm hiểu một số công trình đã công bố và trang web ở các trường đại học danh tiếng trong nước cũng không có đề tài nào liên quan đến tín hiệu điện não trong điều khiển gần đây được công bố. 1.2 Tình hình nghiên cứu ngoài nước Hiện nay các công trình nghiên cứu được công bố trên các bài báo và tạp chí nước ngoài tập trung nghiên cứu chủ yếu vào phương pháp trích đặc điểm tín hiệu điện não offline, trạng thái tín hiệu điện não được hiện hữu thường xuyên như stress, trầm cảm, động kinh [2][3]…, mà chưa quan tâm nhiều đến trích đặc điểm online, thời điểm xuất hiện tín hiệu và thời gian tồn tại của tín hiệu. Trang 1
Theo [7][8] trong bất kỳ hoạt động nào của não bộ về một vấn đề nào đó nó đều có một đặc điểm riêng biệt được phản ánh thông qua các mẫu tín hiệu điện não mà ta thu nhận được, tuy nhiên việc trích được những đặc điểm này là điều không hề dễ dàng, chính vì thế trong thời gian gần đây để nhận dạng được đặc điểm của từng mẫu tín hiệu điện não, một số công việc được thực hiện phổ biến để trích xuất và phát hiện thời điểm thực hiện như: chuyển động đầu, cổ, chớp mắt…[11][12][13][14] những hoạt động này dễ dàng được phát hiện thông qua biên độ ngưỡng do tác động cơ. Các hoạt động khác như tập trung, sự chú ý, tư duy, tưởng tượng [15][16][17]…, hiện tượng trầm cảm, các bệnh lý như động kinh, đột quỵ… việc này đòi hỏi việc trích đặc điểm để nhận biết được sự kiện tương đối khó hơn so với vận động cơ do biên độ của nó không tăng đột biến [7][18], việc trích đặc điểm này đòi hỏi phải sử dụng các giải thuật để tìm được các đặc điểm như: phương pháp STFT, Wavelet Transform [19][20][21][22], nhưng do các hoạt động này có thời gian thực hiện kéo dài nên việc trích đặc điểm cũng tương đối thuận lợi [23][24][15][16]. Một công việc có thời gian hoạt động ngắn đó là quan sát và cảm nhận các đối tượng bên ngoài, công việc này đòi hỏi trong thời gian ngắn phải trích được đặc điểm của nó và đây chính là mấu chốt giải quyết của luận văn, trong các công bố tương tự việc nhận dạng thường ở trạng thái offline [17] để phân tích và nhận dạng mẫu tín hiệu. 1.3 Nội dung thực hiện đề tài Trong quá trình thực hiện luận án của mình, để đánh giá phương pháp nghiên cứu của mình, tác giả dựa vào cơ sở dữ liệu về tín hiệu điện não EEG có sẵn được cung cấp bởi trường Đại học San Diego (UCSD) có uy tín của Mỹ, xếp hạng thứ 38 trên thế giới năm 2018 [26][27], để xây dựng các giải thuật xử lý và nhận dạng các mẫu tín hiệu điện não, cơ sở dữ liệu này chứa tín hiệu điện não EEG thu nhận được khi con người nhìn vào các loại hình ảnh khác nhau sẽ có những đặc trưng tín hiệu điện não khác nhau. Sau khi đã đánh giá được tính khả thi của của việc nhận dạng mẫu tín hiệu thông qua mạng neural, tác giả tiến hành thu nhận 5 mẫu tín hiệu điện não thông qua việc quan sát 5 loại hình khác nhau trên bảng quan sát (con người, thành phố, phong cảnh, bông hoa và con vật), sau đó sử dụng những công cụ toán học để nâng cao độ chính xác quá trình xử lý và nhận dạng mẫu tín Trang 2
hiệu EEG như phương pháp trích đặc điểm Wavelet Transform, HHT [28][29][30] và các công thức tính toán tỉ lệ giữa tròng đen mắt, chân mày một cách hợp lý để có được kết quả chính xác thông qua xử lý hình ảnh, tính mới của luận án so với các công trình trước là tác giả mạnh dạn sử dụng nhận dạng mẫu tín hiệu EEG trực tuyến khi người dùng nhìn vào 5 loại hình ảnh khác nhau và kết hợp camera để tăng độ chính xác của giải thuật, ngoài ra trong khâu tiền xử lý tác giả kết hợp giữa trích đặc điểm HHT với giải thuật gom cụm dữ liệu giúp cho việc nhận dạng thông qua mạng neural được nhanh hơn sử dụng phương pháp khác như Wavelet Transform và giúp cho mạng Neural dễ hội tụ, tránh bị “overfitting”, làm việc hiệu quả và chính xác hơn. Việc thiết kế phần mềm thu thập tín hiệu điện não EEG và kỹ thuật xử lý ảnh cho hoạt động quan sát chuyển động mắt đã thể hiện tính khả thi của luận án khi áp dụng vào thực triển, một số các luận án trước đây liên quan đến việc hỗ trợ người khuyết tật như điều khiển bằng giọng nói, gậy thông minh cho người mù, các thiết bị cảm biến khác nhưng chưa có công trình nào trong nước cũng như ngoài nước thực hiện đầy đủ các nội dung trên. 1.4 Mục đích nghiên cứu Tìm ra phương thức thu nhận 5 mẫu tín hiệu điện não EEG một cách dễ dàng và hiệu quả. Phân loại tín hiệu điện não EEG thu nhận được khi con người nhìn vào các loại hình ảnh khác nhau. Nhận dạng được thời điểm xuất hiện mẫu tín hiệu điện não nhanh và chính xác phục vụ cho việc phân loại các mẫu tín hiệu để điều khiển xe lăn mô hình. Thiết kế thiết bị điều khiển xe lăn mô hình phục vụ cho người khuyết tật nặng sử dụng công nghệ điện não EEG và camera, kết quả luận án cho thấy rằng một người khuyết tật nặng, không thể tự mình di chuyển (nhưng còn minh mẫn và mắt hoạt động tốt) có thể điều khiển xe lăn theo ý muốn trong một phạm vi nào đó bằng việc sử dụng cảm nhận mắt của mình thông qua tín hiệu điện não EEG, ngoài ra sản phẩm của đề tài có yếu tố dễ sử dụng do có sự hỗ trợ của camera (được gắn trực tiếp trên bảng quan sát) giúp cho người chưa từng tham gia điều khiển xe lăn bằng tín hiệu điện não cũng có thể điều khiển được trong thời gian ngắn và dễ thực Trang 3
hiện, đây được xem là tiền đề giúp cho các công trình nghiên cứu sau kế thừa phát huy để tạo ra được các công trình nghiên cứu thật sự có ích trong cuộc sống. 1.5 Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu chính trong luận án này là sử dụng mạng neural để phân loại 5 mẫu tín hiệu điện não EEG thu nhận được thành các dạng lệnh điều khiển tương ứng với 5 lệnh điều khiển xe lăn chạy tới, chạy lui, quay phải, quay trái, dừng lại, trong luận án còn đề cập đến quá trình xử lý ảnh để phát hiện hướng mắt hổ trợ cho việc điều khiển xe được chính xác và hiệu quả hơn, tuy nhiên trong phần xử lý ảnh tác giả không tập trung nhiều mà chủ yếu phần tín hiệu điện não EEG. Trong phạm vi đề tài này tác giả chỉ tập trung về ý tưởng, học thuật và phương pháp phân loại các mẫu tín hiệu điện não EEG, xây dựng phần mềm ứng dụng để khiển xe lăn thực hiện như chạy tới, chạy lui, quay trái, quay phải và dừng lại (xe chỉ có thể xoay 1 góc 90o). Do việc viết phần mềm điều khiển hệ thống chỉ mang tính chất minh họa, với yêu cầu đạt được một số trọng điểm chính nên luận án bỏ qua quy trình kiểm thử phần mềm. Luận án không tập trung vào thời gian xử lý tín hiệu để phát hiện câu lệnh, tốc độ di chuyển, gia tốc, góc quay của xe, luận án cũng không tập trung nhiều vào phần xử lý ảnh để tìm ra vị trí hướng mắt vì đây là đề tài đã được thực hiện khá nhiều [31][32][33][34] và đạt được kết quả khả quan. Do vấn đề thiết kế xe lăn cho người tàn tật nặng thực tế khó khăn về kinh phí, thời gian thực hiện, mặt khác vấn đề nghiên cứu của luận án phần lớn tập trung vào xử lý và phần loại mẫu tín hiệu EEG online để điều khiều khiển xe lăn, do đó luận án sử dụng các đối là sinh viên trường Cao đẳng Công thương TP. HCM thực hiện, trong quá trình thực nghiệm thu nhận tín hiệu điện não các em sinh viên chỉ sử dụng mắt và suy nghĩ của mình, do đó về bản chất luận án vẫn đảm bảo tính khoa học. 1.6 Những đóng góp của luận án 1.6.1 Đóng góp về mặt lý thuyết Xây dựng được mô hình mạng Neural phân loại được 5 dạng mẫu tín hiệu điện não EEG khi con người nhìn vào 5 loại hình ảnh khác nhau. Tìm ra được bảng Trang 4
quan sát phù hợp và đơn giản để thu thập dữ liệu, kết hợp một cách khoa học giữa giải thuật trích đặc điểm và gom cụm dữ liệu trước khi đưa vào mạng neural để phân loại từng mẫu dữ liệu, chứng minh được rằng việc áp dụng kỹ thuật công nghệ về tín hiệu điện não EEG có rất nhiều ứng dụng hữu ích trong cuộc sống, không chỉ ứng dụng trong y sinh mà còn trong lĩnh vực điều khiển tự động, và đây là lĩnh vực nghiên cứu mới giúp cho các bạn sinh viên Đại học và Sau đại học có thể nghiên cứu cho luận văn tốt nghiệp của mình. 1.6.2 Đóng góp về mặt thực tiễn Luận án cho thấy kết quả nghiên cứu này hoàn toàn có thể áp dụng cho người tàn tật nặng không thể tự mình di chuyển, có thể điều khiển xe lăn theo ý muốn (người tàn tật nặng ở đây là người không thể tự di chuyển bằng chân tay của mình, nhưng đầu óc còn minh mẫn và mắt hoạt động như người bình thường), đây là bước đầu tiên giúp cho các công trình sau kế thừa phát huy để tạo ra được các công trình nghiên cứu hữu ích trong cuộc sống dựa vào công nghệ tín hiệu điện não EEG. 1.7 Cấu trúc nội dung của luận án Cấu trúc của luận án bao gồm 3 phần: Tổng quan (chương 1, 2), nội dung nghiên cứu (chương 3, 4, 5), kết luận và kiến nghị (chương 6). Các chương trong luận án được tóm tắt như sau: Chương 1: Tổng quan – Trình bày khái quát tình hình nghiên cứu tín hiệu điện não EEG trong và ngoài nước, những ứng dụng đã đạt được hiện nay, phân tích những vấn đề chưa được giải quyết, còn hạn chế, mà trong luận án cần giải quyết, ngoài ra tác giả cũng trình bày mục đích và phạm vi nghiên cứu, những đóng góp của luận án trong thực tiễn. Chương 2: Cơ sở lý thuyết – Trình bày những kiến thức cơ bản liên quan đến luận án từ việc giới thiệu sơ bộ về kiến thức tín hiệu điện não EEG, các phương pháp, kỹ thuật trích đặc điểm tín hiệu như : Fourier, Wavelet Transform, HHT…, gom cụm dữ liệu, đến việc phân loại các đặc tính từng mẫu tín hiệu bằng mạng neural đa lớp, kỹ thuật xử lý ảnh để trích đặc điểm hướng mắt, đây là những kiến thức cơ bản cần có để nghiên cứu phát triển các thuật toán xử lý và thực hiện nội dung của luận án. Trang 5
Chương 3: Xây dựng mô hình – Trình bày quá trình xây dựng mạng neural đa lớp, được tiến hành từng bước từ việc phân loại 2 mẫu tín hiệu đến phân loại 5 mẫu tín hiệu. Trong chương này cũng trình bày về kỹ thuật xử lý tín hiệu điện não kết hợp với xử lý ảnh thông qua camera. Mỗi kết quả nghiên cứu đều có các công trình nghiên cứu được đăng trên các bài báo, tạp chí quốc tế. Chương 4: Xây dựng phần mềm và phần cứng điều khiển xe lăn – Trong chương này trình bày quá trình thiết kế phần mềm, các chức năng của phần mềm được thiết kế, những hướng dẫn cho người sử dụng đã hoặc chưa từng điều khiển xe lăn làm quen với việc điều khiển và quá trình điều khiển xe lăn. Các công việc mà phần mềm đảm nhận như: kết nối server, quá trình thu nhận tín hiệu, trích đặc điểm, gom cụm và mạng neural đa lớp phân loại các mẫu tín hiệu. Ngoài ra phần mềm còn đảm nhận việc xử lý ảnh từ camera để phát hiện sự di chuyển của hướng mắt kết hợp với việc xử lý tín hiệu điện não EEG để đưa ra kết quả cuối cùng. Trình bày các bước thực nghiệm để đánh giá kết quả quá trình thực hiện luận án, so sánh kết quả thực hiện giữa 2 phương pháp riêng biệt đó là tín hiệu điện não và xử lý ảnh và cuối cùng là sự kết hợp giữa 2 phương pháp trên để cho kết quả sau cùng. Mục đích trong lần thực nghiệm này là đánh giá lại toàn bộ hoạt động của hệ thống phần mềm. Chương 5: Kết luận và kiến nghị – Chương này đánh giá kết quả đạt được so với yêu cầu của luận án và đề xuất hướng phát triển của đề tài đề ngày càng hoàn thiện hơn. 1.8 Kết luận chương 1 Trong chương này tác giả trình bày tổng quan về tín hiệu điện não EEG, mục đích nghiên cứu, những đóng góp của luận án về mặt lý thuyết cũng như thực tiễn. Trong chương 2 tác giả sẽ trình bày về các phương pháp trích đặc điểm tín hiệu cũng như lý thuyết về mạng neural đa lớp và các kiến thức khác liên quan đến luận án. Trang 6