Khoá luận tốt nghiệp ngành Kỹ thuật y sinh: Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:107

Thêm vào BST

Báo xấu

14
lượt xem 9
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu nghiên cứu của đề tài "Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập" nhằm nghiên cứu mối quan hệ giữa vận động tay với não bộ. Cụ thể, nhóm sẽ phân biệt tín hiệu gập duỗi khuỷu tay trái và phải từ tín hiệu điện não dựa vào mạng nơ-ron tích chập (CNN). Sau đó, nhóm sẽ thiết kế phần mềm có khả năng đọc dữ liệu, tiền xử lý và phân loại tín hiệu dựa vào phần mềm Matlab.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Khoá luận tốt nghiệp ngành Kỹ thuật y sinh: Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập

BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH --------------------------------- KHÓA LUẬN TỐT NGHIỆP NGÀNH KỸ THUẬT Y SINH ĐỀ TÀI: THIẾT KẾ VÀ XÂY DỰNG PHẦN MỀM ĐỂ PHÂN TÍCH VÀ PHÂN LOẠI VẬN ĐỘNG TAY TRÁI/PHẢI CỦA CON NGƯỜI QUA TÍN HIỆU ĐIỆN NÃO ĐỒ VÀ ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP GVHD: ThS. Trần Đăng Khoa SVTH 1: Trần Thị Hậu MSSV: 18129018 SVTH 2: Vũ Thị Minh MSSV: 18129034 Tp. Hồ Chí Minh - 06/2022
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH --------------------------------- KHÓA LUẬN TỐT NGHIỆP NGÀNH KỸ THUẬT Y SINH ĐỀ TÀI: THIẾT KẾ VÀ XÂY DỰNG PHẦN MỀM ĐỂ PHÂN TÍCH VÀ PHÂN LOẠI VẬN ĐỘNG TAY TRÁI/PHẢI CỦA CON NGƯỜI QUA TÍN HIỆU ĐIỆN NÃO ĐỒ VÀ ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP GVHD: ThS. Trần Đăng Khoa SVTH 1: Trần Thị Hậu MSSV: 18129018 SVTH 2: Vũ Thị Minh MSSV: 18129034 Tp. Hồ Chí Minh - 06/2022 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH iii
TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ Độc lập - Tự do - Hạnh phúc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH Tp. HCM, ngày 21 tháng 4 năm 2022 NHIỆM VỤ KHÓA LUẬN TỐT NGHIỆP Họ tên sinh viên: Trần Thị Hậu MSSV: 18129018 Vũ Thị Minh MSSV: 18129034 Chuyên ngành: Kỹ thuật Y Sinh Mã ngành: 01 Hệ đào tạo: Đại học chính quy Mã hệ: 1 Khóa: 2018 Lớp: 181290B I. TÊN ĐỀ TÀI: THIẾT KẾ VÀ XÂY DỰNG PHẦN MỀM ĐỂ PHÂN TÍCH VÀ PHÂN LOẠI VẬN ĐỘNG TAY TRÁI/PHẢI CỦA CON NGƯỜI QUA TÍN HIỆU ĐIỆN NÃO ĐỒ VÀ ỨNG DỤNG MẠNG NƠ-RON TÍCH CHẬP II. NHIỆM VỤ 1. Các số liệu ban đầu: - Ngôn ngữ lập trình sử dụng: Matlab - Phần mềm huấn luyện: Matlab 2019 - Tập dữ liệu: Dữ liệu EEG về 2 dạng gập duỗi khuỷu tay trái/phải thu từ các tình nguyện viên thuộc Đại học Sư Phạm Kỹ Thuật thành phố Hồ Chí Minh trong độ tuổi từ 20-22 - Thiết bị thu dữ liệu: Emotiv Flex 32 kênh - Phần mềm thu dữ liệu: EmotivPRO 2. NỘI DUNG thực hiện: - Đọc và tìm hiểu tài liệu liên quan đến đề tài - Xây dựng giao thức thí nghiệm - Tiến hành thu dữ liệu - Đánh giá chất lượng tín hiệu thô - Tiền xử lý tín hiệu - Trích đặc trưng của dữ liệu - Phân loại tín hiệu vận động của tay trái/phải - Xây dựng phần mềm nhận diện vận động tay trái/phải BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH iv
III. NGÀY GIAO NHIỆM VỤ: 25/02/2022 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 15/06/2022 V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: ThS. Trần Đăng Khoa CÁN BỘ HƯỚNG DẪN BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH v
TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ Độc lập - Tự do - Hạnh phúc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH Tp. Hồ Chí Minh, ngày 12 tháng 3 năm 2022 LỊCH TRÌNH THỰC HIỆN KHÓA LUẬN TỐT NGHIỆP (Bản lịch trình này được đóng vào đồ án) Họ tên sinh viên: Trần Thị Hậu MSSV: 18129018 Họ tên sinh viên: Vũ Thị Minh MSSV: 18129034 Lớp: 181290B Tên đề tài: Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập Xác nhận Tuần/ngày NỘI DUNG GVHD - Gặp GVHD để nghe phổ biến yêu cầu làm đề Tuần 27 tài, tiến hành chọn đề tài. (25/2 - 27/2) - GVHD tiến hành xét duyệt đề tài. - Đọc hiểu tài liệu điện não và phương pháp Tuần 28 xử lý tín hiệu liên quan tới các vận động tay (28/2 - 6/3) - Viết đề cương KLTN và nộp cho GVHD xét duyệt - Thu thập, phân loại và tổng hợp các bài báo tài liệu nghiên cứu Tuần 29 - Nộp đề cương KLTN cho BM (7/3- 13/3) - Lên lịch trình thực hiện KLTN và nộp cho GVHD - Thu thập các dữ liệu về tín hiệu tay Tuần 30 - Cắt và sắp xếp dữ liệu phù hợp với mạng (14/3- 20/3) CNN BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH vi
- Áp dụng mạng CNN phân tích dữ liệu đã cắt Tuần 31 và sắp xếp (21/3 - 27/3) - Đánh giá khả năng phân tích dữ liệu của mạng CNN khi xử lý tín hiệu thô - Thực hành tiền xử lý tín hiệu điện não sử dụng các bộ lọc trên phần mềm Tuần 32 - Tìm hiểu và thực nghiệm phần mềm phân (28/3- 3/4) tích tín hiệu điện não và các thuật toán liên quan - Sắp xếp, phân tích cấu trúc và dữ liệu điện não về vận động tay trái/phải Tuần 33 - Lập trình/ứng dụng phần mềm vào việc thu (4/4- 10/4) nhận, tiền xử lý, trích đặc trưng và phân loại tín hiệu điện não - Tiến hành lấy và lưu trữ kết quả tiền xử lý Tuần 34 tín hiệu điện não kèm theo chú thích, mô tả (11/4-17/4) và phân tích - Tiến hành trích đặc trưng và phân loại dữ liệu điện não về vận động tay trái/phải, kèm Tuần 35 theo chú thích, mô tả, phân tích và đánh giá (18/4-24/4) kết quả - Viết báo cáo tiến độ cho BM - Tiếp tục trích đặc trưng và phân loại dữ liệu điện não về vận động tay trái/phải, kèm theo Tuần 36 chú thích, mô tả, phân tích và đánh giá kết (25/4-1/5) quả - Tìm hiểu và vận dụng các phần mềm phân tích, thống kê dữ liệu trong khoa học BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH vii
- Nộp báo cáo tiến độ cho BM - Tiếp tục trích đặc trưng và phân loại dữ liệu điện não về vận động tay trái/phải, kèm theo Tuần 37 chú thích, mô tả, phân tích và đánh giá kết (2/5-8/5) quả - Tìm hiểu và vận dụng các phần mềm phân tích, thống kê dữ liệu trong khoa học - Tiếp tục trích đặc trưng và phân loại dữ liệu Tuần 38 điện não về vận động tay trái/phải, kèm theo chú thích, mô tả, phân tích và đánh giá kết (9/5-15/5) quả - Tìm hiểu và vận dụng các phần mềm phân tích, thống kê dữ liệu trong khoa học - Ứng dụng phần mềm cho việc tổng hợp và Tuần 39 thống kê tất cả kết quả phân loại dữ liệu điện (16/5-22/5) não Tuần 40 - Viết báo cáo KLTN (23/5 - 29/5) - Thiết kế bài thuyết trình Powerpoint Tuần 41 - Chỉnh sửa báo cáo KLTN (30/5 - 5/6) - Chỉnh sửa Powerpoint thuyết trình Tuần 42 - Tập dợt thuyết trình để bảo vệ (6/6- 12/6) - Chỉnh sửa báo cáo KLTN Tuần 43 - Nộp quyển KLTN cho BM (13/6- 19/6) Tuần 44 - Bảo vệ KLTN (20/6- 25/6) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH viii
GV HƯỚNG DẪN (Ký và ghi rõ họ và tên) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH ix
LỜI CAM ĐOAN Đề tài này là do nhóm của chúng tôi tự thực hiện dựa vào các tài liệu trước đó và không sao chép đề tài đã có trước đó. Người thực hiện đề tài Trần Thị Hậu Vũ Thị Minh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH x
LỜI CẢM ƠN Em xin gửi lời cảm ơn đến Thầy Trần Đăng Khoa - Giảng viên hướng dẫn khóa luận tốt nghiệp đã trực tiếp hướng dẫn và tạo điều kiện tốt nhất để giúp chúng em có thể hoàn thành tốt đề tài. Em xin chân thành cảm ơn đến các thầy cô trong Khoa Điện - Điện Tử đã giúp đỡ và tạo những điều kiện tốt nhất để chúng em hoàn thành đề tài. Em xin cảm ơn đến tập thể lớp 181290 vì đã luôn sẵn sàng trao đổi những kiến thức bổ ích để giúp em trau dồi thêm nhiều kiến thức. Em cũng muốn gửi lời cảm ơn sâu sắc đến cha mẹ vì đã luôn đồng hành và ủng hộ mình trong quá trình học tập và phát triển. Xin chân thành cảm ơn! Người thực hiện đề tài Trần Thị Hậu Vũ Thị Minh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xi
MỤC LỤC LỜI CAM ĐOAN .......................................................................................................x LỜI CẢM ƠN ........................................................................................................... xi MỤC LỤC ................................................................................................................ xii MỤC LỤC HÌNH ẢNH ............................................................................................xv DANH MỤC BẢNG .............................................................................................. xvii TÓM TẮT .................................................................................................................xx Chương 1. TỔNG QUAN ...........................................................................................1 1.1. ĐẶT VẤN ĐỀ......................................................................................................1 1.2. MỤC TIÊU...........................................................................................................3 1.3. NỘI DUNG NGHIÊN CỨU ................................................................................3 1.4. GIỚI HẠN ............................................................................................................3 1.5. BỐ CỤC ...............................................................................................................4 Chương 2. CƠ SỞ LÝ THUYẾT ................................................................................5 2.1. TÍN HIỆU ĐIỆN NÃO ........................................................................................5 2.1.1. Tín hiệu điện não ...............................................................................................5 2.1.2. Nguồn gốc tín hiệu điện não .............................................................................5 2.2. CẤU TRÚC CỦA NÃO BỘ ................................................................................7 2.3. TÍN HIỆU CHỚP MẮT TRONG EEG ...............................................................9 2.3.1. Tín hiệu chớp mắt .............................................................................................9 2.3.2. Thuật toán lọc EOG bằng phương pháp RLS: ................................................11 2.4. PHÂN TÍCH WAVELET COHERENCE .........................................................12 2.4.1. Khái niệm Wavelet ..........................................................................................12 2.4.2. Phép biến đổi Wavelet ....................................................................................13 2.4.3. Wavelet Coherence .........................................................................................13 2.4.4. Các kênh được sử dụng trong phân tích Wavelet Coherence .........................14 2.5. MẠNG NƠ-RON TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK - CNN) .........................................................................................................................15 2.6. THIẾT BỊ EMOTIV ...........................................................................................18 2.6.1. Thiết bị EPOC Flex .........................................................................................18 2.6.2. Thành phần các thiết bị Emotiv ......................................................................18 2.6.3. Thông số kỹ thuật của EPOC Flex ..................................................................19 Chương 3. TÍNH TOÁN VÀ THIẾT KẾ .................................................................20 3.1. GIỚI THIỆU ......................................................................................................20 3.2. TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG .......................................................20 3.2.1. Thiết kế quy trình thu dữ liệu ..........................................................................20 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xii
a. Tạo form đăng ký ..............................................................................................20 b. Sàng lọc đối tượng thí nghiệm ..........................................................................21 c. Quy định dành cho đối tượng thí nghiệm .........................................................21 d. Thiết kế giao thức thí nghiệm ...........................................................................21 e. Thiết kế quy trình thu dữ liệu EEG ...................................................................24 3.2.2. Thiết kế phần mềm ..........................................................................................25 a. Thiết kế cấu trúc phần mềm ..............................................................................26 b. Thiết kế giao diện phần mềm ............................................................................28 3.2.3. Thuật toán........................................................................................................30 a. Thuật toán tìm ngưỡng ......................................................................................30 b. Thuật toán RLS .................................................................................................30 CHƯƠNG 4. THI CÔNG HỆ THỐNG ....................................................................32 4.1. GIỚI THIỆU ......................................................................................................32 4.2. THI CÔNG HỆ THỐNG ...................................................................................32 4.2.1. Quá trình thu dữ liệu .......................................................................................32 a. Giao thức thí nghiệm .........................................................................................32 b. Chuẩn bị và cài đặt thiết bị đo EEG ..................................................................35 4.2.2. Phương pháp xử lý tín hiệu .............................................................................41 a. Tiền xử lý ..........................................................................................................41 b. Trích đặc trưng ..................................................................................................46 c. Phân loại ............................................................................................................47 4.3. LẬP TRÌNH PHẦN MỀM ................................................................................49 a. Lưu đồ ...............................................................................................................49 b. Thi công phần mềm ...........................................................................................56 4.4. HƯỚNG DẪN SỬ DỤNG PHẦN MỀM ..........................................................62 CHƯƠNG 5. KẾT QUẢ – NHẬN XÉT – ĐÁNH GIÁ ...........................................73 5.1. DỮ LIỆU ............................................................................................................73 5.2. TIỀN XỬ LÝ .....................................................................................................74 5.3. WAVELET COHERENCE ...............................................................................75 5.3.1. Kênh C3 (Right) và FC5 (Right).....................................................................75 5.1.2. Kênh C4 (Left) và FC6 (Left) .........................................................................76 5.4. PHÂN LOẠI ......................................................................................................77 5.5. GIAO DIỆN .......................................................................................................80 CHƯƠNG 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ..........................................82 6.1. KẾT LUẬN ........................................................................................................82 6.2. HƯỚNG PHÁT TRIỂN .....................................................................................82 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xiii
TÀI LIỆU THAM KHẢO .........................................................................................82 PHỤ LỤC ..................................................................................................................86 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xiv
MỤC LỤC HÌNH ẢNH Hình 2.1: Tín hiệu điện não đồ đầu tiên được ghi lại ......................................................... 5 Hình 2.2: Cấu tạo tế bào thần kinh ...................................................................................... 6 Hình 2.3: Cấu trúc của đại não ............................................................................................ 7 Hình 2.4: Vị trí các thùy trong não bộ ................................................................................ 8 Hình 2.5: Các dạng tín hiệu nhiễu trong EEG .................................................................... 9 Hình 2.6: Điện áp của mắt................................................................................................. 10 Hình 2.7: Tín hiệu chớp mắt ............................................................................................. 10 Hình 2.8: Vị trí điện cực thu tín hiệu mắt ......................................................................... 11 Hình 2.9: Mô hình mẫu CNN với 2 lớp chập và một lớp được kết nối đầy đủ. ............... 16 Hình 2.10: Thành phần các thiết bị Emotiv ...................................................................... 18 Hình 3.1: Sơ đồ khái quát quá trình thiết kế quy trình thu dữ liệu EEG .......................... 20 Hình 3.2: Giao thức thí nghiệm......................................................................................... 22 Hình 3.3: Quá trình thu dữ liệu EEG ................................................................................ 24 Hình 3.4: Hình ảnh khái quát quá trình chuẩn bị thiết bị đo EEG .................................... 24 Hình 3.5: Hình ảnh khái quát quá trình thiết kế phần mềm .............................................. 26 Hình 3.6: Sơ đồ khối khái quát cấu trúc phần mềm .......................................................... 26 Hình 3.7: Sơ đồ khối thể hiện chi tiết quá trình nhập dữ liệu đầu vào ............................. 26 Hình 3.8: Sơ đồ khối thể hiện chi tiết quá trình tiền xử lý ................................................ 27 Hình 3.9: Sơ đồ khối thể hiện chi tiết quá trình trích xuất đặc trưng ............................... 28 Hình 3.10: Sơ đồ khối thể hiện giao diện giới thiệu của phần mềm ................................. 29 Hình 3.11: Sơ đồ khối thể hiện giao diện của quá trình tiền xử lý ................................... 29 Hình 3.12: Sơ đồ khối thể hiện giao diện của quá trình phân loại .................................... 29 Hình 3.13: Sơ đồ mô phỏng hệ thống tạo ra EOG ............................................................ 31 Hình 4.1: Hình ảnh hiển thị dấu hiệu của 10s đầu nghỉ ngơi trên màn hình máy tính ..... 32 Hình 4.2: Hình ảnh hiển thị dấu hiệu chớp mắt đầu tiên trên màn hình máy tính ............ 33 Hình 4.3: Hình ảnh hiển thị dấu hiệu gập duỗi tay trái trên màn hình máy tính .............. 33 Hình 4.4: Hình ảnh hiển thị dấu hiệu gập duỗi tay phải trên màn hình máy tính ............. 34 Hình 4.5: Hình ảnh hiển thị dấu hiệu gập duỗi tay trên màn hình máy tính ..................... 34 Hình 4.6: Hình ảnh sạc pin bộ điều khiển ......................................................................... 35 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xv
Hình 4.7: Hình ảnh chèn điện cực vào mũ đo điện não .................................................... 35 Hình 4.8: Sơ đồ mô tả vị trí điện cực ................................................................................ 36 Hình 4.9: Hình ảnh cố định bộ điều khiển lên mũ đo tín hiệu .......................................... 36 Hình 4.10: Hình ảnh thu gọn dây điện cực ....................................................................... 36 Hình 4.11: Hình ảnh kết nối cảm biến với bộ điều khiển ................................................. 37 Hình 4.12: Hình ảnh kết nối bộ điều khiển với máy tính .................................................. 37 Hình 4.13: Hình ảnh sau khi chuẩn bị và cài đặt xong các thiết bị thu dữ liệu ................ 37 Hình 4.14: Không gian phòng thu tín hiệu điện não ......................................................... 38 Hình 4.15: Hình ảnh mô tả tư thế ngồi của đối tượng thí nghiệm trong thời gian nghỉ ngơi ........................................................................................................................................... 38 Hình 4.16: Đội mũ điện cực và bôi gel lên da đầu của đối tượng .................................... 39 Hình 4.17: Hình ảnh huấn luyện đối tượng thí nghiệm .................................................... 39 Hình 4.18: Hình ảnh đối tượng thí nghiệm thực hiện gập duỗi tay trái/phải .................... 40 Hình 4.19: Hình ảnh đối tượng thực hiện thu dữ liệu thực tế ........................................... 40 Hình 4.20: Hình ảnh khái quát chi tiết quá trình tiền xử lý .............................................. 41 Hình 4.21: Hình ảnh mô tả bốn cấp độ phân rã của biến đổi Wavelet ............................. 43 Hình 4.22: Các trường hợp đỉnh EOG bị lỗi ..................................................................... 44 Hình 4.23: Hình ảnh tín hiệu trước và sau khi lọc của kênh C3 ....................................... 45 Hình 4.24: Dữ liệu của kênh C3 sau quá trình tiền xử lý ................................................. 45 Hình 4.25: Hình ảnh dữ liệu sau khi biến đổi Wavelet Coherence ................................... 46 Hình 4.26: Ảnh xám của dữ liệu sau khi biến đổi từ ảnh màu .......................................... 47 Hình 4.27: Mô hình phân loại CNN .................................................................................. 47 Hình 4.28: Quá trình chuyển giao diện khi phần mềm đang hiển thị giao diện đầu tiên . 49 Hình 4.29: Quá trình chuyển giao diện khi phần mềm đang hiển thị giao diện thứ hai ... 50 Hình 4.30: Quá trình chuyển giao diện khi phần mềm đang hiển thị giao diện thứ ba .... 51 Hình 4.31: Lưu đồ khái quát quá trình hoạt động của giao diện thứ nhất ........................ 52 Hình 4.32: Lưu đồ khái quát quá trình nhập dữ liệu đầu vào ........................................... 53 Hình 4.33: Lưu đồ giải thuật khái quát quá trình tìm đỉnh EOG đầu tiên ........................ 54 Hình 4.34: Lưu đồ khái quát quá trình hoạt động của giao diện thứ ba ........................... 55 Hình 4.35: Lưu đồ khái quát quá trình trích đặc trưng và phân loại của phần mềm ........ 56 Hình 4.36:Biểu tượng và vị trí của App Designer và Application Compiler trên phần mềm Matlab ...................................................................................................................... 57 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xvi
Hình 4.37: Giao diện của App Designer ........................................................................... 57 Hình 4.38: Giao diện của các khối ta có thể sử dụng để thiết kế giao diện ...................... 57 Hình 4.39: Giao diện của “Application Compiler” ........................................................... 58 Hình 4.40: Giao diện của “Application Compiler” khi xuất dữ liệu thành công .............. 58 Hình 4.41: File cài đặt chương trình của phần mềm vừa xuất được ................................. 59 Hình 4.42: Giao diện của file cài đặt ................................................................................ 59 Hình 4.43: Chọn folder mong muốn để cài đặt phần mềm ............................................... 60 Hình 4.44: Thông báo “Matlab Runtime” đã sẵn sàng cài đặt .......................................... 60 Hình 4.45: Mức độ hoàn thành quá trình cài đặt .............................................................. 61 Hình 4.46: Hoàn thành quá trình cài đặt ........................................................................... 61 Hình 4.47: Phần mềm phân loại vận động tay .................................................................. 62 Hình 4.48: Giao diện giới thiệu của phần mềm phân loại vận động tay trái/phải ............ 62 Hình 4.49: Giao diện nhập dữ liệu đầu vào và tiền xử lý ................................................. 63 Hình 4.50: Giao diện khối nhập dữ liệu đầu vào .............................................................. 63 Hình 4.51: Giao diện phần mềm khi chọn file dữ liệu có định dạng là CSV ................... 64 Hình 4.52: Giao diện phần 1.2 của phần mềm sau khi nhập các thông số cần thiết ......... 64 Hình 4.53: Giao diện phần mềm khi thực hiện các bước 1.3 ............................................ 65 Hình 4.54: Giao diện sau khi thực hiện đầy đủ bước của khối nhập dữ liệu đầu vào ...... 65 Hình 4.55: Giao diện phần mềm khi thực hiện bước 2.1 .................................................. 65 Hình 4.56: Giao diện của phần mềm khi thực hiện thao tác trong bước 2.2 .................... 66 Hình 4.57: Giao diện của phần mềm sau khi thực hiện xong bước 2.2 ............................ 67 Hình 4.58: Giao diện của phần mềm sau khi thực hiện xong phần 2 ............................... 67 Hình 4.59: Giao diện của khi thực hiện từng thao tác trong phần “3. Remove EOG” ..... 68 Hình 4.60: Giao diện khi hoàn thành các thao tác trong phần “3. Remove EOG” ........... 69 Hình 4.61: Giao diện thứ 3 có chức năng phân loại dữ liệu ............................................. 69 Hình 4.62: Giao diện biến đổi Wavelet Coherence và phân loại của phần mềm ............. 71 Hình 5.1: Các đỉnh EOG đáp ứng đủ yêu cầu theo giao thức ........................................... 74 Hình 5.2: Tín hiệu điện não trước và sau khi tiền xử lý ................................................... 75 Hình 5.3: Một số hình ảnh thể hiện Wavelet Coherence trên dữ liệu gập tay phải đã được lọc EOG ............................................................................................................................. 76 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xvii
Hình 5.4: Một số hình ảnh thể hiện Wavelet Coherence trên dữ liệu gập tay trái đã được lọc EOG ............................................................................................................................. 77 Hình 5.5: Kết quả quá trình học của mạng CNN .............................................................. 78 Hình 5.6: Kết quả mô hình phân loại ................................................................................ 79 Hình 5.7: Giao diện giới thiệu phần mềm ......................................................................... 80 Hình 5.8: Giao diện nhập dữ liệu đầu vào và tiền xử lý ................................................... 81 Hình 5.9: Giao diện dữ liệu đầu vào của bộ phân loại là ảnh xám và kết quả phân loại .. 81 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xviii
DANH MỤC BẢNG Bảng 2.1: Thông số kỹ thuật của EPOC Flex ........................................................... 19 Bảng 3.1: Giao thức thí nghiệm……………………...………………………....…. 22 Bảng 4.1: Thống kê kết quả phân loại dữ liệu của đối tượng thứ 13……………… 48 Bảng 5.1: Phân chia dữ liệu huấn luyện và thử nghiệm cho mô hình CNN…..........78 Bảng 5.2: Kết quả của mô hình phân loại CNN ….................................................. 78 Bảng 5.3: Phân chia dữ liệu huấn luyện và thử nghiệm cho mô hình CNN..............79 BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xix
TÓM TẮT Bệnh đột quỵ là nguyên nhân gây tàn tật đứng thứ ba và cũng là nguyên nhân gây tử vong đứng thứ hai trên toàn thế giới. Khoảng 87% các trường hợp tử vong và tàn tật do bệnh đột quỵ xảy ra ở các nước có thu nhập thấp và trung bình. Sau cơn đột quỵ, việc tập các bài vật lý trị liệu là bắt buộc để có thể hồi phục chức năng cho bệnh nhân. Do đó, theo dõi khả năng hồi phục và chuyển động của bệnh nhân sau đột quỵ là việc rất quan trọng. Hôn mê sâu là một trong những trường hợp bệnh nhân mắc phải sau cơn đột quỵ. Não sống là đặc điểm chung của các bệnh nhân sống sót sau cơn đột quỵ. Hơn nữa, mọi hoạt động hay suy nghĩ của con người đều sẽ gửi tín hiệu lên não. Vì vậy, việc phân tích các tín hiệu não để nhận biết, phân biệt các cử chỉ, hoạt động, suy nghĩ con người có ý nghĩa rất quan trọng trong việc chẩn đoán, theo dõi tình trạng của bệnh nhân trong y học. Do đó, nhóm chúng tôi quyết định thực hiện đề tài “Thiết kế và xây dựng phần mềm để phân tích và phân loại vận động tay trái/phải của con người qua tín hiệu điện não đồ và ứng dụng mạng nơ-ron tích chập”. Sau khi thực hiện quá trình thu dữ liệu, nhóm chúng tôi sử dụng các thuật toán tìm ngưỡng, RLS (tiếng Anh: Recursive Least Square) để thực hiện quá trình tiền xử lý. Sau đó, dựa vào phương pháp Wavelet Coherence để trích xuất đặc trưng của tín hiệu, chuyển tín hiệu sóng 2D sang tín hiệu ảnh màu 3D. Dữ liệu sau đó được chuyển đổi từ dạng dữ liệu ảnh màu 3D sang ảnh xám 2D và chuẩn hóa kích thước hình ảnh đồng bộ là 100x100 để đưa vào mô hình mạng nơ-ron tích chập (tiếng Anh: Convolutional Neural Network – CNN). Sau quá trình nghiên cứu, thiết kế và hoàn thiện, có tổng dữ liệu đầu vào dùng để huấn luyện là 8666 ảnh. Trong đó, 4303 là tổng số lượng dữ liệu của dữ liệu vận động tay trái và 4363 là tổng số lượng dữ liệu của dữ liệu vận động tay phải. Để đưa vào mô hình, ta sẽ chia 70% tổng số dữ liệu để làm tập train, 30% tổng số dữ liệu để làm tập test. Mô hình phân loại vận động tay đạt kết quả với độ chính xác là 94,5%, trong đó kết quả nhận diện vận động đạt 99,8% đối với tay phải và 89,1% đối với tay trái. Kết quả đạt được cho thấy phần mềm hoạt động đạt yêu cầu về tính chính xác khi phân loại. Đề tài nghiên cứu này giúp tạo tiền đề để áp dụng và phát triển hệ thống phần mềm phong phú, nhiều chức năng hơn trong tương lai để phục vụ sức khỏe con người, nhất là trong bối cảnh số lượng người bị tàn tật do đột quỵ gây ra đáng báo động trên toàn thế giới như hiện nay. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH xx
CHƯƠNG 1. TỔNG QUAN Chương 1. TỔNG QUAN 1.1. ĐẶT VẤN ĐỀ Đột quỵ là một hội chứng đặc trưng bởi sự khởi phát cấp tính của các triệu chứng thần kinh trung ương gây ra do rối loạn lưu lượng máu não. Đột quỵ là nguyên nhân gây tàn tật đứng thứ ba và cũng là nguyên nhân gây tử vong đứng thứ hai trên toàn thế giới. Khoảng 87% các trường hợp tử vong và tàn tật do bệnh đột quỵ xảy ra ở các nước có thu nhập thấp và trung bình. Hơn nữa, tỷ lệ tử vong ở Châu Á cao hơn so với các nước ở phương Tây. Tỷ lệ mắc bệnh đột quỵ ở các nước phát triển là 5/1000 người. Tuy nhiên, tỷ lệ mắc bệnh đột quỵ ở các nước đang phát triển là 5-10/1000 người (1). Từ thực trạng trên, ta có thể thấy được sự nguy hiểm và hậu quả của bệnh mang lại cho các bệnh nhân đột quỵ. Sau cơn đột quỵ, việc tập các bài vật lý trị liệu là bắt buộc để có thể hồi phục chức năng cho bệnh nhân. Do đó, theo dõi khả năng hồi phục và chuyển động của bệnh nhân sau đột quỵ là việc rất quan trọng. Não sống là đặc điểm chung của các bệnh nhân sống sót sau cơn đột quỵ. Bên cạnh đó, mọi hoạt động hay suy nghĩ của con người đều sẽ gửi tín hiệu lên não. Vì vậy, việc phân tích các tín hiệu não để nhận biết, phân biệt các cử chỉ, hoạt động, suy nghĩ con người có ý nghĩa rất quan trọng trong việc chẩn đoán, theo dõi tình trạng của bệnh nhân trong y học. Giao diện Máy tính - Não bộ (Brain - Computer Interface – BCI) là một trọng tâm nghiên cứu trong lĩnh vực phục hồi chức năng sinh học, có thể cải thiện hoặc phục hồi hiệu quả khả năng tự chăm sóc của người khuyết tật đã đạt được sự phát triển nhanh chóng trong những năm gần đây (2). BCI giúp ta có thể giải mã được các tín hiệu sinh lý thần kinh từ não người và chuyển chúng thành các lệnh để điều khiển các thiết bị điện tử khác (chương trình máy tính, xe lăn…). Với những người khuyết tật, BCI sẽ giúp họ giao tiếp với mọi thứ xung quanh. Về các phép đo được sử dụng, BCIs có thể phân loại thành xâm lấn và không xâm lấn. BCI không xâm lấn có thể tận dụng các phép đo không xâm lấn ví dụ như EEG, MEG, những phép đo này đều không yêu cầu phẫu thuật khi áp dụng. Trong các kỹ thuật BCI, EEG được sử dụng phổ biến trong BCI do giá trị của chúng dễ dàng thiết lập, tính di động và chi phí thấp, cũng như cung cấp các tín hiệu với SNR hợp lý và độ phân giải tạm thời cao (3). BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 1