BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ GIAO THÔNG VẬN TẢI
TRƯỜNG ĐẠI HỌC GIAO THÔNG VẬN TẢI
TP. HỒ CHÍ MINH
LÂM QUANG CHUYÊN
MẠNG NEURAL TRONG HỆ THỐNG ĐIỀU KHIỂN XE
LĂN CHO NGƯỜI TÀN TẬT NẶNG SỬ DỤNG ĐIỆN
NÃO (EEG) VÀ CAMERA
CHUYÊN NGÀNH
KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA
MÃ SỐ: 9520216
NGƯỜI HƯỚNG DẪN KHOA HỌC
PGS. TS. NGUYỄN HỮU KHƯƠNG
PGS. TS. VÕ CÔNG PHƯƠNG
TP. HỒ CHÍ MINH – 03/2020
Trang 1
MỞ ĐẦU
Nghiên cứu tín hiệu điện não là một trong những lĩnh vực được
quan tâm của nhiều nhà khoa học hiện nay, với mục đích là phát triển
ứng dụng hỗ trợ, phát hiện bệnh lý con người như stress, trầm cảm…,
chẩn đoán bệnh (động kinh, alzheimer – hội chứng suy giảm trí nhớ,
chấn thương não), tuy nhiên trong lĩnh vực điều khiển tự động phục
vụ cho con người, đặc biệt là người khuyết tật chưa được nghiên cứu
nhiều.
Trước đây, việc đọc tín hiệu điện não đồ hay điện tim đồ là công
việc của các bác sĩ chuyên khoa thần kinh hay tim mạch, thì ngày nay
với sự phát triển của các công cụ phân tích và xử lý tín hiệu hiện đại
như mạng neural hay hệ thống AI các loại tín hiệu như thế có thể được
xử lý để đưa ra những thông tin phục vụ cho các yêu cầu khác, như để
điều khiển hỗ trợ hoạt động của con người. Vì vậy mục tiêu của luận
án là xây dựng được hệ thống hỗ trợ điều khiển một số hoạt động cơ
bản của con người thông qua tín hiệu điện não, ví dụ như điều khiển
chuyển động của xe lăn cho người tàn tật mất khả năng hoạt động tay
chân, có thể đáp ứng nhu cầu xã hội bức thiết hiện nay.
Nghiên cứu đã phân tích ba phương pháp tiền xử lý tín hiệu từ
EEG, dùng biến đổi Fourier, phép biến đổi Wavelet, thuật toán HHT
(Hilbert Huang Transform), để biến đối thành 5 dạng sóng cơ bản
Delta, Theta, Alpha, Beta, Gamma, sau đó sử dụng kỹ thuật gom cụm
dữ liệu trước khi đưa vào mạng neuron để phân loại thành 5 tín hiệu
mong muốn chuyển động. Các mạng neural được thử nghiệm từ mạng
đơn lớp đến mạng đa lớp cụ thể trong luận án này là 3 lớp.
Hệ thống xử lý tín hiệu EEG bằng tiền xử lý HHT dùng mạng
neural cùng với camera được thử nghiệm trên mô hình thực tế điều
khiển xe lăn mô hình đã cho những kết quả chính xác tốt nhất đến
92,4% đối với nhóm 20 người được chọn cho thực nghiệm. Điều này
thể hiện thành công về ý nghĩa thực tiễn của luận án.
Trang 2
ABSTRACT
Nowadays, EEG signal, one of the most important field was
interested by science researchers, the main purpose research is support
applications devlepment, diagnose and find out pathological of human
as stress, depression, epileptic, alzheimer, brain trauma…, however,
in the field of automatic control serving for human, especially for
disabilities people, has not been studied so much.
For long time ago, recording and processing the EEGs or ECGs
signal was the work of neurologists or cardiologists. Nowadays, with
the development of modern signal processing and analysis tools such
as neural networks and AI systems, such signals can be processed to
meet the other needs, such as the control system support human
acitivites.The goal of this thesis is to build a control system, which
support some basic human activities through EEG signal. For
example, wheelchair equipement control for disabled people, meet
today’s pressing social needs.
The author researched and analyzed three EEG signal pre-
processing methods as using Fourier transform, Wavelet transform
and HHT transform, converting EEG signal to 5 basic waves (Delta,
Theta, Alpha, Beta, Gamma), and then using data clustering technical
before put them into input layer of multi neural network. The neural
network was test from single to multi layer (3 layer).
The EEG signal processing system with HHT pre-processing and
image processing using multi neural network to control the wheelchair
model with accuracy rate 92.4% for group 20 students, this shows the
successful in the practical of the thesis.
Trang 3
CẤU TRÚC NỘI DUNG LUẬN ÁN
Chương 1: Tổng quan – Trình bày khái quát tình hình nghiên cứu
tín hiệu điện não EEG trong và ngoài nước, những ứng dụng đã đạt
được hiện nay, phân tích những vấn đề chưa được giải quyết, còn hạn
chế mà trong luận án cần giải quyết, ngoài ra tác giả cũng trình bày
mục đích và phạm vi nghiên cứu, những đóng góp của luận án trong
khoa học và thực tiễn.
Chương 2: Cơ sở lý thuyết – Trình bày những kiến thức cơ bản
liên quan đến luận án: Các phương pháp trích đặc điểm tín hiệu như:
Fourier, Wavelet Transform, HHT…, gom cụm dữ liệu, đến việc phân
loại các đặc tính từng mẫu tín hiệu bằng mạng neural đa lớp.
Chương 3: Xây dựng mô hình – Trình bày quá trình xây dựng
mạng neural đa lớp, việc xây dựng mạng neural đa lớp được tiến hành
từng bước từ việc phân loại 2 mẫu tín hiệu đến phân loại 5 mẫu tín
hiệu. Trong chương này cũng trình bày về việc xử lý tín hiệu điện não
kết hợp với xử lý ảnh thông qua camera. Mỗi kết quả đều có các công
trình nghiên cứu được đăng trên các tạp chí quốc tế hoặc kỷ yếu hội
nghị quốc tế.
Chương 4: Xây dựng phần mềm và phần cứng điều khiển xe lăn
mô hình. Trong chương này tác giả giới thiệu về các chức năng của
phần mềm, xử lý ảnh từ camera để phát hiện sự di chuyển của hướng
mắt kết hợp với việc xử lý tín hiệu điện não EEG để đưa ra kết quả
cuối cùng.
Tác giả cũng trình bày kết quả thực nghiệm, so sánh kết quả thực
nghiệm giữa 2 phương pháp riêng biệt (tín hiệu điện não và xử lý ảnh),
cuối cùng là sự kết hợp giữa 2 phương pháp trên.
Chương 5: Kết luận và kiến nghị – Chương này đánh giá kết quả
đạt được so với yêu cầu của luận án và đề xuất hướng phát triển của
luận án ngày càng hoàn thiện hơn.
Trang 4
CHƯƠNG 1
TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO
1.1 Tình hình nghiên cứu trong nước
Cho đến thời điểm hiện nay, các công trình nghiên cứu về lĩnh
vực điện não ở nước ta chủ yếu tập trung vào hoạt động cơ học như
chớp mắt, di chuyển đầu… việc phát hiện và phân loại được sự kiện
trên được xác định bằng phương pháp ngưỡng biên độ, chưa có đề tài
liên quan đến cảm nhận hình ảnh thông qua hoạt động quan sát của
mắt, việc phân tích tín hiệu EEG thông qua việc quan sát bằng mắt
không thể dùng phương pháp ngưỡng biên độ mà phải phân tích tín
hiệu thành các đặc trưng cơ bản và nhận dạng thông qua mạng neural.
1.2 Tình hình nghiên cứu ngoài nước
Các công trình nghiên cứu được công bố trên các bài báo và tạp
chí nước ngoài tập trung nghiên cứu chủ yếu vào các lĩnh vực như y
sinh: phát hiện stress, trầm cảm, động kinh,… trong lĩnh vực điều
khiển như: đánh vần (spelling), chớp mắt, di chuyển đầu, tính nhẫm,
tưởng tượng chuyển động vật thể… nhưng nhìn chung các công trình
nghiên cứu này thực hiện trên dạng dữ liệu offline, mà chưa tập trung
nhiều đến trích đặc điểm và phát hiện sự kiện theo thời gian thực
(online) phục vụ trong lĩnh vực điều khiển tự động.
1.3 Nội dung thực hiện đề tài
Trong quá trình thực hiện luận án, tác giả dựa vào cơ sở dữ liệu
về tín hiệu điện não EEG có sẵn được cung cấp bởi trường Đại học
San Diego (UCSD) có uy tín của Mỹ, xếp hạng thứ 38 trên thế giới
năm 2018, để xây dựng các giải thuật xử lý và nhận dạng các mẫu tín
hiệu điện não, sau khi đã đánh giá được tính khả thi của của việc nhận
dạng mẫu tín hiệu thông qua mạng neural, tác giả tiến hành thu nhận
5 mẫu tín hiệu điện não thông qua việc quan sát 5 loại hình khác nhau
trên bảng quan sát (con người, thành phố, phong cảnh, bông hoa và
con vật), cái mới cải tiến của luận án so với các công trình trước là tác
giả mạnh dạn sử dụng nhận dạng mẫu tín hiệu EEG trực tuyến có kết
hợp camera để tăng độ chính xác của giải thuật, ngoài ra trong khâu
tiền xử lý tác giả kết hợp giữa trích đặc điểm HHT với giải thuật gom
cụm dữ liệu giúp cho việc nhận dạng thông qua mạng neural được
nhanh hơn sử dụng phương pháp khác như wavelet transform và giúp
cho mạng neural làm việc hiệu quả hơn, chính xác hơn và tránh
overfitting.