TI U LU N Ể Ậ :
NG D NG M NG NEURAL TRONG NH N D NG KÝỨ Ụ Ạ Ậ Ạ
T QUANG H CỰ Ọ
GVHD : TS. Đ Phúc.ỗ
Sinh viên th c hi n : ự ệ
L ng Vũ Trúcươ
Lâm Tú Bình
Huỳnh Th Ph ng Oanhị ươ
Nguy n Chí Thanhễ
L i m đ u ờ ở ầ
T khi ra đ i, máy tính đã nhanh chóng phát tri n và đóng m t vai trò r t quanừ ờ ể ộ ấ
tr ng trong nghiên c u khoa h c k thu t cũng nh trong đ i s ng. ọ ứ ọ ỹ ậ ư ờ ố
Nh ng m t máy tính dù có m nh đ n đâu chăng n a, cũng ch có th làm vi cư ộ ạ ế ữ ỉ ể ệ
theo m t ch ng trình đã đ c ho ch đ nh s n b i l p trình viên.Nó v n không có khộ ươ ượ ạ ị ẵ ở ậ ẫ ả
năng liên t ng, k t n i s vi c này v i s vi c khác, và quan tr ng h n h t là khưở ế ố ự ệ ớ ự ệ ọ ơ ế ả
năng sáng t o nh con ng i.ạ ư ườ
Vì lý do đó ,m ng noron (Artificial neural networks ) ra đ i t m c đích c g ngạ ờ ừ ụ ố ắ
mô ph ng ho t đ ng trí tu c a con ng i.T khi ra đ i, m ng neuron đã nhanh chóngỏ ạ ộ ệ ủ ườ ừ ờ ạ
phát tri n trong các lĩnh v c v nh n d ng ,phân lo i , gi m nhi u, d đoán…ể ự ề ậ ạ ạ ả ễ ự
Trong ph m vi m t bài ti u lu n nh , chúng em ch xin trình bày v “ ng d ngạ ộ ể ậ ỏ ỉ ề Ứ ụ
m ng neuron trong nh n d ng ký t quang h c”.ạ ậ ạ ự ọ
Đ hoàn thành bài ti u lu n này, chúng em đã đ c s h ng d n nhi t tình tể ể ậ ượ ự ướ ẫ ệ ừ
th y TS Đ Phúc.Nh ng bài gi ng và tài li u c a th y chính là c s đ chúng em cóầ ỗ ữ ả ệ ủ ầ ơ ở ể
th hoàn thành t t báo cáo c a mình. Chúng em xin chân thành c m n th y! ể ố ủ ả ơ ầ
Nhóm th c hi nự ệ
Ch ng 1 : ươ T ng Quan V M ng Neuralổ ề ạ
I.Gi i Thi uớ ệ
M ng neural nhân t o (Artificial Neural Networks : ANN) ra đ i xu t phát t ýạ ạ ờ ấ ừ
t ng mô ph ng ho t đ ng c a b não con ng i.ưở ỏ ạ ộ ủ ộ ườ
M ng noron nhân t o là s tái t o b ng k thu t nh ng ch c năng c a h th nạ ạ ự ạ ằ ỹ ậ ữ ứ ủ ệ ầ
kinh con ng i v i vô s các neural đ c liên k t truy n thông v i nhau quaườ ớ ố ượ ế ề ớ
m ng.Gi ng nh con ng i , ANN đ c h c b i kinh nghi m, l u nh ng kinh nghi mạ ố ư ườ ượ ọ ở ệ ư ữ ệ
đó và s d ng trong nh ng tình hu ng phù h p.ử ụ ữ ố ợ
M ng neural trong m t vài năm tr l i đây đã đ c nhi u ng i quan tâm và đãạ ộ ở ạ ượ ề ườ
áp d ng thành công trong nhi u lĩnh v c khác nhau, nh tài chính, y t , đ a ch t và v tụ ề ự ư ế ị ấ ậ
lý. Th t v y, b t c đâu có v n đ v d báo, phân lo i và đi u khi n, m ng neuralậ ậ ấ ứ ở ấ ề ề ự ạ ề ể ạ
đ u có th ng d ng đ c. Ví d nh kh năng nh n d ng m t ng i trong các hề ể ứ ụ ượ ụ ư ả ậ ạ ặ ườ ệ
th ng qu n lý thông tin liên quan đ n con ng i (qu n lý nhân s các công s , doanhố ả ế ườ ả ự ở ở
nghi p; qu n lý h c sinh, sinh viên trong các tr ng trung h c, đ i h c và cao đ ng;ệ ả ọ ườ ọ ạ ọ ẳ
… ); các ngành khoa h c hình s , t i ph m; khoa h c t ng s , t vi,…ọ ự ộ ạ ọ ướ ố ử
K t h p ch t ch v i logic m , m ng neural nhân t o đã t o nên cu c cáchế ợ ặ ẽ ớ ờ ạ ạ ạ ộ
m ng th c s trong vi c thông minh hóa và v n năng hóa các b đi u khi n k thu tạ ự ự ệ ạ ộ ề ể ỹ ậ
cao cho c hi n nay và trong t ng lai. Ví d nh ng d ng t đ ng đi u khi n hả ệ ươ ụ ư ứ ụ ự ộ ề ể ệ
th ng lái tàu, h th ng d báo s c ,…ố ệ ố ự ự ố
M ng neural d a trên vi c mô ph ng c p th p h th ng neural sinh h c. Trongạ ự ệ ỏ ấ ấ ệ ố ọ
t ng lai v i s phát tri n mô ph ng neural sinh h c, chúng ta có th có lo i máy tínhươ ớ ự ể ỏ ọ ể ạ
thông minh th t s .ậ ự
Trong ph m vi đ c p nh ng gì liên quan đ n ki n th c c s đ làm đ án, chúng emạ ề ậ ữ ế ế ứ ơ ở ể ồ
ch xin trình bày nh ng v n đ có liên quan, nh ng ki n th c đ c s d ng ph c vỉ ữ ấ ề ữ ế ứ ượ ử ụ ụ ụ
cho vi c hoàn thành đ án.ệ ồ
II.Khái Ni m M ng Neuralệ ạ
1.S l c v neural sinh h cơ ượ ề ọ
Sau đây là nh ng thành ph n chính trong c u trúc c a m t n ron trong b não con ng iữ ầ ấ ủ ộ ơ ộ ườ
Hình 1.1 : Mô hình neuron sinh h cọ
Trong đó :
Các Soma là thân c a noron.ủ
Các dendrites là các dây m nh, dài, g n li n v i soma, chúng truy n d li u (d iả ắ ề ớ ề ữ ệ ướ
d ng xung đi n th ) đ n cho soma x lý. Bên trong soma các d li u đó đ c t ngạ ệ ế ế ử ữ ệ ượ ổ
h p l i. Có th xem g n đúng s t ng h p y nh là m t phép l y t ng t t c cácợ ạ ể ầ ự ổ ợ ấ ư ộ ấ ổ ấ ả
d li u mà n ron nh n đ c. ữ ệ ơ ậ ượ
M t lo i dây d n tín hi u khác cũng g n v i soma là các axon. Khác v i dendrites,ộ ạ ẫ ệ ắ ớ ớ
axons có kh năng phát các xung đi n th , chúng là các dây d n tín hi u t n ron điả ệ ế ẫ ệ ừ ơ
các n i khác. Ch khi nào đi n th trong soma v t quá m t giá tr ng ng nào đóơ ỉ ệ ế ượ ộ ị ưỡ
(threshold) thì axon m i phát m t xung đi n th , còn n u không thì nó tr ng tháiớ ộ ệ ế ế ở ạ
ngh . ỉ
Axon n i v i các dendrites c a các n ron khác thông qua nh ng m i n i đ c bi tố ớ ủ ơ ữ ố ố ặ ệ
g i là synapse. Khi đi n th c a synapse tăng lên do các xung phát ra t axon thìọ ệ ế ủ ừ
synapse s nh ra m t s ch t hoá h c (neurotransmitters); các ch t này m "c a"ẽ ả ộ ố ấ ọ ấ ở ử
trên dendrites đ cho các ions truy n qua. Chính dòng ions này làm thay đ i đi n thể ề ổ ệ ế
trên dendrites, t o ra các xung d li u lan truy n t i các n ron khác. ạ ữ ệ ề ớ ơ
Có th tóm t t ho t đ ng c a m t n ron nh sau: n ron l y t ng t t c các đi nể ắ ạ ộ ủ ộ ơ ư ơ ấ ổ ấ ả ệ
th vào mà nó nh n đ c, và phát ra m t xung đi n th n u t ng y l n h n m tế ậ ượ ộ ệ ế ế ổ ấ ớ ơ ộ
ng ng nào đó. Các n ron n i v i nhau các synapses. Synapse đ c g i là m nhưỡ ơ ố ớ ở ượ ọ ạ
khi nó cho phép truy n d n d dàng tín hi u qua các n ron khác. Ng c l i, m tề ẫ ễ ệ ơ ượ ạ ộ
synapse y u s truy n d n tín hi u r t khó khăn. ế ẽ ề ẫ ệ ấ
Các synapses đóng vai trò r t quan tr ng trong s h c t p. Khi chúng ta h c t p thìấ ọ ự ọ ậ ọ ậ
ho t đ ng c a các synapses đ c tăng c ng, t o nên nhi u liên k t m nh gi a cácạ ộ ủ ượ ườ ạ ề ế ạ ữ
n ron. ơ
Có th nói r ng ng i nào h c càng gi i thì càng có nhi u synapses và các synapsesể ằ ườ ọ ỏ ề
y càng m nh m , hay nói cách khác, thì liên k t gi a các n ron càng nhi u, càng nh yấ ạ ẽ ế ữ ơ ề ạ
bén.
2.M ng Neural Nhân T oạ ạ
-Noron nhân t o là m t đ n v tính toán có nhi u đ u vào và m t đ u ra.ạ ộ ơ ị ề ầ ộ ầ
Hình 1.2 : Mô hình neuron nhân t o m c đ n gi nạ ở ứ ơ ả
N ron này s ho t đ ng nh sau: gi s có N inputs, n ron s có N weightsơ ẽ ạ ộ ư ả ử ơ ẽ
(tr ng s ) t ng ng v i N đ ng truy n inputs. N ron s l y t ng cótr ng s c a t tọ ố ươ ứ ớ ườ ề ơ ẽ ấ ổ ọ ố ủ ấ
c các inputs. Nói nh th có nghĩa là n ron s l y input th nh t, nhân v i weight trênả ư ế ơ ẽ ấ ứ ấ ớ
đ ng input th nh t, l y input th hai nhân v i weight c a đ ng input th hai v.v...,ườ ứ ấ ấ ứ ớ ủ ườ ứ
r i l y t ng c a t t c các k t qu thu đ c. Đ ng truy n nào có weight càng l n thìồ ấ ổ ủ ấ ả ế ả ượ ườ ề ớ
tín hi u truy n qua đó càng l n, nh v y có th xem weight là đ i l ng t ng đ ngệ ề ớ ư ậ ể ạ ượ ươ ươ
v i synapse trong n ron sinh h c. Có th vi t k t qu l y t ng c a n ron nh sau: ớ ơ ọ ể ế ế ả ấ ổ ủ ơ ư
K t qu này s đ c so sánh v i threshold t c a n ron, n u nó l n h n t thìế ả ẽ ượ ớ ủ ơ ế ớ ơ
n ron cho output là 1, còn n u nh h n thì output là 0. Ngoài ra ta cũng có th tr t ngơ ế ỏ ơ ể ừ ổ
nói trên cho t, r i so sánh k t qu thu đ c v i 0, n u k t qu là d ng thì n ron choồ ế ả ượ ớ ế ế ả ươ ơ
ouput b ng 1, n u k t qu âm thì output là 0. D i d ng toán h c ta có th vi t outputằ ế ế ả ướ ạ ọ ể ế
c a n ron nh sau: ủ ơ ư
Trong đó f là hàm Heaviside:
f đ c g i là threshold function hay transfer function c a n ron, còn giá tr (-t) còn đ cượ ọ ủ ơ ị ượ
g i là bias hay offset c a n ron. ọ ủ ơ
N u chúng ta đ a thêm m t input n a vào, input th 0, có giá tr luôn luôn b ng 1 vàế ư ộ ữ ứ ị ằ
weight luôn luôn b ng bias (-t) thì output c a n ron còn có th vi t d i d ng: ằ ủ ơ ể ế ướ ạ
L u ý là ch s c a t ng bây gi b t đ u t 0 ch không ph i b ng 1 nh tr c n a. ư ỉ ố ủ ổ ờ ắ ầ ừ ứ ả ằ ư ướ ữ
3.Ki n Trúc M ngế ạ
Là m t h th ng bao g m nhi u ph n t x lý đ n gi n (hay còn g i là neural)ộ ệ ố ồ ề ầ ử ử ơ ả ọ
t a nh neural th n kinh c a não ng i, ho t đ ng song song và đ c n i v i nhau b iự ư ầ ủ ườ ạ ộ ượ ố ớ ở
các liên k t neural. M i liên k t kèm theo m t tr ng s nào đó, đ c tr ng cho tính kíchế ỗ ế ộ ọ ố ặ ư
ho t ho c c ch gi a các neural. ạ ặ ứ ế ữ
Có th xem các tr ng s là ph ng ti n đ l u tr thông tin dài h n trong m ngể ọ ố ươ ệ ể ư ữ ạ ạ
neural và nhi m v c a quá trình hu n luy n c a m ng là c p nh t các tr ng s khi cóệ ụ ủ ấ ệ ủ ạ ậ ậ ọ ố
thêm thông tin v m u h c. Hay nói m t cách khác, các tr ng s đ u đ c đi u ch nhề ẫ ọ ộ ọ ố ề ượ ề ỉ
sao cho dáng đi u vào ra c a m ng s mô ph ng hoàn toàn phù h p v i môi tr ngệ ủ ạ ẽ ỏ ợ ớ ườ
đang xem xét.
3.1 M ng M t T ngạ ộ ầ
M ng m t t ng v i S n -ron đ c minh h a trong hình 3.1. Chú ý r ng v i m iạ ộ ầ ớ ơ ượ ọ ằ ớ ỗ
m t đ u vào trong s R đ u vào s đ c n i v i t ng n -ron và ma tr n tr ng s bâyộ ầ ố ầ ẽ ượ ố ớ ừ ơ ậ ọ ố
gi s có S hàng.ờ ẽ
M t t ng bao g m ma tr n tr ng s , các b c ng, vector ng ng b, hàm chuy nộ ầ ồ ậ ọ ố ộ ộ ưỡ ể
và vector đ u ra a.ầ
M i ph n t c a vector đ u vào ỗ ầ ử ủ ầ p đ c n i v i t ng n -ron thông qua ma tr nượ ố ớ ừ ơ ậ
tr ng s ọ ố W. M i n -ron có m t ng ng , m t b c ng, m t hàm chuy n ỗ ơ ộ ưỡ ộ ộ ộ ộ ể f và m tộ
đ u ra .ầ
Cùng v i nhau, các đ u ra t o thành m t vector đ u ra ớ ầ ạ ộ ầ a.
Thông th ng thì s l ng đ u vào c a t ng khác v i s l ng n -ron.(R#S).ườ ố ượ ầ ủ ầ ớ ố ượ ơ
Có ph i t t c các n -ron trong cùng m t t ng ph i có hàm chuy n gi ng nhau ? Câuả ấ ả ơ ộ ầ ả ể ố
tr l i là không; b n có th đ nh nghĩa các n -ron trong m t t ng có hàm chuy n khácả ờ ạ ể ị ơ ộ ầ ể
nhau b ng cách k t h p song song hai m ng n -ron gi ng trên. C hai s có đ u vàoằ ế ợ ạ ơ ố ở ả ẽ ầ
gi ng nhau, và m i m ng s n xu t ra vài đ u ra.ố ỗ ạ ả ấ ầ
Ma tr n tr ng s cho các ph n t trong vector đ u vào ậ ọ ố ầ ử ầ W:
W =
Hình 3.1 : Mô hình m ng 1 l p.ạ ớ
Các ch s hàng c a các ph n t trong ma tr n ỉ ố ủ ầ ử ậ W ch ra n -ron đích đã k t h pỉ ơ ế ợ
v i tr ng s đó, trong khi ch s c t cho bi t đ u vào cho tr ng s đó. Vì v y, các ch sớ ọ ố ỉ ố ộ ế ầ ọ ố ậ ỉ ố
trong nói r ng đây là tr ng s c a đ u vào th 2 n i v i n -ron th 3.ằ ọ ố ủ ầ ứ ố ớ ơ ứ
3.2 M ng Đa T ngạ ầ