M C L CỤ Ụ
M C L CỤ Ụ .............................................................................................................................. 1
CÁC HÌNH V , B NG BI U TRONG LU N VĂNẼ Ả Ể Ậ .......................................................... 2
THU T NG TI NG ANHẬ Ữ Ế .................................................................................................. 2
L i c m nờ ả ơ ............................................................................................................................ 3
Ch ng 1. Gi i thi u v m ng n ron nhân t oươ ớ ệ ề ạ ơ ạ .................................................................. 5
1.1 C u trúc và mô hình m ng n ron ấ ạ ơ .............................................................................. 7
1.1.1 Mô hình m t n ron sinh h cộ ơ ọ ................................................................................ 7
1.1.2 C u trúc và mô hình c a m t n ron nhân t oấ ủ ộ ơ ạ ..................................................... 8
1.2 C u t o và ph ng th c làm vi c c a m ng n ronấ ạ ươ ứ ệ ủ ạ ơ ............................................... 11
1.2.1 M ng n ron m t l pạ ơ ộ ớ .......................................................................................... 13
1.2.2 M ng n ron truy n th ng nhi u l pạ ơ ề ẳ ề ớ ................................................................. 14
1.2.3 M ng n ron ph n h iạ ơ ả ồ ........................................................................................ 15
1.2.4 M ng n ron h i quyạ ơ ồ ........................................................................................... 15
1.2.5 M ng Hopfieldạ .................................................................................................... 15
1.2.6 M ng BAMạ ......................................................................................................... 17
1.3 Các lu t h cậ ọ ............................................................................................................... 18
1.3.1 H c có giám sátọ ................................................................................................... 19
1.3.2 H c c ng cọ ủ ố ....................................................................................................... 20
1.3.3 H c không có giám sátọ ........................................................................................ 20
1.4 Thu t toán lan truy n ng cậ ề ượ ..................................................................................... 22
1.5 K t lu nế ậ ..................................................................................................................... 29
Ch ng 2. Tìm hi u m ng n ron Kohonenươ ể ạ ơ ....................................................................... 30
2.1 Gi i thi uớ ệ ................................................................................................................... 30
2.2.1 M ng n ron Kohonen nh n d ng ạ ơ ậ ạ .............................................................. 33
2.2.2 C u trúc c a m ng n ron Kohonenấ ủ ạ ơ ................................................................... 33
2.2.3 Chu n hóa d li u đ u vàoẩ ữ ệ ầ ................................................................................ 34
2.2.4 Tính toán d li u đ u ra c a n ronữ ệ ầ ủ ơ ................................................................... 35
2.2.5 Ánh x l ng c cạ ưỡ ự .............................................................................................. 36
2.2.6 Ch n n ron th ngọ ơ ắ ............................................................................................... 36
2.2.7 Quá trình h c c a m ng Kohonenọ ủ ạ ..................................................................... 37
2.2.8 T l (t c đ ) h c ỉ ệ ố ộ ọ .............................................................................................. 39
2.2.9 Đi u ch nh các tr ng s (c p nh t tr ng s )ề ỉ ọ ố ậ ậ ọ ố .................................................... 39
2.2.10 Tính toán sai số ................................................................................................. 39
2.3. Th c thi m ng n ron Kohonenự ạ ơ ................................................................................ 40
2.3.1 Th c thi m ng n ron truy n th ngự ạ ơ ề ẳ .................................................................. 40
2.3.2 Th c thi lan truy n ng cự ề ượ ................................................................................. 45
2.3.3 Các t p hu n luy nậ ấ ệ ............................................................................................ 46
2.3.4 Báo cáo ti n trìnhế ................................................................................................ 47
2.3.4.1 L p m ng c sớ ạ ơ ở .............................................................................................. 47
2.3.4.2 L p KohonenNetworkớ ..................................................................................... 49
2.4 K t lu nế ậ ..................................................................................................................... 57
Ch ng 3. Nh n d ng ký t quang s d ng m ng n ron Kohonenươ ậ ạ ự ử ụ ạ ơ ................................ 59
3.1 Gi i thi u chungớ ệ ........................................................................................................ 59
3.2 Hu n luy n m ngấ ệ ạ ..................................................................................................... 60
- 1 -
3.3 Th nghi m s d ng m ng n ron Kohonen đ nh n d ng ký t quangử ệ ử ụ ạ ơ ể ậ ạ ự .............. 61
3.4 Tr ng h p ngo i lườ ợ ạ ệ ................................................................................................. 64
3.5 K t lu nế ậ .................................................................................................................... 65
K T LU NẾ Ậ .......................................................................................................................... 66
Tài tham kh oả ...................................................................................................................... 67
CÁC HÌNH V , B NG BI U TRONG LU N VĂNẼ Ả Ể Ậ
Hình 1.1 M t n ron sinh h cộ ơ ọ ................................................................................................ 8
Hình 1.2. S liên k t các n ronự ế ơ ............................................................................................. 8
Hình 1.3 Mô hình m t n ron nhân t o ộ ơ ạ ................................................................................. 9
Hình 1.4 Đ th các d ng hàm truy nồ ị ạ ề ................................................................................. 11
Hình 1.5 M ng n ron ba l pạ ơ ớ ............................................................................................... 12
Hình 1.6 M t s d ng m ng n ronộ ố ạ ạ ơ .................................................................................... 14
Hình 1.7 C u trúc c a m ng Hopfieldấ ủ ạ ................................................................................ 16
Hình 1.8 C u trúc c a BAM ấ ủ .............................................................................................. 17
Hình 1.9: C u trúc hu n luy n m ng n ronấ ấ ệ ạ ơ ...................................................................... 18
Hình 1.10: H c có giám sátọ ................................................................................................. 20
Hình 1.11: H c không có giám sát ọ ...................................................................................... 20
Hình 1.12: S đ c u trúc chung c a quá trình h cơ ồ ấ ủ ọ ........................................................... 21
Hình 1.14: M ng 3 l p lan truy n ng cạ ớ ề ượ ........................................................................... 23
Hình 2.1: M t d ng m ng n ron Kohonenộ ạ ạ ơ ........................................................................ 34
Hình 2.2: S đ kh i bi u di n hu n luy n m ng n ron Kohonen.ơ ồ ố ể ễ ấ ệ ạ ơ ............................... 39
Hình 3.1:Mô hình chung trong nh n d ng ch vi t.ậ ạ ữ ế .......................................................... 60
Hình 3.2: S đ hu n luy n m ngơ ồ ấ ệ ạ ..................................................................................... 60
Hình 3.4: Bi u di n ký t e theo ma tr n 5x7 pixcel.ể ễ ự ậ ........................................................ 62
Hình 3.5: Bi u di n ký t e theo ma tr n 5x7 b i các giá tr ể ễ ự ậ ở ị ........................................... 62
Hình3.6: Bi u di n ký t e vector đ u vàoể ễ ự ở ầ ..................................................................... 62
Hình 3.7 V và gán ký tẽ ự ................................................................................................. 63
Hình 3.8 K t qu m ng n ron Kohonen nh n d ng ký t e và ký t cế ả ạ ơ ậ ạ ự ự ............................ 63
Hình 3.9 Đ a ch ký vào m ng và gán tênư ữ ạ ......................................................................... 64
Hình 3.10 K t qu m ng n ron Kohonen nh n d ng ch kýế ả ạ ơ ậ ạ ữ .......................................... 64
THU T NG TI NG ANHẬ Ữ Ế
- 2 -
ANN M ng n ron c n hu n luy nạ ơ ầ ấ ệ
BAM M ng BAM (Bidirectional Associative Memory)ạ
SOM M ng n ron t t ch c (ạ ơ ự ổ ứ Self Organizing Maps)
PE Ph n t x lý (Processing Element)ầ ử ử
OCR Nh n d ng ký t quang (optical character recognition)ậ ạ ự
L i c m nờ ả ơ
Chúng ta đ u bi t r ng, b não con ng i là m t s n ph m hoàn h o c aề ế ằ ộ ườ ộ ả ẩ ả ủ
t o hóa, nó có kh năng t duy và sáng t o. Hi n nay, con ng i đang nghiên c uạ ả ư ạ ệ ườ ứ
ph ng th c ho t đ ng c a b não, sau đó áp d ng cho nh ng công ngh hi nươ ứ ạ ộ ủ ộ ụ ữ ệ ệ
đ i. Đ ti p c n kh năng h c, ng i ta đ a ra mô hình m ng n ron g m cácạ ể ế ậ ả ọ ườ ư ạ ơ ồ
- 3 -
n ron liên k t v i nhau thành m ng ph ng theo c u trúc m ng th n kinh c a conơ ế ớ ạ ỏ ấ ạ ầ ủ
ng i.ườ
M i n ron riêng l có kh năng x lý thông tin y u, nh ng khi chúng đ cỗ ơ ẻ ả ử ế ư ượ
ghép v i nhau thành m ng, thì kh năng x lý thông tin s m nh h n r t nhi u.ớ ạ ả ử ẽ ạ ơ ấ ề
M i c u trúc m ng đ u có m t u đi m đ c thù, chúng cho ta m t công c m nhỗ ấ ạ ề ộ ư ể ặ ộ ụ ạ
trong các lĩnh v c k thu t đi u khi n và k thu t thông tin. M t m ng n ronự ỹ ậ ề ể ỹ ậ ộ ạ ơ
nhân t o là t p h p m t s l n các ph n t x lý (các nút hay các kh i), th ngạ ậ ợ ộ ố ớ ầ ử ử ố ườ
đ c t ch c song song và đ c c u hình theo ki n trúc đ quy. Cách ng s trênượ ổ ứ ượ ấ ế ệ ứ ử
m ng n ron nhân t o gi ng nh b não con ng i, nó ch ng t kh năng h c,ạ ơ ạ ố ư ộ ườ ứ ỏ ả ọ
nh l i, và t ng quát hóa t d li u hu n luy n.ớ ạ ổ ừ ữ ệ ấ ệ
M ng n ron nhân t o là công c t t trong vi c gi i quy t các bài toán nh :ạ ơ ạ ụ ố ệ ả ế ư
h p và phân l p đ i t ng, x p x hàm, t i u hóa, đ nh l ng vector, phân c mợ ớ ố ượ ấ ỉ ố ư ị ượ ụ
d li u,...Nó thay th hi u qu các công c tính toán truy n th ng đ gi i quy tữ ệ ế ệ ả ụ ề ố ể ả ế
các bài toán này.
Nh n d ng là m t lĩnh v c đóng vai trò quan tr ng trong khoa h c k thu t.ậ ạ ộ ự ọ ọ ỹ ậ
Trong h u h t các v n đ k thu t ngày nay, ta đ u ph i xác đ nh, nh n d ngầ ế ấ ề ỹ ậ ề ả ị ậ ạ
đ c các mô hình và đ i t ng liên quan, đ t đó tìm ra gi i pháp. Nh n d ngượ ố ượ ể ừ ả ậ ạ
mô hình là bài toán r t quan trong trong lý thuy t h th ng. Lý do đ n gi n là vìấ ế ệ ố ơ ả
không th phân tích, t ng h p h th ng khi không có mô hình toán h c mô t hể ổ ợ ệ ố ọ ả ệ
th ng. Trong quá trình xây d ng mô hình h th ng trên ph ng di n lý thuy t,ố ự ệ ố ươ ệ ế
ng i ta th ng không kh o sát đ c m i nh h ng c a môi tr ng đ n tínhườ ườ ả ượ ọ ả ưở ủ ườ ế
đ ng h c c a h th ng, cũng nh nh ng tác đ ng qua l i bên trong h th ng m tộ ọ ủ ệ ố ư ữ ộ ạ ệ ố ộ
cách chính xác tuy t đ i. R t nhi u y u t đã b b qua, ho c ch đ c xem xétệ ố ấ ề ế ố ị ỏ ặ ỉ ượ
đ n nh là m t tác đ ng ng u nhiên. B i v y, n u nói m t cách ch t ch thìế ư ộ ộ ẫ ở ậ ế ộ ặ ẽ
nh ng hi u bi t lý thuy t ban đ u v h th ng, m i ch có th giúp ta khoanhữ ể ế ế ầ ề ệ ố ớ ỉ ể
đ c l p các mô hình thích h p. Đ có th có đ c m t mô hình c th có ch tượ ớ ợ ể ể ượ ộ ụ ể ấ
l ng phù h p v i bài c th toán đ t ra trong l p các mô hình thích h p đó, thìượ ợ ớ ụ ể ặ ớ ợ
ph i s d ng ph ng pháp nh n d ng. Còn bài toán nh n d ng, phân tích phânả ử ụ ươ ậ ạ ậ ạ
c m d li u, là các bài toán r t hay g p trong th c t , khi chúng ta nhìn th y m tụ ữ ệ ấ ặ ự ế ấ ộ
- 4 -
v t gì đó, thì câu h i th ng tr c c a m i ng i là; v t đó có máy lo i, và nóậ ỏ ườ ự ủ ỗ ườ ậ ạ
thu c lo i nào trong các lo i có th có.ộ ạ ạ ể
Đ gi i quy t các bài toán nh n d ng, ng i ta đã đ a vào các cách ti pể ả ế ậ ạ ườ ư ế
c n khác nhau, m i ph ng pháp ti p c n trong nh ng bài toán c th đ u cóậ ỗ ươ ế ậ ữ ụ ể ề
nh ng u, nh c đi m riêng. Ph ng pháp ng d ng m ng n ron trong nh nữ ư ượ ể ươ ứ ụ ạ ơ ậ
d ng là m t cách ti p c n m i và hi n đ i. Nó có th là công c r t m nh đ gi iạ ộ ế ậ ớ ệ ạ ể ụ ấ ạ ể ả
quy t các bài toán trong lĩnh v c này. ế ự
N i dung c a đ tài đi vào tìm hi u và xây d ng các ph n t n ron c b n,ộ ủ ề ể ự ầ ử ơ ơ ả
xem xét và nghiên c u c u trúc m t m ng n ron, gi i thi u v m ng n ron nhi uứ ấ ộ ạ ơ ớ ệ ề ạ ơ ề
l p v i thu t toán lan truy n ng c. Tr ng tâm c a đ tài đi vào tìm hi u vớ ớ ậ ề ượ ọ ủ ề ể ề
m ng n ron Kohonen (hay m ng n ron t t ch c – SOM).ạ ơ ạ ơ ự ổ ứ
Đ tài g m ba ch ngề ồ ươ
Ch ng 1, trình bày c u trúc m t ph n t n ron c b n, các c u trúc m ngươ ấ ộ ầ ử ơ ơ ả ấ ạ
n ron nhân t o th ng g p, thu t toán h c, phân tích u nh c đi m c a chúng,ơ ạ ườ ặ ậ ọ ư ượ ể ủ
và gi i thi u v thu t toán lan truy n ng c.ớ ệ ề ậ ề ượ
Ch ng 2, tìm hi u m ng n ron Kohonen.ươ ể ạ ơ
Ch ng 3, nh n d ng ký t quang s d ng m ng n ron Kohonen.ươ ậ ạ ự ử ụ ạ ơ
Cu i cùng em xin c m n các thày cô giáo, đ c bi t là PGS.TSKH Bùi Côngố ả ơ ặ ệ
C ng đã t n tình ch d n cho em trong su t th i gian làm đ tài. Xin c m n cácườ ậ ỉ ẫ ố ờ ề ả ơ
b n cùng l p đã t o đi u ki n cho tôi đ c h c t p và nghiên c u trong môiạ ớ ạ ề ệ ượ ọ ậ ứ
tr ng t t.ườ ố
Hà n i, tháng 12 năm 2009.ộ
Ch ng 1. Gi i thi u v m ng n ron nhân t oươ ớ ệ ề ạ ơ ạ
H c máy ọlà m t ngành khoa h c nghiên c u các ộ ọ ứ thu t toánậ cho phép máy
tính có th h c đ c các khái ni m.ể ọ ượ ệ
- 5 -