1
ĐI HC QUC GIA H NI
TRƢỜNG ĐI HC CÔNG NGH
Nông Th Hoa
CI TIN QUÁ TRÌNH HC
CA MT S MNG NƠ-RON GHI NH
Chuyên ngành: Khoa hc máy tính
Mã s: 62.48.01.01
LUN ÁN TIẾN SĨ KHOA HC MÁY TÍNH
NGƢỜI HƢỚNG DN KHOA HC
PGS.TS. Bùi Thế Duy
Hà Ni 2015
2
Lời cam đoan
Tôi xin cam đoan đây là công trình nghiên cu ca riêng tôi. Các kết qu đƣợc
viết chung vi các tác gi khác đều đƣc s đồng ý của c đồng tác gi trƣc khi
đƣa vào luận án. Các kết qu nêu trong lun án trung thc chƣa từng đƣợc ai
công b trong các công trình nào khác.
Tác giả
3
Li cảm ơn
Luận án đƣợc thc hin tại Trƣờng Đi hc Công nghệ, Đại hc Quc gia Hà
Ni, dƣi s hƣớng dn ca PGS.TS. Bùi Thế Duy.
Tôi xin y t ng biết ơn sâu sắc ti PGS.TS. Bùi Thế Duy GS.TS. Đặng
Quang Á, các thy đã những định hƣớng giúp tôi thành công trong vic nghiên
cu ca mình. Các thầy cũng đã động viên ch bảo giúp tôi vƣợt qua nhng khó
khăn để tôi hoàn thành đƣc luận án y. Tôi cũng chân thành cảm ơn TS.Võ Đình
Bảy, TS. Đặng Trung Kiên, Ths. Nguyn Quốc Đại, nhng ngƣời đã cho tôi nhiều
kiến thc quý báu v viết bài báo khoa hc tr giúp xut bn các bài báo. Nhng
s ch bo quý giá ca các thầy, đồng nghiệp đã giúp tôi hoàn thành tốt lun án này.
Tôi cũng xin cảm ơn tới các Thy, thuc Khoa Công ngh thông tin,
Trƣờng Đại hc Công nghệ, Đại hc Quc gia Nội đã tạo mọi điều kin thun
li giúp tôi trong quá trình làm nghiên cu sinh.
Tôi cũng xin cảm ơn ban lãnh đạo tờng Đại hc Công ngh thông tin
truyn thông, Đại hc Thái Nguyên đã tạo mọi điều kin v mt thi gian công
tác chuyên môn trong quá trình làm nghiên cu sinh.
Cui cùng, tôi xin gi li cảm ơn sâu sc tới gia đình bn bè, những ngƣời
đã luôn ng h h tr tôi v mi mt để tôi yên tâm hc tp đt đƣợc kết qu
hc tp tt.
4
MC LC
Lời cam đoan ......................................................................................................................... 2
Li cảm ơn ............................................................................................................................. 3
MC LC ............................................................................................................................. 4
Danh mc các t viết tt ........................................................................................................ 8
Danh mc các bng ................................................................................................................ 9
Danh mc các hình vẽ, đồ th .............................................................................................. 11
Danh mc các thut toán ...................................................................................................... 13
Danh mục các định lý .......................................................................................................... 13
M ĐẦU ............................................................................................................................. 14
CHƢƠNG 1. MẠNG NƠ-RON NHÂN TO ................................................................. 17
1.1 Nơ-ron sinh hc .......................................................................................................... 17
1.2 Nơ-ron nhân to ......................................................................................................... 18
1.3 Mạng nơ-ron nhân to ................................................................................................ 19
1.4 Các lut hc ca ANN ................................................................................................ 22
1.5 Ƣu và nhƣợc điểm ca ANN ...................................................................................... 24
1.6 ng dng ca ANN ................................................................................................... 24
1.7 Kết luận chƣơng ......................................................................................................... 26
CHƢƠNG 2. MT S MẠNG NƠ-RON GHI NH ..................................................... 27
2.1 Logic m .................................................................................................................... 27
2.1.1 Định nghĩa ........................................................................................................... 27
2.1.2 Các phép toán vi tp m .................................................................................... 27
2.2 Toán hc hình thái ...................................................................................................... 28
2.2.1 ới đầy đủ.......................................................................................................... 28
2.2.2 Các thao tác cơ bản với lƣới đầy đủ .................................................................... 28
2.3 Mô hình AM ............................................................................................................... 29
2.3.1 Khái nim v AM ................................................................................................ 29
2.3.2 Hoạt động ca AM .............................................................................................. 29
2.3.3 Mt s đặc điểm ca AM .................................................................................... 30
2.4 Mô hình BAM ............................................................................................................ 31
5
2.4.1 Mng Hopfield ..................................................................................................... 31
2.4 2 Khái nim v BAM ............................................................................................. 33
2.4.3 Quá trình hc ca BAM ...................................................................................... 34
2.4.4 Quá trình nh li ca BAM ................................................................................. 35
2.4.5 Hàm năng lƣợng ca BAM.................................................................................. 35
2.4.6 Chiến lƣợc hc nhiu ln dùng s ln lp ti thiểu để hc mt cp mu ............ 36
2.5 Mô hình FAM ............................................................................................................ 36
2.5.1 Khái nim FAM ................................................................................................... 36
2.5.2 Các kiểu nơ-ron trong FAM ................................................................................ 37
2.5.3 Các FAM ca Kosko và s tng quát hóa ........................................................... 38
2.6 Mô hình ART ............................................................................................................. 39
2.6.1 Cu trúc ca ART ................................................................................................ 39
2.6.2 Các bƣớc hoạt động chính ca ART.................................................................... 40
2.6.3 H các mô hình ca ART .................................................................................... 41
2.7 Mô hình Fuzzy ART .................................................................................................. 41
2.7.1 So sánh vi ART ................................................................................................. 41
2.7.2 Thut toán Fuzzy ART ........................................................................................ 42
2.7.3 Fuzzy ART với mã hóa đầy đủ ............................................................................ 43
2.7.3 Thƣớc đo chất lƣợng phân cụm ........................................................................... 44
2.8 Kết luận chƣơng ......................................................................................................... 44
CHƢƠNG 3. THUT TOÁN HC CI TIN CHO B NH LIÊN KT HAI CHIU
45
3.1 Gii thiu chung ......................................................................................................... 45
3.2 Các nghiên cu liên quan ........................................................................................... 45
3.2.1 Các mô hình lý thuyết .......................................................................................... 45
3.2.2 Các cách thc hc ................................................................................................ 47
3.2.3 Quá trình hc nhiu ln ca mt s BAM ........................................................... 47
3.3 Lý do đề xut thut toán hc mi ............................................................................... 49
3.4 Thut toán hc mi cho BAM.................................................................................... 50
3.4.1 Ý ng ................................................................................................................ 50
3.4.2 Phân tích mi quan h giữa MNTP và hàm năng lƣợng ..................................... 51
3.4.3 Ni dung thut toán hc mi ............................................................................... 52
3.5 Kết qu thc nghim .................................................................................................. 55