Luaän aùn Cao hoïc
Chöông 2 - Maïng neuron nhaân taïo
2.1
2
2
M
Ma
aïïn
ng
g
n
ne
eu
ur
ro
on
n
N
Nh
ha
aâân
n
t
ta
aïïo
o
N
No
oääi
i
D
Du
un
ng
g
2.1 Lòch söû phaùt trieån vaø caùc öùng duïng cuûa maïng Neuron...............................2.2
2.2 Boä naõo ngöôøi vaø Neuron sinh hoïc ................................................................2.5
2.3 Moâ hình Neuron nhaân taïo ............................................................................2.8
2.3.1 Moâ hình neuron 1 ngoõ vaøo............................................................................... 2.8
2.3.2 Moâ hình neuron nhieàu ngoõ vaøo ..................................................................... 2.11
2.4 Maïng Neuron ...............................................................................................2.11
2.4.1 Phaân loaïi maïng neuron ................................................................................. 2.11
2.4.2 Maïng neuron 1 lôùp ......................................................................................... 2.12
2.4.3 Maïng neuron nhieàu lôùp.................................................................................. 2.13
2.5 Huaán luyeän maïng ........................................................................................2.15
2.5.1 Hoïc coù giaùm saùt .............................................................................................. 2.15
2.5.2 Hoïc khoâng giaùm saùt ....................................................................................... 2.15
2.5.3 Hoïc taêng cöôøng............................................................................................... 2.18
2.6 Moät soá Giaûi thuaät huaán luyeän thoâng duïng.................................................2.20
2.6.1 Giaûi thuaät gradient descent ............................................................................ 2.22
2.6.2 Giaûi thuaät gradient descent with momentum ................................................ 2.24
2.6.3 Giaûi thuaät gradient descent with adaptive learning rate............................... 2.25
2.6.4 Giaûi thuaät gradient descent with momentum & adaptive lr.......................... 2.26
2.6.5 Giaûi thuaät truyeàn ngöôïc Resilient.................................................................. 2.27
2.6.6 Giaûi thuaät BFGS Quasi-Newton .................................................................... 2.28
2.6.7 Giaûi thuaät Levenberg-Marquardt................................................................... 2.29
2.6.8 So saùnh caùc giaûi thuaät.................................................................................... 2.30
2.7 Qui trình thieát keá maïng Neuron öùng duïng.................................................2.32
2.8 Vaøi kyõ thuaät phuï trôï.....................................................................................2.33
2.8.1 Tieàn xöû lyù döõ lieäu............................................................................................ 2.33
2.8.2 Khaû naêng toång quaùt hoùa cuûa maïng............................................................... 2.35
2.8.3 Kích thöôùc toái öu cuûa maïng........................................................................... 2.36
2.9 Toùm taét .........................................................................................................2.38
Taøi lieäu tham khaûo chöông 2 ............................................................................2.39
2
