1
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Mã số: CT384, 3 Tín chỉ
(KT Điện tử VT, KT Điều khiển và Cơ – Điện tử)
TS. Nguyễn Chí Ngôn
Bộmôn Tự Động Hóa
Khoa Kỹthuật Công nghệ
Email: ncngon@ctu.edu.vn
---2008---
ĐẠI HỌC CẦN THƠ
2
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Nội Dung
Chương 1: Tổng quan vềmạng nơron nhân tạo (ANN)
Chương 2: CấutrúccủaANN
Chương 3: Các giảithuậthuấnluyện ANN
Chương 4: Mộtsốứng dụng của ANN (MATLAB)
Đồ án môn học
Chương 5: Mạng nơron mờ(Fuzzy-Neural Networks)
Chương 6: Mộtsốđịnh hướng nghiên cứu (Case Studies)
Ôn tậpvàthảoluận
Tham khảo:
1. Nguyễn Chí Ngôn, Điều khiển mô hình nội và Neural network: Chương 2 – Mạng nơ-
ron nhân tạo, Luận án cao học, ĐHBK Tp. HCM, 2001.
2. Nguyễn Đình Thúc, Mạng nơron – Phương pháp và ứng dụng, NXBGD, 2000.
3. Simon Haykin, Neural Networks a comprehensive foundation, Prentice Hall, 1999.
4. Howard Demuth, Mark Beale and Martin Hagan, Neural Networks toolbox 5 –
User‘s Guide, The Matworks Inc., 2007.
3
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Tổchứcmônhọc
Thờilượng môn học: 3TC
2 TC lý thuyếtvàbàitậptrênlớp
1 TC Đồ án môn học (03 SV thựchiện1 đề tài)
Lịch học:
Tuần1: Chương 1
Tuần2 –3: Chương 2 + Bài tập
Tuần4 –5: Chương 3 + Bài tập
Tuần6 –7: Chương 4 + Bài tập
Tuần8 –11: Đồ án môn học
Tuần12 –13: Chương 5 + Bài tập
Tuần14: Chương 6
Tuần15: Ôntậpvàthảoluận
Đánh giá
Đồ án môn học: 45%
Thi hết môn: 55%
4
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Chương 3
Các giảithuậthuấnluyệnANN
Giớithiệu
Các phương pháp huấnluyện
Mộtsốgiảithuật thông dụng
Hàm mục tiêu
Mặtlỗivàcácđiểmcựctiểucụcbộ
Qui trình thiếtkếmộtANN
Các kỹthuậtphụtrợ
Minh họabằng MATLAB
Bài tập
5
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Giới thiệu
Gới thiệu vềcác phương pháp huấn luyện
Tìm hiểu một sốgiải thuật thông dụng để huấn luyện ANN. Phần
này tập trung vào giải thuật Gradient descent và các giải thuật cải
tiến của nó
Hàm mục tiêu
Mặt lỗi và các điểm cực tiểu cục bộ
Một sốví dụvề phương pháp huấn luyện mạng bằng MATLAB
Qui trình thiết kếmột ANN
Các kỹthuật phụtrợ
Hiện tượng quá khớp của ANN
6
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Các phương pháp huấnluyện
Huấnluyệnmạng là quá trình thay đổicáctrọng sốkếtnối
và các ngưỡng củanơ-ron, dựatrêncácmẫudữliệuhọc,
sao cho thỏamãnmộtsốđiềukiệnnhấtđịnh.
Có 3 phương pháp học:
Học giám có sát (supervised learning)
Học không giám sát (unsupervised learning)
Họctăng cường (reinforcement learning).
)Sinh viên tham khảotàiliệu [1].
Giáo trình này chỉtập trung vào phương pháp họccógiám
sát. Hai phương pháp còn lại, sinh viên sẽđượchọctrong
chương trình Cao học.
7
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
GiảithuậthuấnluyệnANN (1)
Trong phần này chúng ta tìm hiểuvềgiảithuậttruyềnngược
(backpropagation) và các giảithuậtcảitiếncủa nó, áp dụng cho
phương pháp họccógiámsát.
Giảithuậttruyềnngượccậpnhậtcáctrọng sốtheo nguyên tắc:
wij(k+1) = wij(k) + ηg(k)
trong đó:
wij(k) là trọng sốcủakếtnốitừnơ-ron j đếnnơ-ron i, ởthờiđiểmhiệntại
ηlà tốcđộ học (learning rate, 0< η≤1)
g(k) là gradient hiệntại
Có nhiềuphương pháp xác định gradient g(k), dẫntớicónhiều
giảithuậttruyềnngượccảitiến.
8
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
GiảithuậthuấnluyệnANN (2)
Để cậpnhậtcáctrọng sốcho mỗichukỳhuấnluyện, giảithuật
truyềnngượccần 2 thao tác:
Thao tác truyềnthuận (forward pass phase): Áp vectơdữliệuvào
trong tậpdữliệuhọc cho ANN và tính toán các ngõ ra củanó.
Thao tác truyềnngược (backward pass phase): Xác định sai biệt(lỗi)
giữangõrathựctếcủa ANN và giá trịngõramongmuốntrongtậpdữ
liệuhọc. Sau đó, truyềnngượclỗinàytừngõ ra vềngõ vào của ANN và
tính toán các giá trịmớicủacáctrọng số, dựatrêngiátrịlỗi này.
Σ
p1(k)
p2(k)
pj(k)
pR(k)
wij(k)
wi2(k)
wi1(k)
wRj(k)
fti(k)
ei(k)
ai(k)
+ -
Minh họaphương pháp điềuchỉnh trọng sốnơ-
ron thứj tạithờiđiểmk
9
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Giảithuật gradient descent (1)
Xét mộtMLP 2 lớp:
pn
p1
p2
pi
a2j
a21
a2m
w2ij là trọng sốlớpra,
từj đếni
w1ij là trọng sốlớpẩn,
từj đếni
Ngõ ra nơ-ron ẩnlàa
1i
Lớpẩn
10
Mạng Nơ-ron nhân tạo, © Ts. Nguyễn Chí Ngôn, 2007 – Chương 3 & 4
Giảithuật gradient descent (2)
Thao tác truyềnthuận
Tính ngõ ra lớpẩn (hidden layer):
n1i(k) = Σjw1ij (k) pj(k) tạithờiđiểmk
a1i(k) = f1( n1i(k) )
vớif1là hàm kích truyềncủa các nơ-ron trên lớpẩn.
Ngõ ra củalớpẩn là ngõ vào củacácnơ-ron trên lớpra.
Tính ngõ ra ANN (output layer):
n2i(k) = Σjw2ij (k) a1j (k) tạithờiđiểmk
a2i(k) = f2( n2i(k) )
vớif2là hàm truyềncủacácnơ-ron trên lớpra