g Nguyễn Công Phương
g y
g
Mạng nơron và ứng dụng trong xử lý tín hiệu
Giới thiệu
Lô í h ờ à
Giới thiệu • Giới thiệu • Các mạng nơron đơn giản dùng cho phân loại mẫu • Kết hợp mẫu • Kết hợp mẫu • Các mạng cạnh tranh • Lý thuyết cộng hưởng thích nghi • Lý thuyết cộng hưởng thích nghi • Mạng lan truyền ngược • Lôgích mờ và mạng nơron lôgích mờ lô í h ờ ơ • Một số ứng dụng trong xử lý tín hiệu
Giới thiệu
2
Nội dung
L. Fausett. Fundamentals of Neural Networks • L. Fausett. Fundamentals of Neural Networks – Architectures, Algorithms, and Applications. Prentice Hall,1994
• J. Freeman, D. Skapura. Neural Networks – Algorithms, Applications, and Programming Techniques. Addison- Wesley, 1991
• A. Galushkin. Neural Network Theory. Springer, 2007 • N. Kasabov. Foundations of Neural Networks, Fuzzy
Systems, and Knowledge Engineering. MIT Press, 1998
• https://sites.google.com/site/ncpdhbkhn/
Giới thiệu
3
Tài liệu tham khảo
Giới thiệu • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số • Thiết lập trọng số • Hàm kích hoạt • Nơron MCP • Nơron MCP
Giới thiệu
4
Nội dung
ạ g
• Mạng nơron nhân tạo (MNN): hệ thống xử lý thông tin có một số
ý
g
ộ
ệ
)
g ạ ( tính chất giống với mạng nơron sinh học
• Tính chất:
ầ
– Thông tin được xử lý ở các phần tử đơn giản gọi là nơron – Tín hiệu lan truyền giữa các nơron thông qua các kết nối – Mỗi kết nối có một trọng số (được nhân với tín hiệu lan truyền) – Mỗi nơron có một hàm kích hoạt (thường là phi tuyến) tác động lên đầu vào
để tạo thành đầu ra
Đặc trưng: • Đặc trưng: – Kiểu kết nối giữa các nơron (gọi là cấu trúc) – Phương pháp xác định các trọng số (gọi là thuật toán học/huấn luyện) – Hàm kích hoạt
Giới thiệu
5
Giới thiệu (1)
Giới thiệu (2)
XX1 Z1
w1 v1
Y X2
Lớp ẩn
v2 v2 w2 w w3
X3
Đầu vào
y
( (
) )
f w x w x f 1 1 2 2
w x 3 3
Giới thiệu
6
Z2 Đầu ra
Các ứng dụng chính: • Các ứng dụng chính: – Xử lý tín hiệu – Điều khiển – Nhận dạng mẫu – Y học – Tổng hợp tiếng nói – Nhận dạng tiếng nói – Kinh doanh h
Ki h d
Giới thiệu
7
Giới thiệu (3)
Giới thiệu • Giới thiệu • Phân loại mạng nơron
Nội dung
– Mạng một lớp Mạng một lớp – Mạng nhiều lớp – Mạng cạnh tranh • Thiết lập trọng số • Hàm kích hoạtạ • Nơron MCP
Giới thiệu
8
w11
w1j w1j
wi1 w 1
wn1
wij w
w1m
wim w
wnm
Mạng một lớp
Giới thiệu
9
Y1 Yj Y Ym X1 Xi X Xn
w11
w11
w1j w1j
w1j w1j
wi1 wi1
wi1 w 1
wn1
wn1
w wij
wij w
w1m
w1m
wim w
wim w
wnm
wnm
Mạng nhiều lớp ề
Giới thiệu
10
Y1 Yi Y Ym Z1 Zj Z Zp X1 Xi X Xn
1
1
Mạng cạnh tranh
1
1
A1 A1 Am A
Giới thiệu
11
A1 A1
Giới thiệu • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số • Thiết lập trọng số
Nội dung
g g
yệ
– Huấn luyện có giám sát – Huấn luyện không giám sát – Trọng số cố định
• Hàm kích hoạtạ • Nơron MCP
Giới thiệu
12
Véctơ huấn luyện (mẫu) được kèm theo véctơ mục tiêu • Véctơ huấn luyện (mẫu) được kèm theo véctơ mục tiêu • Các trọng số được điều chỉnh theo một thuật toán huấn
luyệnyệ
• Thường dùng cho các bài toán phân loại VD: mạng lan truyền ngược • VD: mạng lan truyền ngược
Giới thiệu
13
ấHuấn luyện có giám sát
Mạng tự tổ chức • Mạng tự tổ chức • Nhóm các véctơ đầu vào với nhau, không cần biết đặc
)
điểm của (mỗi) nhóm ( • Không có véctơ mục tiêu Mạng tự tạo ra véctơ đặc trưng của từng nhóm • Mạng tự tạo ra véctơ đặc trưng của từng nhóm • VD: mạng Kohonen
Giới thiệu
14
ấHuấn luyện không giám sát
Dùng khi khó huấn luyện • Dùng khi khó huấn luyện • VD: mạng Boltzmann, mạng Hopfield liên tục
Giới thiệu
15
Trọng số cố định ố ố
Nội dung
g
Giới thiệu • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số • Thiết lập trọng số • Hàm kích hoạt Đồng nhất – Đồng nhất – Bước nhị phân – Sigmoid nhị phân ị p – Sigmoid lưỡng cực
• Nơron MCP
Giới thiệu
16
f x ( )
x x
x
f x ( ) ( ) f
Giới thiệu
17
Hàm đồng nhất ấ ồ
f x ( )
11
x
f x ( )
0 0
x nÕu x x nÕu nÕu
1
Giới thiệu
18
Hàm bước nhị phân
f f x( ) ( )
3
1
1
x
0
f x ( )
x
f
x '( )
f x
( )]
1 e 1 f x ( )[1
Giới thiệu
19
Hàm sigmoid nhị phân
f x( ) ( ) f
1
1
x
0
x
g x ( )
f x 2 ( ) 1
1
x
x
1 2 e
1
1 1
e e
g x '( )
[1
g x
( )][1
f x
( )]
2
Giới thiệu
20
Hàm sigmoid lưỡng cực
Giới thiệu • Giới thiệu • Phân loại mạng nơron • Thiết lập trọng số • Thiết lập trọng số • Hàm kích hoạt • Nơron MCP • Nơron MCP
Giới thiệu
21
Nội dung
Nơron McCulloch – Pitts (1)
X1
2
Y Y 2 2 X2 X
–1
Giới thiệu
22
X3
XX1
w
Nơron McCulloch – Pitts (2)
Xn
w
–p
Xn+1
–p p
Y Y
f y vao
( _
)
y vao _ y vao _
nÕu nÕu
1 0
Xn+m n m
Giới thiệu
23
Nơron McCulloch – Pitts (3)
X1
1
2
Y Y
1
Giới thiệu
24
X2
Nơron McCulloch – Pitts (4)
X1
2
2
Y Y
2
Giới thiệu
25
X2
Nơron McCulloch – Pitts (5)
X1
2
2
Y Y
–1
Giới thiệu
26
X2
Nơron McCulloch – Pitts (6)
2 X1
2 Z1 2 –1
Y Y
2
–1 –1
2 X2
Giới thiệu
27
Z2 2
