PPt4 Radial Basis Function Network - RBN

Chia sẻ: Pham Thanh Hai | Ngày: | Loại File: PPT | Số trang:39

Thêm vào BST

Báo xấu

185
lượt xem 52
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Radial-basis function (RBF) networks RBF = radial-basis function: là hàm phụ thuộc vào khỏang cách gốc từ một vector. RBFs là các hàm có dạng như trong hình Với f là hàm activation phi tuyến, x là các đầu vào và ti là vị trí thứ i, mẫu đầu tiên, vector cơ sở hoặc vector trung tâm. Điều này chỉ ra các điểm gần tâm sẽ có đầu ra tương tự nhau

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: PPt4 Radial Basis Function Network - RBN

Radial-basis function (RBF) networks RBF = radial-basis function: là hàm phụ thuộc vào khỏang cách gốc từ một vector XOR problem Khả năng phân tách theo bậc 2 (quadratically separable) Faculty of Electronics and Telecommunications, HUT 1 1 Bangkok, Jun. 14 – 23, 2006
RBFs là các hàm có dạng φ(|| x − t i ||) Với φ là hàm activation phi tuyến, x là các đầu vào và ti là vị trí thứ i, mẫu đầu tiên, vector cơ sở hoặc vector trung tâm. Điều này chỉ ra các điểm gần tâm sẽ có đầu ra tương tự nhau NN 3 Faculty of Electronics and Telecommunications, HUT 2 2 Bangkok, Jun. 14 – 23, 2006
RBF NN: Kiến trúc x1 ϕ1 w1 x2 y wm1 ϕ m1 xm  Có một lớp ẩn với các hàm activation RBF ϕ1...ϕm1  Lớp ở đầu ra với hàm activation tuyến tính y = w1ϕ1 (|| x − t1 ||) +... + wm1ϕm1 (|| x − tm1 ||) || x − t || là khoảng cách của x = ( x1 ,..., xm ) với t Faculty of Electronics and Telecommunications, HUT 3 Bangkok, Jun. 14 – 23, 2006
Các loại RBF (a) Multiquadrics φ (r ) = (r + c ) 2 2 1/ 2 Với c>0 (b) Inverse multiquadrics φ (r ) = (r + c ) 2 2 −1 / 2 c>0 (a) Gaussian r2 φ )=e p− 2) (r x( 2σ với σ >0 NN 3 Faculty of Electronics and Telecommunications, HUT 4 4 Bangkok, Jun. 14 – 23, 2006
• Inverse multiquadrics và Gaussian RBFs là hai ví dụ về các hàm ‘localized’ • Multiquadrics RBFs là các hàm ‘nonlocalized’ • ‘Localized’: nghĩa là khoảng cách từ tâm tăng dẫn đến giảm đầu ra của RBF • ‘Nonlocalized’: là khoảng cách từ tâm tăng cùng với sự gia tăng của RBF NN 3 Faculty of Electronics and Telecommunications, HUT 5 5 Bangkok, Jun. 14 – 23, 2006
‘nonlocalized’ functions ‘localized’ functions NN 3 Faculty of Electronics and Telecommunications, HUT 6 6 Bangkok, Jun. 14 – 23, 2006
HIDDEN NEURON MODEL  Các phần tử Hidden có hàm activation là các radial basis functions Đầu ra phụ thuộc vào khoảng cách đầu φ( || x - t||) vào x tới tâm t Xét hàm Gaussian RBF: x1 φσ ( || x - t||) x2 ϕσ t được gọi là tâm (center) σ được gọi là trải rộng (spread) center và spread là các tham số xm NN 3 Faculty of Electronics and Telecommunications, HUT 7 7 Bangkok, Jun. 14 – 23, 2006
Gaussian RBF φ φ: center σ chỉ ra mức độ trải rộng của đường cong Large σ Small σ NN 3 Faculty of Electronics and Telecommunications, HUT 8 8 Bangkok, Jun. 14 – 23, 2006
Hidden Neurons  hidden neuron nhạy hơn (more sensitive to) đối với các điểm dữ liệu gần tâm.  Đối với Gaussian RBF khả năng nhạy này có thể được chỉnh bằng cách thay đổi hệ số trải σ, ở đó hệ số trải lớn có độ nhạy giảm.  Ví dụ trong Biologic: cochlear stereocilia cells (in our ears ...) have locally tuned frequency responses. NN 3 Faculty of Electronics and Telecommunications, HUT 9 9 Bangkok, Jun. 14 – 23, 2006
Ví dụ 1 x2 - - +1 - +2 - - - - x1 Không gian là không gian đầu vào Các mẫu bên trong vòng tròn 1 và 2 là các lớp +, ngược lại là các lớp – Liệu ta có thể tách hai lớp này dùng RBF NN hay không? NN 3 Faculty of Electronics and Telecommunications, HUT 10 10 Bangkok, Jun. 14 – 23, 2006
Lời giải như sau Chọn các tâm t1 ,t2 cho hai vòng tròn. Cho r1, r2 là các bán kính của hai vòng tròn, và x = (x1,x2) là mẫu 1 if || x − t1 || r1 x1 ϕ1 1 y x2 ϕ2 1 1 if || x − t 2 || r 2 1 if || x − t || c NN 3 Faculty of Electronics and Telecommunications, HUT 11 11 Bangkok, Jun. 14 – 23, 2006
Example 1 ϕ2 - +2 - - (0,1) + 1 - - - - (0,0) (1,0) ϕ1 Xét về hình học: các mẫu được ánh xạ từ không gian đầu vào tới không gian đặc tính (feature space) : 1. Các mẫu trong vòng tròn 1 được ánh xạ vào điểm (1,0), 2. Các mẫu trong vòng tròn 2 được ánh xạ vào (0,1), 3. Các mẫu ngoài cả hai vòng tròn được ánh xạ về (0,0). Như vậy hai lớp được tách tuyến tính trong không gian (ϕ1, ϕ2) NN 3 Faculty of Electronics and Telecommunications, HUT 12 12 Bangkok, Jun. 14 – 23, 2006
Ví dụ 2: the XOR problem x2  Không gian đầu vào: (0,1) (1,1) x1 (0,0) (1,0)  Không gian đầu ra: 0 1 y  Xây dựng bộ phân loại mẫu RBFcó hàm activation Gaussian sao cho: (0,0) và (1,1) được map vào 0, lớp C1 (1,0) và (0,1) được map vào 1, lớp C2 Faculty of Electronics and Telecommunications, HUT 13 Bangkok, Jun. 14 – 23, 2006
Ví dụ 2: lời giải  Chọn các tâm vòng tròn t1 = (1,1) , t 2 = (0,0) φ2 (0,0) 1.0 Biên giới quyết định −||x −t1 ||2 ϕ1 (|| x − t1 ||) = e 0.5 (1,1) −||x −t2 ||2 ϕ 2 (|| x − t2 ||) = e 0.5 1.0 φ1 (0,1) and (1,0)  Khi được ánh xạ vào không gian đặc trung (lớp hidden), C1 và C2 trở nên có thể tách tuyến tính. Do vậy bộ phân loại tuyến tính với ϕ 1(x) và ϕ 2(x) là các đầu vào có thể được dùng để thực hiện cho XOR. Faculty of Electronics and Telecommunications, HUT 14 Bangkok, Jun. 14 – 23, 2006
Ví dụ 2: lời giải (cont.) −||x −t1 ||2 ϕ1 (|| x − t1 ||) = e with t1 = (1,1) and t2 = (0,0) −||x −t2 ||2 ϕ 2 (|| x − t2 ||) = e x1 t1 -1 y x2 t2 -1 +1 −|| x −t1 ||2 −|| x −t 2 ||2 y = −e −e +1 Khi y>0 là lớp 1 và ngược lại NN 3 Faculty of Electronics and Telecommunications, HUT 15 15 Bangkok, Jun. 14 – 23, 2006
RBF: Các tham số được học  Việc học của Gaussian RBF được thực hiện ntn với các tham số sau?  Tâm của RBF activation functions  Hệ số trải của hàm activation Gaussian RBF  weights của các hidden neuron  Các giải thuật học khác nhau có thể được dùng cho quá trình học các tham số của mạng RBF. Ta mô tả 3 phương pháp có thể cho việc học tâm, hệ số trải và weights. NN 3 Faculty of Electronics and Telecommunications, HUT 16 16 Bangkok, Jun. 14 – 23, 2006
Dạy kiểu lai cho RBF NN Quá trình học gồm 2 giai đoạn Giai đoạn 1: Tìm - centre/position (ti) - width (σ) dùng phương pháp không giám sát (xem sau) khi chúng là các dữ liệu nhiều và không được đánh nhãn Giai đoạn 2: Tìm các giá trị của weight cho các neuron ở lớp hidden và output NN 3 Faculty of Electronics and Telecommunications, HUT 17 17 Bangkok, Jun. 14 – 23, 2006
Giải thuật học 1  Các Tâm (Centers): được chọn ngẫu nhiên từ tập dữ liêu dạy cho mạng  Hệ số trải (Spreads): được chọn bằng việc chuẩn hóa (normalization): Maximum distance between any 2 centers d max σ= = number of centers m 1  Sau đó hàm activation của các neuron thứ i trở thành: 2 (  m1 ) 2 ϕi x − t i = exp − 2 x − t i   d   max  NN 3 Faculty of Electronics and Telecommunications, HUT 18 18 Bangkok, Jun. 14 – 23, 2006
Giải thuật học 1 (cont.)  Weights: được tính toán thông qua phương pháp pseudoinverse method.  Với mẫu , xét đầu ra của mạng ( xi , d i ) y ( xi ) = w1ϕ1 (|| xi − t1 ||) + ... + wm1ϕ m1 (|| xi − tm1 ||)  Ta mong muốn thì y ( xi ) = d i w1ϕ1 (|| xi − t1 ||) + ... + wm1ϕ m1 (|| xi − tm1 ||) = d i NN 3 Faculty of Electronics and Telecommunications, HUT 19 19 Bangkok, Jun. 14 – 23, 2006
Giải thuật học 1 (cont.)  Có thể viết lại ở dạng ma trận cho một mẫu [ϕ1 (|| xi − t1 ||) ... ϕ m1 (|| xi − tm1 ||)][ w1...wm1 ]T = d i và ϕ1 (|| x1 − t1 ||)...ϕ m1 (|| x1 − tm1 ||)  ... [ w ...w ]T = [d ...d ]T   1 m1 1 N ϕ1 (|| x N − t1 ||)...ϕ m1 (|| xN − tm1 ||)   Cho tất cả các mẫu cùng lúc NN 3 Faculty of Electronics and Telecommunications, HUT 20 20 Bangkok, Jun. 14 – 23, 2006