PPt4 Radial Basis Function Network - RBN

Chia sẻ: Pham Thanh Hai | Ngày: | Loại File: PPT | Số trang:39

0
117
lượt xem
49
download

PPt4 Radial Basis Function Network - RBN

Mô tả tài liệu
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Radial-basis function (RBF) networks RBF = radial-basis function: là hàm phụ thuộc vào khỏang cách gốc từ một vector. RBFs là các hàm có dạng như trong hình Với f là hàm activation phi tuyến, x là các đầu vào và ti là vị trí thứ i, mẫu đầu tiên, vector cơ sở hoặc vector trung tâm. Điều này chỉ ra các điểm gần tâm sẽ có đầu ra tương tự nhau

Chủ đề:
Lưu

Nội dung Text: PPt4 Radial Basis Function Network - RBN

  1. Radial-basis function (RBF) networks RBF = radial-basis function: là hàm phụ thuộc vào khỏang cách gốc từ một vector XOR problem Khả năng phân tách theo bậc 2 (quadratically separable) Faculty of Electronics and Telecommunications, HUT 1 1 Bangkok, Jun. 14 – 23, 2006
  2. RBFs là các hàm có dạng φ(|| x − t i ||) Với φ là hàm activation phi tuyến, x là các đầu vào và ti là vị trí thứ i, mẫu đầu tiên, vector cơ sở hoặc vector trung tâm. Điều này chỉ ra các điểm gần tâm sẽ có đầu ra tương tự nhau NN 3 Faculty of Electronics and Telecommunications, HUT 2 2 Bangkok, Jun. 14 – 23, 2006
  3. RBF NN: Kiến trúc x1 ϕ1 w1 x2 y wm1 ϕ m1 xm  Có một lớp ẩn với các hàm activation RBF ϕ1...ϕm1  Lớp ở đầu ra với hàm activation tuyến tính y = w1ϕ1 (|| x − t1 ||) +... + wm1ϕm1 (|| x − tm1 ||) || x − t || là khoảng cách của x = ( x1 ,..., xm ) với t Faculty of Electronics and Telecommunications, HUT 3 Bangkok, Jun. 14 – 23, 2006
  4. Các loại RBF (a) Multiquadrics φ (r ) = (r + c ) 2 2 1/ 2 Với c>0 (b) Inverse multiquadrics φ (r ) = (r + c ) 2 2 −1 / 2 c>0 (a) Gaussian r2 φ )=e p− 2) (r x( 2σ với σ >0 NN 3 Faculty of Electronics and Telecommunications, HUT 4 4 Bangkok, Jun. 14 – 23, 2006
  5. • Inverse multiquadrics và Gaussian RBFs là hai ví dụ về các hàm ‘localized’ • Multiquadrics RBFs là các hàm ‘nonlocalized’ • ‘Localized’: nghĩa là khoảng cách từ tâm tăng dẫn đến giảm đầu ra của RBF • ‘Nonlocalized’: là khoảng cách từ tâm tăng cùng với sự gia tăng của RBF NN 3 Faculty of Electronics and Telecommunications, HUT 5 5 Bangkok, Jun. 14 – 23, 2006
  6. ‘nonlocalized’ functions ‘localized’ functions NN 3 Faculty of Electronics and Telecommunications, HUT 6 6 Bangkok, Jun. 14 – 23, 2006
  7. HIDDEN NEURON MODEL  Các phần tử Hidden có hàm activation là các  radial basis functions Đầu ra phụ thuộc vào khoảng cách đầu φ( || x - t||) vào x tới tâm t Xét hàm Gaussian RBF: x1 φσ ( || x - t||) x2 ϕσ t được gọi là tâm (center) σ được gọi là trải rộng (spread) center và spread là các tham số xm NN 3 Faculty of Electronics and Telecommunications, HUT 7 7 Bangkok, Jun. 14 – 23, 2006
  8. Gaussian RBF φ φ: center σ chỉ ra mức độ trải rộng của đường cong Large σ Small σ NN 3 Faculty of Electronics and Telecommunications, HUT 8 8 Bangkok, Jun. 14 – 23, 2006
  9. Hidden Neurons  hidden neuron nhạy hơn (more sensitive  to) đối với các điểm dữ liệu gần tâm.   Đối với Gaussian RBF khả năng nhạy này  có thể được chỉnh bằng cách thay đổi hệ  số trải σ, ở đó hệ số trải lớn có độ nhạy  giảm.  Ví dụ trong Biologic: cochlear stereocilia  cells (in our ears ...) have locally tuned  frequency responses. NN 3 Faculty of Electronics and Telecommunications, HUT 9 9 Bangkok, Jun. 14 – 23, 2006
  10. Ví dụ 1 x2 -   - +1 - +2 - - - - x1 Không gian là không gian đầu vào Các mẫu bên trong vòng tròn 1 và 2 là các lớp +, ngược lại là các lớp – Liệu ta có thể tách hai lớp này dùng RBF NN hay không? NN 3 Faculty of Electronics and Telecommunications, HUT 10 10 Bangkok, Jun. 14 – 23, 2006
  11. Lời giải như sau Chọn các tâm t1 ,t2 cho hai vòng tròn. Cho r1, r2 là các bán kính của hai vòng tròn, và x = (x1,x2) là mẫu 1 if || x − t1 || r1 x1 ϕ1 1 y x2 ϕ2 1 1 if || x − t 2 || r 2 1 if || x − t || c NN 3 Faculty of Electronics and Telecommunications, HUT 11 11 Bangkok, Jun. 14 – 23, 2006
  12. Example 1 ϕ2   - +2 - - (0,1) + 1 - - - - (0,0) (1,0) ϕ1 Xét về hình học: các mẫu được ánh xạ từ không gian đầu vào tới không gian đặc tính (feature space) : 1. Các mẫu trong vòng tròn 1 được ánh xạ vào điểm (1,0), 2. Các mẫu trong vòng tròn 2 được ánh xạ vào (0,1), 3. Các mẫu ngoài cả hai vòng tròn được ánh xạ về (0,0). Như vậy hai lớp được tách tuyến tính trong không gian (ϕ1, ϕ2) NN 3 Faculty of Electronics and Telecommunications, HUT 12 12 Bangkok, Jun. 14 – 23, 2006
  13. Ví dụ 2: the XOR problem  x2  Không gian đầu vào: (0,1) (1,1) x1 (0,0) (1,0)  Không gian đầu ra: 0 1 y  Xây dựng bộ phân loại mẫu RBFcó hàm  activation Gaussian sao cho: (0,0) và (1,1) được map vào 0, lớp C1 (1,0) và (0,1) được map vào 1, lớp C2 Faculty of Electronics and Telecommunications, HUT 13 Bangkok, Jun. 14 – 23, 2006
  14. Ví dụ 2: lời giải  Chọn các tâm vòng tròn t1 = (1,1) , t 2 = (0,0) φ2 (0,0) 1.0 Biên giới quyết định −||x −t1 ||2 ϕ1 (|| x − t1 ||) = e 0.5 (1,1) −||x −t2 ||2 ϕ 2 (|| x − t2 ||) = e 0.5 1.0 φ1 (0,1) and (1,0)  Khi được ánh xạ vào không gian đặc trung  (lớp  hidden), C1 và C2 trở nên có thể tách tuyến tính. Do vậy bộ  phân loại tuyến tính với ϕ 1(x) và ϕ 2(x) là các đầu vào có thể  được dùng để thực hiện cho XOR.  Faculty of Electronics and Telecommunications, HUT 14 Bangkok, Jun. 14 – 23, 2006
  15. Ví dụ 2: lời giải (cont.) −||x −t1 ||2 ϕ1 (|| x − t1 ||) = e with t1 = (1,1) and t2 = (0,0) −||x −t2 ||2 ϕ 2 (|| x − t2 ||) = e x1 t1 -1 y x2 t2 -1 +1 −|| x −t1 ||2 −|| x −t 2 ||2 y = −e −e +1 Khi y>0 là lớp 1 và ngược lại NN 3 Faculty of Electronics and Telecommunications, HUT 15 15 Bangkok, Jun. 14 – 23, 2006
  16. RBF: Các tham số được học  Việc học của Gaussian RBF được thực  hiện ntn với các tham số sau?  Tâm của RBF activation functions  Hệ số trải của hàm activation­ Gaussian RBF  weights của các hidden neuron  Các giải thuật học khác nhau có thể được  dùng cho quá trình học các tham số của  mạng RBF. Ta mô tả 3 phương pháp có thể  cho việc học tâm, hệ số trải và weights. NN 3 Faculty of Electronics and Telecommunications, HUT 16 16 Bangkok, Jun. 14 – 23, 2006
  17. Dạy kiểu lai cho RBF NN Quá trình học gồm 2 giai đoạn Giai đoạn 1:  Tìm - centre/position (ti) - width (σ) dùng phương pháp không giám sát (xem sau) khi chúng là các dữ liệu nhiều và không được đánh nhãn Giai đoạn 2: Tìm các giá trị của weight cho các neuron ở lớp hidden và output NN 3 Faculty of Electronics and Telecommunications, HUT 17 17 Bangkok, Jun. 14 – 23, 2006
  18. Giải thuật học 1  Các Tâm (Centers): được chọn ngẫu  nhiên từ tập dữ liêu dạy cho mạng  Hệ số trải (Spreads): được chọn bằng  việc chuẩn hóa (normalization): Maximum distance between any 2 centers d max σ= = number of centers m 1  Sau đó hàm activation của các neuron thứ i  trở thành: 2 (  m1 ) 2 ϕi x − t i = exp − 2 x − t i   d   max  NN 3 Faculty of Electronics and Telecommunications, HUT 18 18 Bangkok, Jun. 14 – 23, 2006
  19. Giải thuật học 1 (cont.)  Weights: được tính toán thông qua phương  pháp pseudo­inverse method.  Với mẫu             , xét đầu ra của mạng ( xi , d i ) y ( xi ) = w1ϕ1 (|| xi − t1 ||) + ... + wm1ϕ m1 (|| xi − tm1 ||)    Ta mong muốn                 thì y ( xi ) = d i w1ϕ1 (|| xi − t1 ||) + ... + wm1ϕ m1 (|| xi − tm1 ||) = d i NN 3 Faculty of Electronics and Telecommunications, HUT 19 19 Bangkok, Jun. 14 – 23, 2006
  20. Giải thuật học 1 (cont.)  Có thể viết lại ở dạng ma trận cho một mẫu               [ϕ1 (|| xi − t1 ||) ... ϕ m1 (|| xi − tm1 ||)][ w1...wm1 ]T = d i   và ϕ1 (|| x1 − t1 ||)...ϕ m1 (|| x1 − tm1 ||)  ... [ w ...w ]T = [d ...d ]T   1 m1 1 N ϕ1 (|| x N − t1 ||)...ϕ m1 (|| xN − tm1 ||)   Cho tất cả các mẫu cùng lúc NN 3 Faculty of Electronics and Telecommunications, HUT 20 20 Bangkok, Jun. 14 – 23, 2006
Đồng bộ tài khoản