PPt3 - Derivation of Delta Rules

Chia sẻ: Pham Thanh Hai | Ngày: | Loại File: PPT | Số trang:6

0
78
lượt xem
10
download

PPt3 - Derivation of Delta Rules

Mô tả tài liệu
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Tài liệu tham khảo về thuật toán tính Derivation of Delta Rules

Chủ đề:
Lưu

Nội dung Text: PPt3 - Derivation of Delta Rules

  1. Derivation of Delta Rule  Nguồn gốc của Delta rule cho mạng sau 1 w0 w1 y = ϕ ( net ) = ϕ ( w0 + w1 x1 + w2 x2 ) x1 w2 x2 1 1 E ( w0 , w1 , w2 ) = ( y − d ) = (( w0 + w1 x1 + w2 x2 ) − d ) 2 2 2 2 ∂E ∆wi = −η cho i ∈{0,1,2} ∂wi ∂E ∂E ∂E  Cần tìm , , ∂w0 ∂w1 ∂w2 NN Faculty of Electronics and Telecommunications, HUT 1 1 Bangkok, Jun. 14 – 23, 2006
  2. Derivation of Delta Rule ∂E ( w0 , w1 , w2 ) 1 ∂(ϕ ( w0 + w1 x1 + w2 x2 ) − d ) 2 = ∂w1 2 ∂w1 1 ∂(ϕ ( w0 + w1 x1 + w2 x2 ) − d ) = 2(ϕ ( w0 + w1 x1 + w2 x2 ) − d ) 2 ∂w1 ∂( w0 + w1 x1 + w2 x2 − d ) = (ϕ ( net ) − d )ϕ ' ( net ) ∂w1 = (ϕ ( net ) − d )ϕ ' ( net ) x1  Tương tự ta nhận được: ∂E ( w0 , w1 , w2 ) = (ϕ ( net ) − d )ϕ ' ( net ) x2 ∂w2 ∂E ( w0 , w1 , w2 ) và  = (ϕ ( net ) − d )ϕ ' ( net ) ∂w0 Faculty of Electronics and Telecommunications, HUT 2 Bangkok, Jun. 14 – 23, 2006
  3. Derivation of Delta Rule  Do đó luật update cho weight là: ∆w0 = η( d − ϕ ( net ))ϕ ' ( net ) ∆w1 = η( d − ϕ ( net ))ϕ ' ( net ) x1 ∆w2 = η( d − ϕ ( net ))ϕ ' ( net ) x2 NN Faculty of Electronics and Telecommunications, HUT 3 3 Bangkok, Jun. 14 – 23, 2006
  4. Derivation of Delta Rule • Vi phân delta rule cho mạng sau:   w1 x1 u1 w2 y = ϕ ( net ) = ϕ ( y1u1 + y2u2 ) v1 x2 u2 v2 Let net1 = w1 x1 + w2 x2 , y1 = ϕ (net1 ) net 2 = v1 x1 + v2 x2 , y 2 = ϕ (net2 ) net = y1u1 + y2u2 , y = ϕ (net ) NN Faculty of Electronics and Telecommunications, HUT 4 4 Bangkok, Jun. 14 – 23, 2006
  5. Derivation of Delta Rule ∂E 1 ∂ (ϕ ( y1u1 + y2u2 ) − d ) 2 1 ∂ (ϕ ( y1u1 + y2u2 ) − d ) = = 2(ϕ ( y1u1 + y2u2 ) − d ) ∂u1 2 ∂u1 2 ∂u1 ∂ ( y1u1 + y2u2 − d )   = ( y − d )ϕ ' ( net ) = ( y − d )ϕ ' ( net ) y1 ∂u1 Tương tự ta có: ∂E = ( y − d )ϕ ' ( net ) y2 ∂u2 ∂E 1 ∂ (ϕ ( y1u1 + y2u2 ) − d )2 1 ∂ (ϕ ( y1u1 + y2u2 ) − d ) = = 2(ϕ ( y1u1 + y2u2 ) − d ) ∂w1 2 ∂w1 2 ∂w1 ∂ ( y1u1 + y2u2 − d ) = ( y − d )ϕ ' ( net ) ∂w1 Faculty of Electronics and Telecommunications, HUT 5 Bangkok, Jun. 14 – 23, 2006
  6. Derivation of Delta Rule ∂( y1u1 + y2u2 − d ) ∂( y1u1 ) ∂y ∂(ϕ( w1 x1 + w2 x2 )) = = u1 1 = u1 ∂w1 ∂w1 ∂w1 ∂w1 ∂( w1 x1 ) = u1ϕ' ( net1 ) = u1ϕ' ( net1 ) x1   ∂w1 Do vậy nhận được:: ∂E ∂( y1u1 + y2u2 −d ) = ( y −d )ϕ' ( net ) ∂ 1 w ∂ 1 w = ( y −d )ϕ' ( net )u1ϕ' ( net1 ) x1 Tương tự: ∂E = ( y − d )ϕ ' ( net )u1ϕ ' ( net1 ) x2 ∂w2 ∂E ∂E = ( y − d )ϕ ' ( net )u2ϕ ' ( net2 ) x1 , = ( y − d )ϕ ' ( net )u2ϕ ' ( net2 ) x2 ∂v1 ∂v2 NN Faculty of Electronics and Telecommunications, HUT 6 6 Bangkok, Jun. 14 – 23, 2006
Đồng bộ tài khoản