LU T H C PERCEPTRON LU T H C PERCEPTRON
Ậ Ọ Ậ Ọ
ễ
ớ
ệ
Nguy n Thành Trung L p :THB – K53 Khoa: Công ngh thông tin ĐH Nông nghi p Hà N i ộ
ệ
Ộ
ỘN I DUNG N I DUNG
ụ
• M c tiêu ụ • Lý thuy t và ví d ế • Luât h cọ • Ki n trúc Perceptron ế
ộ ề
ấ
ề ậ ọ
ố
ề
ạ
ả
Perceptron m t noron Perceptron nhi u noron • Lu t h c Perceptron ậ ọ Ki m tra v n đ ể Xây d ng Lu t h c ự Lu t h c th ng nh t ấ ậ ọ Hu n luy n m ng perceptron nhi u noron ệ ấ • Tóm t t k t qu ắ ế • Bài t p m u ẫ ậ • K t lu n
ế
ậ
• M c tiêu ụ
ữ
ị
ọ
ạ
ợ
ố ớ
ỉ ườ
ế ệ ố ầ
ế ị ậ
ề
ạ
ạ ạ ậ
ộ
ẽ ắ ầ ẽ
ọ
ẽ ế
ữ
ệ
ằ ạ
ế ủ
ạ
M t trong nh ng câu h i chúng tôi nêu ra trong ỏ ộ ng 3 là: "Làm th nào đ chúng ta xác đ nh ma ch ể ươ tr n tr ng s và h s hi u ch nh cho các m ng ệ ậ ng h p không th perceptron v i nhi u đ u vào, tr ề ể ng này, i quy t đ nh?" Trong ch hình dung ranh gi ươ ớ m t thu t toán cho phép đào t o chúng tôi s mô t ả ộ ẽ m ng perceptron, đ gi i quy t v n đ phân lo i. ế ấ ể ả i thích m t lu t Chúng tôi s b t đ u b ng cách gi ả ằ h c và sau đó s phát tri n các lu t h c perceptron. ậ ọ ể Chúng tôi s k t thúc b ng vi c th o lu n nh ng l i ợ ả th và h n ch c a m ng perceptron đ n l p. Th o ả lu n này s d n chúng ta đ n các ch
ậ ơ ớ ng sau.
ẽ ẫ
ế ậ
ươ
ế
• Lý thuy t và ví d ế
ụ
ớ
ệ
ữ
ầ
ọ
ự ổ
ủ ọ ợ c so sánh v i ng
ớ
ệ
ưỡ
ủ ầ ủ
ng, đ u ra ầ
ưỡ
ớ
ằ ng, đ u ra là 0.
Khi t ng l n h n ho c b ng ng ơ ỏ ơ
ầ
ể
ấ
ặ
ủ
ố t k mà không có ph
ọ ế ế
ượ
c thi ẵ
ố ậ ố ạ
ấ
ỹ
Trong năm 1943, Warren McCulloch và i thi u m t trong nh ng neuron Walter Pitts gi ộ nhân t o đ u tiên. Các tính năng chính c a mô ạ hình neuron c a h là s t ng h p có tr ng s ố c a tín hi u đ u vào đ ng ủ ượ đ tìm đ u ra c a neuron. ể ầ ặ ổ là 1. Khi t ng nh h n ng ưỡ ổ H ti p t c cho th y m ng neuron có th tính ạ ọ ế ụ toán s h c ho c hàm logic. Không gi ng nh ư ố ọ ố các m ng sinh h c, các thông s m ng c a ạ ạ ng pháp chúng đ ươ đào t o có s n. Tuy nhiên, m i quan h gi a ạ ệ ữ sinh h c và máy tính k thu t s t o ra r t nhi u ề ọ s quan tâm. ự
Trong cu i nh ng năm 1950, Frank
ố
ọ
ể
ộ ớ
ề ạ
ạ
ng t
ự ọ
ư ủ ủ
ệ
ớ
ộ
ạ
ấ
ọ
ẫ
ể ế ấ ằ
ẽ
ọ
ọ i đ gi
ề ự
ế ấ
ệ
c đ n gi n và t
đ ng.
ữ Rosenblatt và m t s nhà nghiên c u khác phát ứ ộ ố tri n m t l p h c v m ng neuron là perceptrons. Các neuron trong m ng này cũng t nh c a McCulloch và Pitts. Đóng góp ươ quan tr ng c a Rosenblatt là gi i thi u m t lu t ậ i h c đ hu n luy n các m ng perceptron đ gi ệ ể ả quy t v n đ nh n d ng m u. Ông đã ch ng ề ạ ậ ứ minh r ng lu t h c c a mình s luôn luôn h i t ậ ọ ủ ộ ụ v các tr ng s m ng chính xác, n u tr ng s ố ố ạ ề t n t i quy t v n đ . S hu n luy n đã ồ ạ ể ả đ ả ơ ượ
ế ấ ự ộ
ạ
ạ
ượ
ữ
ế ủ
Tuy nhiên, m ng perceptron có nhi u h n ề ch . Nh ng h n ch này đã đ c công b trong ế ố ạ cu n Perceptrons c a Marvin Minsky và Seymour ố Papert.
ọ
ạ
ệ
ứ ả
ộ ố
ự ữ
ứ ữ
ạ
ượ
ụ
ạ ậ ọ
ớ ữ
ả ế
ữ
ẽ
ề
H đã ch ng minh r ng m ng perceptron đã ằ không có kh năng th c hi n m t s ch c năng c b n. Mãi đ n nh ng năm 1980 nh ng h n ế ơ ả c kh c ph c v i các m ng ch này m i đ ắ ớ ế perceptron c i ti n (nhi u l p) và nh ng lu t h c ề ớ ả ế liên quan. Chúng tôi s nói v nh ng c i ti n này trong các ch
ng 11 và 12.
ươ
Ngày nay các perceptron v n còn đ
ẫ
ượ
ộ
ạ
ẫ
ộ
ư ạ
ậ
ấ ự ể
ế
ể ả ủ t các m ng l
ướ
ế
ứ ạ ậ ọ
ạ
c xem nh là m t m ng quan tr ng. Nó v n còn là m t ọ m ng nhanh và đáng tin c y cho các v n đ mà ề i quy t. Ngoài ra, s hi u bi nó có th gi t v ế ề t cho ho t đ ng c a perceptron s t o c s t ơ ở ố ẽ ạ ộ ạ s hi u bi i ph c t p h n. Nh ư ơ ạ ự ể v y, m ng perceptron, và các lu t h c liên quan , ậ cũng có giá tr th o lu n
đây.
ậ ở
ị ả
Trong ph n còn l
ầ
i c a ch ạ ủ ủ
ị
ươ ậ ọ ọ
ng này chúng tôi i thích các s xác đ nh ý nghĩa c a lu t h c, gi ẽ ả m ng perceptron và lu t h c, và th o lu n v ề ậ ả ậ ạ nh ng h n ch c a m ng perceptron . ữ
ế ủ
ạ
ạ
ổ
ộ
• Lu t h c ậ ọ
ọ
ể ử ạ
ậ
ụ
ấ
ọ ậ ọ ệ
ệ ể
ệ ề
ụ
ệ ấ
ạ
ậ
ấ ạ ạ ồ
ự ọ ạ
ậ ọ
ặ
ậ ọ Lu t h c là m t th t c đ s a đ i các tr ng ủ ụ s và h s hi u ch nh c a m ng neuron. (Th ủ ủ ệ ố ệ ố ỉ t c này cũng có th đ c g i là m t thu t toán ộ ụ ể ượ hu n luy n.) M c đích c a lu t h c là hu n luy n ủ m ng đ th c hi n m t s nhi m v . Có nhi u ộ ố lo i lu t h c hu n luy n m ng neuron. Chúng ệ g m ba lo i chính: lu t h c có giám sát, lu t h c ậ ọ không giám sát và lu t h c gia tăng (ho c phân ọ ậ lo i).ạ
ậ ọ
Trong lu t h c có giám sát , lu t h c đ a ra ư ng thích ắ
ậ ọ ươ
ợ
m t t p h p các m u có quy t c và t ẫ ộ ậ v i m ng: ạ ớ
ươ
ộ ầ
q t
pq là m t đ u vào m ng và t
ế
ứ ầ ả ầ
ụ
ụ ạ ớ
ầ ượ ạ
ọ
ượ ượ
ậ ọ ố
ỉ
ỉ ể ị
ử ụ ủ
ể
ầ
ậ ọ
ượ
ụ ạ
ng t
ế ậ ọ ạ
ừ ệ
ầ
ng ng v i ớ ạ đ u ra chính xác (m c tiêu). Khi các đ u vào c áp d ng vào m ng, các k t qu đ u ra đ ụ m ng đ c so sánh v i các m c tiêu. Lu t h c c s d ng đ đi u ch nh tr ng s và sau đó đ ể ề h s hi u ch nh c a m ng đ d ch chuy n đ u ệ ố ệ ạ ra g n v i các m c tiêu h n. Lu t h c perceptron ơ ớ ầ c x p vào lo i lu t h c có giám sát. đ ậ ọ t Lu t h c gia tăng ự ậ ọ ư ạ
ậ
ạ ộ
ớ
ộ
ệ
ơ
ớ ợ
lu t h c có giám ươ sát, ngo i tr vi c, thay vì đ a ra các đ u ra chính xác cho m i đ u vào m ng, thu t toán ch ỉ ỗ ầ c đo cho s ho t đ ng cho m t l p. L p là th ộ ớ ự ướ c a m ng trên m t chu i đ u vào. Đây là lo i ủ ạ ỗ ầ ạ lu t h c hi n nay ít ph bi n h n so v i lu t h c ậ ọ ổ ế ậ ọ ng nh là phù h p nh t đ có giám sát. Nó d ấ ể ư ườ ki m soát các ng d ng h th ng. ệ ố ụ
ứ
ể
Lu t h c không giám sát
ử
ượ ụ
ư
ộ
ệ
ng nh không th c t ấ
ạ
ự
ậ
ượ
ộ
ạ
ệ ữ
ề
ụ ấ
ậ
ố
, tr ng s và h s ệ ố ố ọ ậ ọ hi u ch nh đ c s a đ i đ đáp ng v i đ u vào ớ ầ ứ ổ ể ỉ ệ m ng. Có m c tiêu không là đ u ra có s n. Đi u ề ẵ ầ ạ . Làm th nào b n này d ự ế ạ ế ườ có th hu n luy n m t m ng n u b n không bi t ể ế ế ạ nó ph i làm gì? H u h t các thu t toán th c hi n ệ ế ầ ả c luy n đ s ho t đ ng phân c m. Chúng đ ể ệ ụ ạ ự phân lo i các mô hình đ u vào thành m t s h u ộ ố ữ ầ t h u ích trong các h n các l p. Đi u này đ c bi ặ ớ ạ hóa vector. Chúng ta ng t ng d ng nh là l ử ượ ư ứ s th y trong các ch ng 13-16 m t s thu t ộ ươ ẽ toán không giám sát.
• Ki n trúc Perceptron.
ế Các m ng n ron mà trong m i n ron ch đ
ạ
ấ ả
c g i là m ng ả ượ c liên k t ế ỉ ượ t c các m i liên k t ế ố ạ ọ
ơ ỗ ơ v i t l p k ti p và t t c các n ron ơ ớ ấ ả ế ế ở ớ trái sang ph i đ ch đ c xây d ng t ỉ ượ ừ ự nhi u l p truy n th ng (perceptrons) ẳ ề ề ớ
Đ u ra c a m ng đ ủ ầ ạ ượ c cho b i: ở
riêng l c a ể ệ ậ ẻ ủ
Đ thu n ti n cho s xem xét các ph n t ầ ử ự vector đ u ra. Hãy xem xét ma tr n tr ng s : ố ầ ậ ọ
c a Chúng tôi s xác đ nh m t vector g m các ph n t ộ ầ ử ủ ồ ị
ẽ hàng th i c a W: ứ ủ
(cid:222) Ma tr n tr ng s tr thành: ố ở ậ ọ
(cid:222) Ph n t th i c a vector đ u ra m ng: ầ ử ứ ủ ầ ạ
Mà hàm truy n harlim đ c đ nh nghĩa nh sau: ề ượ ư ị
ậ
ủ
ọ
ặ
ầ
ứ ơ
ẽ
ậ ố ớ ầ
ớ ằ i đ u ra s là 0. ạ ầ
ẽ
ế
Vì v y, tích trong hàng th i c a ma tr n tr ng s v i vecto đ u vào l n h n ho c b ng - bi , thì đ u ra s là 1, trái l ỗ
ạ
ấ ữ
ự
ầ ề
ữ
ể
ớ
ớ ơ ớ
ườ ớ
ự ợ ầ
ủ
ả
ộ
Vì th m i neuron trong m ng chia không gian đ u vào thành hai khu v c. Nó r t h u ích đ đi u tra các ranh gi i gi a các khu v c này. Chúng tôi s b t đ u v i các tr ng h p ầ ẽ ắ đ n gi n c a m t perceptron đ n l p v i hai đ u ơ vào.
Perceptron đ n l p
ơ ớ
Chúng ta hãy xem xét m t perceptron hai đ u vào: ộ ầ
Đ u ra c a m ng này đ ủ ạ ầ ượ c xác đ nh b i ở ị
Ranh gi i phân lo i các vector đ u vào đ c xác đ nh ớ ầ ạ ượ ị
b i:ở
C th h n, chúng ta hãy ch đ nh các giá tr c a ụ ể ơ ị ủ ỉ ị
tr ng s và h s hi u ch nh là: ệ ố ệ ố ọ ỉ
Ranh gi i quy t đ nh s là: ớ ế ị ẽ
Đi u này xác đ nh 1 đ
ề ộ
ủ ủ
ng trong không gian đ u vào. ườ ng và ầ ng, ầ ể ườ ườ ữ ụ
ể Đ tìm đi m c t p ể ể ầ ị ng đ u ra s là 0 ; trên đ Trên m t bên c a đ ườ ẽ phía bên kia c a đ ng đ u ra s là 1. Đ v đ ể ẽ ườ ẽ chúng ta có th tìm nh ng đi m c t các tr c p1 và p2 . ắ ắ 2 ta đ t pặ 1 = 0:
Đ tìm đi m c t p ể ể ắ 1, ta đ t pặ 2 = 0:
T,
ng ng là 1, chúng ta ươ
ứ ầ ể
Đ tìm ra khu v c mà đ u ra t ầ ự ch c n ki m tra m t đi m. Đ i v i các đ u vào p = [2 0] ố ớ ể ộ đ u ra c a m ng s là : ẽ ể ỉ ầ ầ ủ ạ
ố ớ ủ ự
ạ i quy t đ nh. Khu v c này đ ượ ự
ầ và bên ph i c a ranh gi ớ ả ủ ch đ nh b i các khu v c bóng m trong hình 4.3: ự ở Do đó, đ u ra c a m ng s là 1 đ i v i khu v c trên ẽ c ế ị ờ ị ỉ
i luôn luôn là tr c giao v i 1 ư ớ ớ w , và ự
đ L u ý: Ranh gi c xác đ nh b i: ở ị ượ
ớ
ố ớ ấ ả
t c các đi m n m trên ranh gi ằ
ớ
ể ầ
Đ i v i t ủ
ư
ờ ủ
ấ ẽ
ớ
ậ
ơ
ọ ơ
ề
i, tích trong c a các vector đ u vào v i các vector tr ng ọ s là nh nhau. Ngoài ra, b t kỳ vector trong khu ố v c bóng m c a hình 4.3 s có tích trong l n h n ơ ự -b, và vector trong khu v c không co bóng m s ờ ẽ ự ố w s ẽ có tích trong ít h n -b . Vì v y vector tr ng s 1 luôn luôn h ng v phía khu v c n i mà đ u ra ầ ự ướ c a m ng là 1. ạ ủ
ộ ệ ố ệ
ọ ỉ
ướ
ể
ộ
ằ i và th a mãn Eq. (4,15).
Sau khi chúng tôi đã ch n m t vector tr ng s ố ọ ng góc chính xác, h s hi u ch nh có c tính b ng cách ch n m t đi m trên ranh ọ ỏ
v i đ nh h ớ ị th đ ể ượ gi ớ
́
ẽ ữ
ệ ơ ệ
ụ ể ự ầ ặ ộ ụ ổ
Chúng ta s áp d ng m t trong nh ng khái ni m thi t ế ộ k m ng perceptron đ th c hi n m t hàm logic đ n gi n: ả ế ạ các c ng AND. Các c p đ u vào/m c tiêu cho các c ng ổ AND là:
ướ ọ cho v n đ b ng đ th ề ằ ồ ị. M i ỗ ấ
nhãn theo m c tiêu. Các vòng ụ
ch ra r ng m c tiêu là 1, và các vòng tròn c dán ụ
Hình d vector đ u vào ầ tròn đen tr ngắ cho m c tiêu là 0. i minh h a s đ ẽ ượ ỉ ằ ụ
i quy t B c đ u tiên c a thi ọ ộ ớ ủ
ị ố
i pháp ấ ề
Gi ả ạ ầ ằ
ố
ế ng phân cách gi a vòng i pháp ng ườ i:ướ ố ự ể ọ ố ọ ớ
t k là ch n m t ranh gi ầ ướ ế ế đ nh. Chúng t a mu n có m t đ ữ ộ ườ tr ngắ . Có vô s các gi tròn đen và nh ng vòng tròn ả ữ ố ọ đ cho v n đ này. nh tấ đ l a ch n h p lýợ ể ự d ữ hai lo i đ u vào, nh th hi n trong hình n m gi a ế giao v i ranh gi ớ chi u dài b t kỳ, vì v y ấ ư ể ệ Ti p theo chúng ta mu n ch n m t vector tr ng s tr c ộ ọ i quy t đ nh. Các vector tr ng s có th có ế ị ậ có th ch n b t kỳ, VD ch n: ấ ề ể ọ ọ
ố ầ
Cu i cùng, chúng ta c n ph i tìm ra h s hi u ch nh. ả ằ ỉ ể ề ể ọ
i quy t đ nh và đáp ng Eq. (4,15). N u chúng ệ ố ệ ộ ế ế ị ớ
đ tìm Chúng ta có th làm đi u này b ng cách ch n m t đi m trên ranh gi ta s d ng ử ụ ứ ể
ạ
ạ ế ụ i m ng trên b ng m t trong ằ 2 vào
có th ki m tra l Bây gi ể ể ờ ộ các c p đ u vào/m c tiêu. N u chúng ta áp d ng p ầ ụ ặ m ng , đ u ra s là: ầ ẽ ạ
ầ ạ i co th ki m tra ể ể t2. Các c p còn l ặ
t ớ đ u ra đích b ng v i ằ nh trên. ng t ư ự
ươ
ề
Perceptron nhi u noron L u ý r ng đ i v i
ư
ằ
ế ị
perceptron nhi u ề i ớ i quy t đ nh ế ị
noron, nh trong ư quy t đ nh cho t ng cho noron i s đ ẽ ượ
ố ớ m ng ạ hình 4.1, s có m t ranh gi ộ ẽ ừ noron. Ranh gi ớ ở : c xác đ nh b i ị
ộ
ể
ơ ớ
ạ
ầ
ủ
ạ
ầ
ể
ộ
ề ớ ỗ
ề
ạ
ạ
ộ
ể
ầ
M t perceptron đ n l p có th phân lo i các vector đ u vào thành hai lo i, vì đ u ra c a nó có th là 0 ho c 1. M t perceptron nhi u l p có th ặ ể c phân lo i đ u vào thành nhi u lo i. M i lo i đ ạ ầ ạ ượ đ i di n b i m t vector đ u ra khác nhau. Vì m i ỗ ầ ở ệ c a vector đ u ra có th là 0 ho c 1, có ph n t ầ ử ủ s lo i có th , trong đó S là s noron. t ng c ng 2 ộ ổ
ặ ố
ể
ạ
ậ ọ
Lu t H c Perceptron Lu t h c này ộ
ậ ọ
ụ ề lu t h c có giám m t t p h p các
ậ ọ ộ ậ
ợ
là m t ví d v ậ ọ đ a raư sát, trong đó các lu t h c ạ : m u theo quy t c c a m ng
ắ ủ
ẫ
ạ
ươ
ộ ầ
q t
T i pạ q là m t đ u vào m ng và t
ụ
ả ầ
ế
ạ
ụ
ậ ọ ố
ọ
ủ
ể
ầ
ỉ
ớ ể ề ạ ơ
ng ng ứ v i đ u ra chính xác (m c tiêu). Khi các đ u vào ớ ầ ầ ụ đ c áp d ng vào m ng, các k t qu đ u ra m ng ạ ượ c so sánh v i các m c tiêu. Lu t h c sau đó đ ượ c s d ng đ đi u ch nh tr ng s và h s đ ượ ử ụ ệ ố ỉ hi u ch nh c a m ng đ d ch chuy n đ u ra g n ầ ể ị ệ v i các m c tiêu h n. ụ ớ
ấ
ọ
V n đ ki m tra ề ể ề ậ ề ể
ẽ ắ ầ ầ ặ ả
Đ trình bày v lu t h c perceptron, chúng tôi s b t ể đ u v i m t v n đ ki m tra đ n gi n. Cho các c p đ u ơ ộ ấ ớ vào/m c tiêu là: ụ
ề ượ
t ể ấ ồ
ễ ớ
c minh h a trong ọ đ u iạ 2 vect ơ ầ c bi u ể ượ tr ngắ , và c ượ ụ
V n đ đ bi u đ hình bên, vào mà m c tiêu là 0 đ ụ di n v i m t vòng tròn ộ các vector có m c tiêu là 1 đ đen. đ i di n v i m t vòng tròn ộ ệ ạ ớ
gi ấ
ầ i quy t ả ộ đ u ra. ầ ơ
ế cho v n đ này c n ph i có hai ả ầ ề ệ khai tri nể Để đ n gi n hóa vi c ả i mà ậ ọ , chúng ta s b t đ u v i m t m ng l ướ ạ ộ ớ ẽ ắ ầ i s có 2 thông s , ố ướ ẽ ỉ
Các m ng ạ đ u vào và m t các lu t h c không có h s hi u ch nh . M ng l ệ ố ệ ạ w1,1 và w1,2, nh trong hình 4.4 ư
ấ ạ
Hình 4.4 V n đ ki m tra m ng ề ể
B ng cách b đi h s hi u ch nh, chúng ta có m ng ệ ố ệ ằ ạ ỏ ỉ
nh hình: ư
ớ ả ế ị
ả ắ ằ ẫ
Ranh gi ầ ế ấ ầ
ị
i thích cho s i. i quy t đ nh ph i đi qua g c t a đ . ta c n ph i ch c ch n r ng m ng l ạ ướ ắ C n ph i tìm quy t v n đ ki m tra. ả ề ể đ nh cho phép tách các vect minh h a trên gi ọ ộ Chúng ố ọ i này v n có th gi i ể ả i quy t m t ranh gi ế ộ ớ vect ơ 1. Hình p ừ ự vô h n c a ranh gi ớ ủ ơ p2 và p3 t ạ ả
Hình trên cho th y các vec t tr ng s t
ớ
ố ươ ủ ng là quan ấ i quy t đ nh. C ế ị số không quan tr ng, ch ọ ng ng ứ ơ ọ hi u dài c a các vector ề c a nó ỉ có h ủ ướ
v i các ranh gi ớ tr ng ọ tr ng. ọ
ự Hu n luy n
ắ ầ
Xây d ng lu t h c ấ
ậ ọ ệ b t đ u b ng cách ch đ nh m t s giá tr ị
ỉ
ầ
ộ ố ng h p này ợ ườ i 2 đ u vào/1 đ u ầ
ố ủ ế ậ Ở ọ
ố w ng u ẫ ọ
ị ằ Trong tr ban đ u cho các thông s m ng. ố ạ chúng tôi đang hu n luy n m t m ng l ộ ấ ầ ướ ạ ệ ra mà không có h s hi u ch nh, vì v y chúng tôi ch có ỉ ậ ỉ ệ ố ệ th thi t l p giá tr ban đ u v i 2 tr ng s c a nó. đây ầ ớ ị ể c a vector tr ng s 1 chúng tôi đ t các ph n t ầ ử ủ ặ nhiên v i các giá tr sau : ớ
( 4.21 )
c trình bày nh sau: ị 1wT = [ 1.0 -0.8] đ u vào c a m ng đ ủ ạ ượ ư
Các vect ơ ầ V i pớ 1 ta có :
ạ
M ng không tr v giá tr chính xác. Đ u ra c a ị
ả ề
ầ
ầ
ạ
ủ m ng là 0, trong khi yêu c u c n đáp ng, t1, là 1. ầ Chúng ta có th xem nh ng gì đã x y ra b ng
ứ ả
ữ
ể
ằ
cách nhìn vào bi u đ
ồ sau:
ể
ọ
ủ vector tr ng ọ
s ố
ớ
1. Vì v y ậ
ầ
ầ
có số đ nó ọ ể ng lai nó có c ơ ươ
Các giá trị ban đ u ầ đã ch n c a phân l p không chính xác cho vector p chúng ta c n ph i thay đ i vector tr ng ả v trí g n vector p ị 1 h i phân lo i chính xác ạ ộ
ổ h nơ , đ trong t ể h nơ .
ể i quy t v n đ ta có th thi ề
ả ả ế ấ ơ Đ gi ể ả ắ t l p 1 ể 1 đ
ấ ộ ấ ụ ể
ấ
c v i các vector tr ng ự ồ ị ướ cho th y m t v n đ mà không th gi ộ ấ ự s ố t
ề ộ ọ ớ . N u l n nào chúng ta ạ ế ầ ộ
thì s ẽ ụ ơ
ạ
w = p cho m t trong hai vec t ộ ắ số c a m ng ch đ n gi n là s dao tr ng ọ ẽ ỉ ơ ủ i tìm th y ả ộ ẽ
w x p x b ng ỉ ằ ấ ế ậ p1. Quy t c này đ n gi n và đ m b o đ p c phân lo i ượ ạ ả chính xác cho v n đ này. Tuy nhiên, ta có th d dàng xây ể ễ ề ề mà không th áp d ng quy t c này d ng nên m t v n đ . ắ i quy t i Đ th d ế ể ả i m t trong hai tr c ti p đ ớ ượ ế vector khác nhau thu c cùng 1 l p cũng áp d ng quy t c 1 phân lo i sai, ạ đ ng qua l pháp đúng đ nắ .
i và s không bao gi ả c ượ m t gi ấ đ ạ ộ ờ
M t kh năng khác là c ng p ộ
1 v i 1ớ w. C ng p ơ
1 cho 1w ộ 1 h n. Quy lu t này có th ể ậ
ủ ộ w g n pầ
ả làm cho các đi m c a 1 ể c trình bày nh sau : đ ượ ư
w :
Áp d ng quy t c này cho v n đ trên ta đ ề ắ ấ ượ c giá tr ị
ụ m i c a 1 ớ ủ
Hình minh h a:ọ
ờ
ể
ầ
ổ ọ
t c các đ u vào cho đ n
chúng tôi chuy n sang vector đ u ố ế
ế ụ ớ ấ ả
ầ
V i vector p
ớ
Bây gi vào ti p theo và ti p t c làm thay đ i tr ng s và ế i quá trình v i t l p l ặ ạ khi phân lo i chính xác. ạ 2 ta có:
Ta th y m c tiêu t
i là
ấ
ụ
ầ
ở
ạ
trên l 1 => không đáp ng yêu c u c a v n đ . ề
2 là 0 mà đ u ra ủ
ứ
ấ
ầ
đây ta l Tuy nhiên ở ạ ố ờ ọ ố
ế ấ ơ
i mu n vector tr ng s r i xa các vector đ u vào mà m c tiêu t i ng ng là 0. Đ gi ể ả ụ ứ ươ quy t v n đ này đ n gi n ta ch c n thay phép c ng ộ ỉ ầ ả b ng phép tr trong bi u th c 4.23: ứ ầ ề ừ ể ằ
Áp d ng vào v n đ ta đ c: ụ ề ấ ượ
Hình minh h a:ọ
3:
Ti p theo là vector p ế
T ng t áp d ng bi u th c 4.26 ta có: ươ ự ụ ứ ể
ế ấ
ọ ả ạ ệ
Hình minh h a bên đã cho k t qu hu n luy n phân lo i chính xác cho c 3 vector ả
ề Đi u này đ a chúng ta t ư ắ
i quy t c th ba và cu i ố ứ ớ cùng đó là: n u m ng ho t đ ng, không s a ch a nó. ử ạ ộ ữ ế ạ
t c các t h p ướ ắ ồ ấ ả ổ ợ
D i đây là ba quy t c, bao g m t c a giá tr đ u ra và m c tiêu thích h p : ợ ủ ị ầ ụ
Th ng nh t lu t h c ấ Th ng nh t lu t h c ấ
ậ ọ ậ ọ
ố ố
Ba quy t c trên có th đ c vi ắ ể
i thành 1 bi u ế t l ế ạ ẽ ị ầ
ả c g i là sai s perceptron e: ể ượ th c đ n gi n. Đ u tiên chúng ta s đ nh nghĩa 1 bi n ơ ứ s m i đ ố ớ ượ ố ọ
Các quy t c đ c vi ắ ượ t l ế ạ i nh sau: ư
ấ ủ ấ
ươ ữ
Ta th y trong 2 quy t c đ u thì d u c a p và e là ầ ng ng ứ i 3 quy t c thành 1 quy t l ể ế ạ ứ ắ
ắ gi ng nhau. H n n a quy t c 3 không ch a p t ắ ơ ố v i e = 0. Do đó ta có th vi ớ t c th ng nh t nh sau: ấ ắ ư ố
ắ ể ở ộ ể
ỉ ằ ệ ố ệ ấ ỉ ệ ư
ể ả ầ
ớ ầ ể ứ
Quy t c trên có th m r ng đ hu n luy n h s ệ ố hi u ch nh b ng cách coi h s hi u ch nh nh 1 tr ng ọ ệ s đ n gi n v i đ u vào luôn là 1. Ta có th thay đ u ố ơ vào p trong bi u th c 4.34 nh đ u vào luôn mang giá tr 1 đ hu n luy n h s hi u ch nh: ư ầ ỉ ệ ố ệ ể ệ ấ ị
ề
ệ
ạ
Hu n luy n m ng perceptron nhi u ấ noron
c cho b i bi u th c Các quy t c perceptron, đ ượ
ở ậ vector tr ng ọ ể tr ngọ
ắ
ứ b cho . Chúng ta có th khái quát hóa ể ề neuron c a Hình ủ ủ ma tr n tr ng ậ ậ hàng th i c a ể ậ ứ ọ
ắ (4,34) và (4,35), c p nh t ậ perceptron m t noron ộ quy t c này cho các perceptron nhi u 4.1 nh sau. Đ c p nh t ư : s ta có ố
th i c a vecto sa h s hi u ể ậ ậ ệ ố ệ ủ
Đ c p nh t ph n t ch nh ta áp d ng bi u th c: ụ ầ ử ứ ứ ể ỉ
c ệ ể ượ
i d ng ký hi u ma tr n nh sau: t d vi ậ ể ế ươ ạ Đ thu n ti n các quy t c perceptron có th đ ắ ậ ư ệ
lu t h c ể ể
ch Đ ki m tra ậ i ạ ví d vụ ề táo/cam trong ch ngươ
ươ c các vector ọ perceptron, chúng ta s ẽ xem ng 3. Các m u th ử s đ ẽ ượ ẫ ầ
xét l c pặ đ u vào/đ u ra ầ nghi mệ :
s giá tr ban đ u c a ma tr n tr ng s ố ủ
ầ
ậ
ọ
ị
và h s hi u ch nh là:
Gi ả ử ệ ố ệ
ỉ
B c đ u tiên chúng ta s áp dung vector p
ướ
ẽ
ầ
1
vào m ng:ạ
Ti p theo là tính giá tr sai s e:
ế
ố
ị
B n c p nh t tr ng l
ậ ọ
ả
ậ
ng ượ :
B n c p nh t ậ
ậ h s hi u ch nh
ệ ố ệ
ả
ỉ
là:
B cướ 2: c a quy t c perceptron là:
ủ
ắ
ặ ạ m t l n n a v i các vector đ u
ộ ầ
ữ
ầ
ớ
ướ
B c 3 l p l vào đ u tiên ầ
i p1:
i s th y r ng ặ ạ ẽ ấ ằ cượ ờ s ẽ đ ậ
cu i cùng ố chúng ta
ngươ pháp. i quy t đ nh ế ị i mà ớ ặ
ư ranh gi ươ
ng 3, m c dù c hai ả i ớ đ u ề phân lo i chính xác các ạ
N u ti p t c l p đi l p l ế ụ ặ ế c hai vect đ u vào bây gi ơ ầ ả phân lo iạ m t cách chính xác. Thu t toán ộ ộ ụ ề ộ ph v m t đã h i t : Ranh gi L u ýư ớ không gi ng nh ố trình bày trong Ch ranh gi vect
hai đ u vào. ầ
ơ
• Tóm t Tóm t
t các k t qu t các k t qu
ắ ắ
ế ế
ả ả
ế
Ki n trúc perceptron
Ranh gi
ớ
i quy t đ nh: ế ị
ớ
i quy t đ nh luôn tr c giao v i vector ự
ế ị
ớ
Ranh gi tr ng s . ố
ọ
Perceptron đ n l p ch có th phân lo i 2 ỉ
ể
ạ
ơ
ớ
vector tuy n tính tách r i. ờ
ế
Lu t h c perceptron:
ậ ọ
Bài t p m u ậ Bài t p m u ậ
ẫ ẫ
i thích 3 bài toán phân lo i đ n gi n trong hình ả ạ ơ
ả i quy t đ nh. Tìm giá tr ị ẽ ộ ớ
• P4.1 : Gi ằ ố ế ị ạ
P4.1 b ng cách v m t ranh gi tr ng s và h s hi u ch nh trong m ng perceptron ỉ ệ ố ệ m t noron v i ranh gi i quy t đ nh đã ch n. ế ị ọ ộ ớ ọ ớ
Gi
iả
Tr ng gi a ướ ẽ ộ ườ ữ phân tách
c tiên chúng ta v m t đ t p các đi m tr ng và đi m đen. ắ ể ậ ể
ố
i quy t đ nh, và h ướ ỉ ớ ượ
ế ị ể
B c ti p theo là tìm ki m các tr ng s và h s ọ ệ ố ế ế c tr c giao v i số ph i đ Các vector tr ng ọ hi u ch nh. ự ớ ả ượ ệ c phân đi m đ v các ng ranh gi ể ề ướ lo i ạ b ngằ 1 (đi m đen ). Các vector tr ng s có th có ể ố ọ có chi u dài tùy ý. ề
D i đây là t p các vector tr ng ướ ậ ọ số đ ượ ự ọ : c l a ch n
(a)1wT = [-2 1] , (b) 1wT = [0 -2] , (c) 1wT = [2 -2]
ờ
chúng ta đi tìm giá tr c a các h s hi u ị ủ ằ
i quy t đ nh và đáp ng đ ế ị ể ứ ứ
Bây gi ệ ố ệ ch nh cho t ng perceptron b ng cách ch n m t đi m ộ ọ ừ ỉ trên ranh gi c bi u th c ể ượ ớ ( 4.15 )
1wTp + b = 0
b = - 1wTp
Đi u này cho chúng ta ba h s hi u ch nh sau : ệ ố ệ ề ỉ
ể ể ữ ệ ố
chúng tôi có th ki m tra nghi m đ i nh ng ầ ử ệ ạ
Bây gi ờ đi m ban đ u. ầ ể tiên trên vector đ u vào p = [ 2 -2 ]-T đây chúng tôi th nghi m m ng đ u Ở ầ
ạ ớ ố ớ
• P 4.3: Cho bài toán phân lo i v i b n l p vector
đ u vào g m :
ầ
ồ
t k m t m ng perceptron đ gi
i bài toán
ế ế ộ
ể ả
ạ
Thi này.
ng đ
ươ
i đây v ề ạ ướ ng đ tìm tr ng ọ ể
ỉ
• P 4.2: Bi n đ i bài toán phân lo i d ổ ế các b t ph ng trình t ươ ươ ấ . s và h s hi u ch nh ệ ố ệ ố
Gi
iả
ụ ứ
i V i m i m c tiêu t i ch có th đáp ng 1 m ng đ u vào p ầ ạ ể ỉ ụ ớ 1 = 1 thì nh h n 0 ho c l n h n ho c b ng 0. Ví d v i t ằ ặ ớ ặ ơ ng ng p 1 ph i l n h n ho c b ng 0. m ng đ u vào t ằ ơ ả ớ ứ ươ ầ ng trình sau: Theo đó ta có các b t ph ươ
ỗ ớ ỏ ơ ạ ặ
ấ
ng t v i các c p đ u vào/m c tiêu {p2, t2 }, ự ớ ươ
Áp d ng t ầ ụ {p3,t3} và {p4,t4} ta có cac b t ph ụ ng trình sau: ặ ấ ươ
i h b t ph ng trình là r t khó so v i gi ấ ươ ả ệ ấ
ớ ơ i h ả ệ ả
i các b t ph ể ấ
ệ ấ ỉ
ng trình này. Đ ý ta ng trình (ii) và 1,1 ch xu t hi n trong b t ph ươ ệ ng trình (I) và (iii). ươ ng trình b ng hai đ ồ ằ ể ẽ ỗ ặ ấ
Vi c gi ệ ng trình. Tuy nhiên, đây là 1 bài toán đ n gi n nên ta ph ươ có th dùng đ th gi ươ ồ ị ả ể th y r ng w ấ ấ ỉ ấ ằ (iv), và w1,2 ch xu t hi n trong b t ph ấ Chúng ta có th v m i c p b t ph ươ thị
ọ
ằ
ọ
ỉ
ệ ố ệ i đ u có th gi
ể ả
ả
M i giá tr c a tr ng s và h s hi u ch nh n m ố ị ủ i quy t bài trong c 2 vùng màu t ế ố ề toán phân lo i trên.
ạ
M t trong nh ng giá tr đó là: ữ
ộ
ị
W = [–2 3] b = 3
Gi
iả
ể ả ầ ớ ớ
Đ gi ẽ ầ i gi ả ộ ơ
i bài toán v i 4 l p vector đ u vào chúng ta s c n m t perceptron v i ít nh t hai n ron. M ng ấ ớ perceptron hai n ron đ ạ c minh h a trong hình P4.2. ượ ọ ơ
c minh h a trong hình ạ ượ ọ
Các vector đ u vào m ng đ ầ P4.3.
ắ ể ệ ạ
ể ệ ắ
• Các vòng tròn tr ng th hi n vector lo i 1. • Các hình vuông tr ng th hi n vector lo i 2. ạ • Các vòng tròn đen th hi n vector lo i 3. ể ệ ạ
• Các hình vuông đen th hi n vector lo i 4. ể ệ ạ
ơ ạ ạ ớ
ậ
ị ạ ả
ớ ạ ẽ
ậ ớ
M ng perceptron hai n ron c n t o ra hai ranh gi i quy t ầ ế đ nh. Vì v y, đ phân chia không gian đ u vào thành b n ố ầ ể lo i, chúng ta c n ph i có m t ranh gi i phân chia 4 lo i ạ ộ ầ i s cô l p t ng lo i. i còn l thành hai t p c a 2, ranh gi ạ ậ ừ ớ ủ c minh h a trong hình P4.4. Chúng ta i đó đ Hai ranh gi ọ t r ng các m u c a chúng tôi là tuy n tính tách riêng. bi ẫ ượ ủ ế ằ ế
ọ ớ ị
ề ế Các vector tr ng s tr c giao v i ranh gi ố ự ơ ự ướ
ế ớ ả ầ ủ
ộ ự ự ả ầ ế
i cho k t qu đ u ra là 1. M t s l a ch n đ ệ ự
ọ ờ ạ ằ ấ ầ ờ
ả i pháp này t ữ ả ỉ ả ươ ư
i quy t đ nh ế ng v các khu v c n i mà các k t qu đ u ra neuron và h là 1. B c ti p theo là quy t đ nh bên nào c a m i ranh ỗ ế ị ướ gi c minh ượ ớ h a trong hình P4.5, các khu v c bóng m đ i di n cho các ọ đ u ra là 1. Nh ng bóng m nh t ch ra r ng c hai đ u ra ầ đ u cho k t qu là 1. L u ý r ng gi ng ng ế ứ ằ ề v i giá tr m c tiêu c a: ị ụ ớ ủ
Bây gi ờ
chúng ta có th ch n các vect ể ọ ơ ọ tr ng s : ố
tr ng s không quan tr ng, ố ủ ơ ọ ọ
ng c a chúng là quan tr ng. Chúng ph i ả
ủ c tr c giao v i ranh gi ư ỉ ượ ớ ờ
ọ ế ị ằ ệ ố ệ
i quy t đ nh. Bây gi ọ ỉ ng ranh gi ể chúng ộ ứ ộ ườ ứ ớ
L u ý r ng đ dài c a vect ộ ằ ch có h ướ đ ớ ự ta có th tính h s hi u ch nh b ng cách ch n m t ể i và đáp ng bi u th c đi m trên m t đ ể (4.15):
Ma tr n tr ng s và h s hi u ch nh là:
ệ ố ệ
ậ
ố
ọ
ỉ
• P 4.4:Gi
i ả bài toán phân lo i sau đây v i
ậ ọ ớ lu t h c
ạ
ấ
perceptron. Áp d ng ụ th t ,ứ ự l p l ặ ạ ế . V đ th c a i quy t gi ả t i pháp tìm th y m t gi ố ả ấ
t ngừ vector đ u vào theo ầ i quá trình cho đ n khi v n đ đ c ề ượ ế ẽ ồ ị ủ bài toán sau khi b n đã ạ ấ . t nh t
ộ
Gi
iả
Tr ng s và h s đi u ch nh ban đ u: ệ ố ề ầ ố ọ ỉ
ằ ầ
ử ụ ằ
Chúng tôi b t đ u b ng cách tính đ u ra c a perceptron ủ ắ ầ p1, b ng cách s d ng h s cho vector đ u vào đ u tiên ệ ố ầ đi u ch nh và tr ng s ban đ u. ầ ọ ầ ố ề ỉ
ta ị ụ
ằ ắ t1 , vì v y chúng ậ ọ s và h ệ ố ể
a không b ng giá tr m c tiêu Đ u ra ầ s d ng các quy t c perceptron đ tìm tr ng ử ụ s đi u ch nh d a trên sai s . ố ố ề ự ỉ
ụ ứ ầ
ế ụ áp d ng vector đ u vào th hai ệ ố ề ử ụ ằ ọ ỉ
Chúng ta ti p t c p2 , b ng cách s d ng h s đi u ch nh và tr ng s đã c p nh t. ậ ố ậ
ạ đ u raầ ằ t2 . Áp d ng các ụ
a là b ng v i m c tiêu T i đây ớ quy t cắ perceptron s ẽ đ a ra k t qu ụ ế ư ả không thay đ i.ổ
ế ụ áp d ng ụ v iớ vector đ u vào th ứ ầ
Chúng ta ti p t c ba
ấ ụ ứ ầ ầ ằ ớ
Ta th y đ u ra đáp ng vector đ u vào p3 b ng v i m c tiêu t3 , vì v yậ s không có thay đ i. ổ ẽ
uy n sang vector đ u vào cu i cùng ế ụ ể ầ ố
Chúng ta ti p t c ch p4
ấ a không b ng m c tiêu thích h p ụ
ợ t4 . ị ủ ằ ẽ ầ ắ ổ
Ta th y đ u ra Các quy t c perceptron s làm thay đ i các giá tr c a W và b.
đ u tiên ầ
Bây gi p1. Lúc này đ u ra ờ chúng ta ph i ả quay l ằ ể a đã b ng v i m c tiêu ớ i ạ ki m tra vector t1 . ụ ầ
Do đó không có thay đ iổ
v i vector p ự ớ ả
2 k t qu cho ra 1 sai s do đó ế ệ ố ề ị ớ ủ
t l p các giá tr m i c a h s đi u ch nh và ng t ế ậ ố ỉ
Làm t ươ ta c n thi ầ tr ng s ố ọ
D i đây là nh ng giá tr m i ị ớ : ữ ướ
ươ ộ ầ ế
V y thu t toán đã h i t
. K t qu cu i cùng là
ộ ụ ế
ậ
ậ
ả
ố
v i các vector đ u vào ti p theo m t l n Làm t ự ớ n a thì k t qu không có sai s ả ữ ng t ế ầ ố
anh ờ
c a các gi Ranh gi ồ ị ể ả ủ
Bây gi gi ớ đ ượ chúng ta có đ th đ hu n luyên d li u và r ữ ệ ấ i quy t đ nh i quy t đ nh i pháp. ế ị ế ị ớ c cho b i ở
i quy t đ nh, ta thi t ể ủ ụ p2 v i ranh gi ớ ớ ế ị ế
Đ tìm giao c a tr c l p ậ p1 = 0:
ụ p1 v i ranh gi ớ ớ i quy t đ nh, ta ế ị
t l p Đ tìm giao c a tr c ủ ể ế ậ p2 = 0: thi
i quy t đ nh k t qu đ c minh h a trong hình ớ ế ị ả ượ ế ọ
Ranh gi P4.6
ớ ể
ấ ầ đi qua m t đi m t ộ ậ i quy t đ nh ế ề ể ấ ằ
ế ị
ng ng Ta th y ranh gi ứ ươ ị c vì v i đ u ra b ng 1. Đi u này có th ch p nh n đ ượ ớ theo đ nh nghĩa hàm truy n hardlim cho k t qu đ u ra ả ầ ề b ng 1 ngay c khi n = 0. ằ ả
ấ
ố ớ
ế ị
ề
ệ
ể ả
ệ
ạ
i các v n đ quy t đ nh b n l p P 4.5: Xem xét l ạ mà chúng tôi gi i thi u trong bài P4.3. Hu n ấ ớ i quy t v n đ luy n m t m ng perceptron đ gi ề ế ấ ộ này b ng cách s d ng lu t h c perceptron.
ậ ọ
ử ụ
ằ
ế
ử ụ
ụ
N u chúng ta s d ng các vector m c tiêu i thi u trong v n đ ề
ệ
ấ
ố
gi ng nhau mà chúng tôi gi P4.3, các đào t o s thi
ớ t l p: ế ậ
ẽ
ạ
ệ ố ệ ớ ọ ậ ố
Chúng ta b t đ u thu t toán v i tr ng s và h s hi u ắ ầ ch nh ban đ u sau đây : ầ ỉ
L n đ u tiên ầ ầ
L n th hai: ứ ầ
L n th 3: ứ ầ
đ n l n th tám l n ta th y ừ ầ ứ ư ế ầ ứ ấ ầ
i quá trình t L p l l n th t ặ ạ tr ng s không thay đ i. ổ ố ọ
L n th chín ứ ầ
, vì t ộ ụ ầ
ớ
t c các m u đ u vào ẫ i quy t đ nh cu i ố ế ị i. Chúng ta có th so ạ ị ể ể
Lúc này, thu t toán đã h i t ấ ả ậ c phân lo i chính xác. Ranh gi đ u đ ề c hi n th trong hình d cùng đ sánh k t qu này v i m ng thi ớ ượ ượ ế ả ạ ướ t k trong bài P4.3. ế ế
