Học bằng các mô hình mạng neural

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:5

Thêm vào BST

Báo xấu

8
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết Học bằng các mô hình mạng neural trình bày các nội dung chính sau: Mô hình mạng neural lan truyền ngược; Thuật toán lan truyền ngược; Mô hình hệ thống mạng neural dạng hàm radial; Mô hình mạng neural mờ hồi quy.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Học bằng các mô hình mạng neural

Tạ Chí Khoa họ Giáo dụ Kỹ p c c thuậsố1(1), 6/2 006 t HỌ BẰ G CÁC MÔ HÌNH MẠ G NEURAL C N N VũThanh Nguyên ABSTRACT: This paper mentions about neural network models for learning as backpropogation neural network model, radial basis function neural network model, recurrent fuzzy neural network… These models are applied to learn and train on recognition, to analyse and to forecast for investment, finance, optimization, to evaluate for development on agriculture, industry, oriented to develop market, to set up business model… có thểđc và hiể đợ Tuy nhiên, tậ ọ u ưc. p I. TỔNG QUAN VỀHỌ VÀ MÁY C huấ luyệ bao giờcũ hữ hạ do đ n n ng u n ó HỌ C không phảtoàn bộdữliệ sẽ ư c họ mộ i u đợ c t cách chính xác. Rấkhó đ đnh nghĩmộcách chính xác về t ểị a t họ Mộtrong nhữ nguyên nhân là từhọ c. t ng c Mộtiế trình họ gồ 2 giai đ n: t n c m oạ - learn có ý nghĩkhác nhau trong từ lĩ a ng nh  Giai đ n họ (learning): hệ ng phân oạ c thố vự tâm lý họ giáo dụ trí tuệ c: c, c, nhân tạ o,… tích dữliệ và nhậ ra mố quan hệ(có u n i Mộ đnh nghĩ rộ nhấ họ là mộ từ t ị a ng t, c t thể phi tuyế hoặ tuyế tính) giữ các là n c n a dùng đ chỉ nă mộ chư ng trình máy ể khả ng t ơ đi tư ng dữliệ ố ợ u. tính đ tă tính thự thi dự trên nhữ ể ng c a ng kinh nghiêm đ trả qua. Lợ đ m củ các ã i i iể a  Giai đ n thử nghiệ (testing): Mố oạ m i phư ng pháp họ (gọlà máy họ – machine ơ c i c quan hệ (các luậ lớ đợ tạ ra phả t, p...) ư c o i learning khi kếhợ vớ máy tính) là nó phát t p i đ ợ kiể nghiệ lạ bằ mộ sốhàm ưc m m i ng t sinh ra các luậtư ng minh, có thể ư c sử t ờ đợ a tính toán thự thi trên mộ phầ củ tậ c t n a p đi, hoặ đ ợ huấ luyệ trong mộ giớ ổ c ưc n n t i dữliệ huấ luyệ hoặ trên mộ tậ dữ u n n c t p hạ nhấ đnh. Các phư ng pháp máy họ n t ị ơ c liệ lớ u n. hoạ đng trên các dữliệ có đc tảthông t ộ u ặ Các thuậtoán họ chia làm 3 loạ họ giám t c i: c tin. sát, họ không giám sát và họ nử giám sát. c c a Máy họ là sựtựđng củ quy trình họ và c ộ a c việ họ thì tưng đơ vớ việ xây dự c c ơ ư ng i c ng Họ có giám sát c nhữ luậdự trên việ quan sát trạ thái ng t a c ng trên cơsởdữliệ và nhữ sựchuyể hóa u ng n Đ là cách họ từnhữ mẫ dữliệ mà ở ây c ng u u củ chúng. Đ là lĩ vự rộ lớ không a ây nh c ng n đ các kỹthuậhọ giúp hệ ng xây dự ó t c thố ng chỉ bao gồ việ họ từmẫ mà còn họ m c c u, c cách xác đ nhữ lớ dữliệ Hệthố ịnh ng p u. ng tă cư ng, họ vớ thầ Các thuậ toán ng ờ c i y,... t phảtìm mộ sựmô tả từ lớ (đc tính i t cho ng p ặ họ lấ bộdữliệ và nhữ thông tin quen c y u ng củ mẫ dữliệ Thuậtoán họ có giám sát a u u). t c thuộ củ nó khi nhậ và trả mộ kếquả c a p về t t gồ tậ dữliệ huấ luyệ M cặ m p u n n p: câu nói hay mộ câu ví dụmộ khái niệ đ t , t m ể S = {(x i, c j) i=1,…,M; j=1,…,C} diễ tả ng kếquả c. Máy họ kiể tra n nhữ t họ c m nhữ ví dụtrư c đ và kiể tra luôn cả ng ớ ó m Các cặ huấ luyệ này đ ợ gọ là mẫ p n n ưc i u, nhữ kế quảcủ chúng khi xuấ và họ ng t a t c vớ xi là vector n-chiề còn gọlà vector đc i u i ặ làm cách nào đ tái tạ lạ nhữ kế quả ể o i ng t trư cj là lớ thứj đ biếtrưc. ng, p ã t ớ này và tạ nên nhữ sựtổ quát hóa cho o ng ng Thuậ toán họ giám sát tìm kiế không t c m nhữ trư ng hợ mớ ng ờ p i. gian củ nhữ giảthuyế có thể gọ là H. a ng t , i Nói chung, máy họ sửdụ mộ tậ hữ c ng t p u Đ i vớ mộ hay nhiề giảthuyế mà ư c ố i t u t, ớ hạ dữliệ đợ gọ là tậ huấ luyệ Tậ n u ưc i p n n. p lư ng tố nhấ hàm không đ ợ biế chính ợ t t ưc t này chứ nhữ mẫ dữliệ mà nó đợ a ng u u ưc xác f: x  c. Đ i vớ công việ phân lớ có ố i c p viế bằ mã theo mộ cách nào đ đ máy t ng t ó ể thểxem giảthuyế nhưmộ tiêu chí phân t t 72
Tạ Chí Khoa họ Giáo dụ Kỹ p c c thuậ số1(1), 6/2006 t lớ Thuậtoán họ tìm ra nhữ giả p. t c ng thuyế t II. CÁC MÔ HÌNH MẠNG NEURAL bằ cách khám phá ra nhữ đc trư ng ng ặ ng chung củ nhữ ví dụmẫ thểhiệ cho a ng u n DÙNG Đ HỌC Ể mỗ lớ Kế quảnhậ đợ thư ng ởdạ i p. t n ưc ờ ng luậ(Nế ... thì). t u ng 1. Mô hình mạ neural lan truyền ngư c (Backpropogation Neural ợ Tùy thuộ vào mứ đ củ thuậ toán họ c c ộ a t c Network) giám sát, ngư i ta có nhữ mô hình họ ờ ng c giám sát nhưsau: họ vẹ hệthố luôn c t: ng Các mô hình sửdụ mạ neuron là mộ ng ng t luôn đ ợ dạ nhữ luậ đ ưc y ng t úng, rồ có họ i c cách tiế cậ khá phổbiế cho vấ đ nêu p n n n ề hộ tụ họ bằ phép loạ suy: hệthố i , c ng i ng trên. Đ u đ xuấphát từkhả ng ghi nhớ iề ó t nă đ ợ dạ phả hồ đ cho mộ công việ ưc y n i úng t c và họ củ cấ trúc này. Bên cạ đ tính c a u nh ó, tưng tự như không xác đ họ dự ơ , ng ịnh, c a ổ đnh củ mạ neuron cũ là mộyế tố n ị a ng ng t u trên trưng hợ trong trư ng hợ này hệ ờ p: ờ p quan trọ giúp nó đợ chọ vì đ là đ u ng ưc n ây iề thố họ lư trữ tấ cảcác trư ng hợ ng c u t ờ p, kiệ quan trọ đt ra cho bài toán mô hình. n ng ặ cùng vớ kếquả ầ ra củ chúng, họ dự i t đu a c a trên sựgiả thích: hệ ng sẽ i thố phân tích tậ p Thuậ toán lan truyề ngư c t n ợ hợ nhữ giảpháp nhằ chỉ tạsao mỗ p ng i m ra i i (BackPropagation Algorithm): ơ phư ng pháp là thành công hay không thành công. Gọ Wljk là cung đ từđ thứk củ lớ l i i ỉnh a p vào đ j củ lớ kế p l+1. ỉ nh a p tiế Họ không giám sát c Tín hiệ ra tạmỗnode trên mạ đ ợ xác u i i ng ưc Đ là việ họ từquan sát và khám phá. Hệ ây c c đnh nhưsau: ị thố khai thác dữliệ đ ợ ứ dụ vớ ng u ưc ng ng i Lớ Input và Output: p YO = YI = X nhữ đ i tưng như không có lớ đợ ng ố ợ ng p ưc đnh nghĩtrư c, mà đ nó phảtựhệ ng ị a ớ ể i thố 1 Y H f ( X )  quan sát nhữ mẫ và nhậ ra mẫ Hệ ng u n u. 1  e X Lớ ẩ p n: thố này dẫ đn mộ tậ lớ mỗ lớ có ng n ế t p p, i p mộ tậ mẫ đ ợ khám phá trong tậ dữ t p u ưc p  Đ o hàm tạlớ ẩ Y’ = f(X).(1-f(X)) ạ i p n: liệ Mộ thuậtoán họ giám sát luôn có thể u. t t c Sai sốcủ node output thứi tạ thờ đ m a i i iể biế đi thành mộ thuậ toán họ không n ổ t t c ei  i y i  giám sát. Đ i vớ mộ bài toán mà nhữ ố i t ng 1 2 d mẫ dữliệ đợ mô tảbở n đc trư u u ưc i ặ ng, xem xét: 2 ngư i ta có thể y thuậtoán họ giám sát ờ chạ t c n-lầ mỗ lầ vớ mộ đc trư khác nhau n, i n i t ặ ng Trong đ d i: Giá trị ó: mong muố nhậ đ ợ n n ưc tạnode i, yi: Giá trị c củ hệ ng. i thự a thố đ óng vai trò thuộ tính lớ mà chúng ta c p, đ tiên đ Kếquả là n tiêu chí phân ang oán. t sẽ Khi cung Wljk đợ họ giá trị a nó đ ợ ư c c, củ ưc lớ (n bộphân lớ vớ hy vọ là ít nhấ p p), i ng t cậ nhậtheo công thứ sau: p t c mộtrong n bộ t phân lớ đ là đ p ó úng. wjk(t+1) = wjk(t) +  jk W Họ nử giám sát c a  Trong đ ó: Họ nử giám sát là các thuậ toán họ tích c a t c    j e y x x  i . i . i . hợ từhọ giám sát và họ không giám sát. p c c i i  j  jk y x x w  jk W Việ họ nử giám sát tậ dụ nhữ ư c c a n ng ng u đ m củ việ họ giám sát và họ không iể a c c c i  i yi i' . x giám sát và loạ bỏ nhữ khuyế đ m i ng t iể . d .y .yk j x thư ng gặ trên hai kiể họ này. ờ p u c  d i y i i' . . y k .  . y ij 73
Tạ Chí Khoa họ Giáo dụ Kỹ p c c thuậsố1(1), 6/2 006 t  Vớ i: 3. Mô hình mạ neural mờ i quy ng hồ  1 , i j (Recurrent Fuzzy Neural Network)  .y ' w , i j 1  ij j   ' Mô hình mạ neural này kế hợ từ lý ng t p  , i j 2 '    wkj y k .w ik  j ij .y thuyế tậ mờvà mô hình mạ neural tậ t p ng n   k    dụ nhữ ư đ m nhưcó khả ng xấ xỉ ng ng u iể nă p    wpj . y 'p .  w kp .y k' . wik . y 'j    , i j 3 mộhàm liên tụ vớ đ chính xác cho trư c t c i ộ ớ  p  k  (mạ neural) và khai thác khảnă xửlý ng ng nhữ tri thứ nhưcon ngưi (lý thuyếtậ ng c ờ t p 2. Mô hình hệ ng mạ neural thố ng mờ [10], [11], [12], [14]. Mô hình này rấ ) t dạ hàm radial (Radial Basis ng thích hợ do yêu cầ đt ra có nhữ đu p u ặ ng ầ Function Neural Network). vào và đu ra phụ thuộ theo thờ gian. ầ c i Mạ neural mờhồ quy tỏra đt hiệ quả ng i ạ u Hệthố mạ neural dạ hàm radial sẽ ng ng ng cao cho nhữ ứ dụ như dựbáo chuỗ ng ng ng : i giả quyế vấ đ p xỉ t hàm liên tụ n i t n ềxấ mộ c thờ gian, nhậ dạ và đ u khiể nhữ hệ i n ng iề n ng biế trên mộ miề compact [13]. Mô hình n t n phi tuyến. này tiế hành lấ đc trư cụ bộcủ hàm, n y ặ ng c a  Cấ trúc mạ mộ mạ gồ 4 lớ u ng: t ng m p và nhưvậ sẽdễdàng khở tạ và huấ y i o n luyệ dữliệ khi họ n u c. nhưsau:  Cấ trúc mạ mộ mạ RBFNNs u ng: t ng Lớ 1: p Là lớ nhậ gồ N dữliệ nhậ p p m u p (input). gồ có 3 lớ lớ đu vào, lớ các hàm m p: p ầ p ờ Gauss (sốnút là do ngưi sửdụ quy ng Lớ 2: p Gọ là lớ các hàm thành viên. i p đnh), lớ đu ra ị p ầ Các nút trong lớ này thự hiệ p c n việ mờhóa. Sốnút trong lớ 2 là c p  Các liên kếtừtầ lớ đu vào đn tầ t ng p ầ ế ng các hàm Gauss không có trọ số Các ng . N x M, trong đ M là sốluậ mờ ó t liên kế ởtầ các hàm Gauss đn tầ t ng ế ng (sốnode củ lớ 3) a p lớ đu ra có trọ số Mỗ node ởtầ p ầ ng . i ng Lớ 3: p Lớ các luậ mờ Các nút trong p t . các hàm Gauss có các thông sốcầ xác n lớ này tạ thành cơsởluậ mờ p o t đ là: trọ tâm, thông sốsigma (xác ị nh ng gồ M nút. Liên kếgiữ lớ 2 và m t a p đ đ ch chuẩ củ hàm Gauss). Xác ị ộlệ nh n a lớ 3 biể diễ giảthiế củ luậ p u n t a t đ các thông sốởtầ này dùng đ ị nh ng ể mờ Liên kế giữ lớ 3 và lớ 4 . t a p p phân lớ p. biể diễ kếluậ củ luậmờ u n t n a t .  Các trọ sốtrên đ ờ liên kế từtầ ng ư ng t ng Lớ 4: p Lớ xuấgồ P nút. p t m các hàm Gauss đn tầ lớ đu ra đợ ế ng p ầ ưc Liên kế giữ lớ 3 và lớ 4 đ ợ gán trọ t a p p ưc ng xác đ ị thông qua cách họ bình nh c ờ ơ thư ng: phưng pháp họ lan truyề c n w số jk . ợ ơ ngưc, phư ng pháp họ tuyế tính, c n ơ phư ng pháp họ theo vếcũ c t . Như y sốnút củ mô hình là: N + (N x M) vậ a +M+P  Hoạ đ ng củ mô hình: mỗ mẫ dữ t ộ a i u liệ nhậ sẽ k hàm Gauss (giảsửởtầ u p qua ng này có k node hàm Gauss), hay có thểhiểu là có k lớ xem mẫ thuộ vào lớ nào qua p, u c p tính xác xuấphân bốchuẩ (là hàm Gauss t n củ các lớ Các giá trị đợ này đợ a p). tính ư c ưc tổhợ tuyế tính (tính trung bình có trọ p n ng số ). 74
Tạ Chí Khoa họ Giáo dụ Kỹ p c c thuậ số1(1), 6/2006 t Y1 Yp ( 2 )  exp   i ij   O ( 1 )  O ( 2 ) 1  m ij t  ij  2    O ij Z -1 G   ij 2    Lôùp 4       x   O ( 2 )  1  m  i t  ij ij W11 Wnp 2 t  ij  exp   ij W1p Wn1     Lôùp 3    ij 2     Lôùp 2 i = 1 j = 1 N, M G G G G G G Mỗ node trong lớ này có 3 thông sốlà i p Lôùp 1 mij ij ij , và . X1 Xn Lớ 3: Các node trong lớ này thự hiệ p p c n phép toán AND Cấ trúc mạ RFNN u ng O (j 3 ) N  O ij 2 ) ( i Hoạ đ ng củ mô hình t ộ a 1 N  exp  i t ij ij   x   O ( 2 )  1 m t   ij  2  Ký hiệ u và ui( k ) tư ng ứ là đu ơ ng ầ Oi(k ) i 1   ij 2    vào và đu ra củ nút thứ trong lớ k. ầ a i p i = 1 j = 1 N, M Lớ 1 p Lớ 4: Các node trong lớ này thự hiệ p p c n việ giảmờ c i . O i( 1 ) u ( 1 ) i x i  , i = 1 t N O k ( 4) yk Lớ 2 p M  u (jk ) w 4 jk j1 (2)  exp  u   (2) ij m ij  2   M  O (j3 ) w jk O ij  ij    j1   M  w jk N  i   x   O ( 2 )  1  m t  ij ij t   ij  2   exp  i = 1 j = 1 N, M j1 i1   ij   2   m  Vớ i = 1 j = 1 k = 1 Nhưvậ i y, Trong đ ó ij và ij tư ng ứ là trọ ơ ng ng N, M, P. tâm và đ rộ củ hàm thành viên theo ộ ng a trong mô hình này, các thông số n phả cầ i phân bốGauss. Hơ nữ đu vào củ các n a, ầ a mij   ij ij w jk nút này là: xác đnh là ị , , và . Lậ luậ mờ p n u ij 2 )  O i( 1 )  O ij 2 ) 1  ( t ij ( t Giảsửcho hệmạ neural hồ quy mờvớ ng i i i = 1 j = 1 N, M nhiề đu vào và mộ đu ra. Gọ xi là biế u ầ t ầ i n ij ngôn ngữthứi và  là giá trị j kích hoạcủ t a Trong đ ó biể diễ trọ sốcho các nút u n ng luậj, wj là trọ sốcủ kế nố thứj. Mộ t ng a t i t hồtiế i p. luậsuy diễ mờđợ biể diễ nhưsau: Rj t n ưc u n Dễdàng thấ rằ đu vào củ các node y ng ầ a : Nế u1j là A1j , u2j là A 2j, .. , unj là Anj Thì u trong lớ này có chứ toán hạ p a ng y=wj Oij(2 )  1 t Trong đ i = 1, 2, .. , n n là số ầ vào ó đu lư thông tin trưc đ củ mô u ớ ó a hình. Và đ chính là sự khác biệ giữ ây t a uij = xi +  * oij(2)(t-1) ij mạ neural mờvà mạ neural hồquy mờ ng ng i . Aij là các tậ mờ p y Nhưvậ Wj là trọ sốkếnố ng t i Đ u vào củ mỗ hàm thành viên là đu vào ầ a i ầ xi củ mạ cộ vớ sốhạ oij . a ng ng i ng (2) ij 75
Tạ Chí Khoa họ Giáo dụ Kỹ p c c thuậsố1(1), 6/2 006 t Hệthố mờvớ nhữ thành phầ nhớ ng i ng n 4. T.T. Chow, Z.Lin and C.L. Song. (Feedback unit) có thể ư c xem nhưlà mộ đợ t Applying Neural Network and Genetic hệsuy luậ mờ đng và giá trị n ộ suy luậ n Algorithm In System Optimization. 7th đ ợ tính bở ưc i: International IBPSA Conference, 2001. 5. Trưng Hả Bằ Ứng dụ củ hệ ơ i ng. ng a M thố lai trong quả trị chính. Luậ ng n n y *  jj và j   ij   N ti j 1 w  A u ij vă Thạ Sỹ CNTT - Đ n c HKHTN , i 1 07/2001. Vớ M là số t. Từmô tả i luậ trên, mạ neural ng hồ quy mờlà mộ hệsuy luậ mờcó các i t n 6. Nguyễ Phư c Đ i. Nghiên cứ mộ số n ớ ạ u t thuậ toán máy họ và ứ dụ trong t c ng ng phầ tửnhớ Sau khi huấ luyệ xong, các n . n n thông sốtrong mạ cùng vớ các phầ tử ng i n truy vấ vă bả tự đng. Luậ vă n n n ộ n n Thạ Sỹ c CNTT - Đ HKHTN, 06/2003. nhớđ xác đnh tri thứ ã ị c. 7. Võ Nguyễ Hư ng Giang. Sửdụ hệ n ơ ng lai xây dự mô hình hỗtrợra quyế ng t III. KẾ LUẬ T N đnh marketing. Luậ vă Thạ Sỹ ị n n c Các phư ng pháp họ trên mô hình neural ơ c CNTT - Đ HKHTN, 07/2004. đ đợ tác giảvà các cộ sựnghiên cứ ã ưc ng u 8. LưNhậ Vinh. Kế hợ mạ neural và t t p ng logic mờđ giảquyế bài toán kinh tế ể i t . và áp dụ rấ nhiề trong thự tiễ (có kế ng t u c n t hợ vớ các thuậ toán khác nhưGA, hệ p i t Luậ vă Thạ SỹCNTT - Đ n n c HKHTN, lai…) nhưxây dự hệthố quả trị ng ng n tài 07/2001. chính, dựbáo chứ khoán [6], xây dự ng ng 9. Dư ng Ngọ Hiế Sử dụ hệ lai ơ c u. ng mô hình hỗtrợra quyếđnh marketing [8], t ị (Fuzzy Logic+Neural Network, Genetic phân tích dựbáo kinh tế [1],[2],[9], truy văn + Neural Network) trong công tác phân tích dựbáo các sả phẩ chiế lưc củ n m n ợ a bả tựđng [7], phân tích dựbáo các sả n ộ n phẩ chiế lư c nề kinh tếquố dân [9], m n ợ n c nề kinh tế c dân. Luậ vă Thạ Sỹ n quố n n c nhậ dạ chữtiế Việ Hiệ nay tác giả n ng ng t… n CNTT - Đ HBK, 07/2005. đ xây dự và thửnghiệ trên mô hình ang ng m 10. C-H. Lee, C.-C Teng; Identification and mạ neural mờ hồ quy và mạ neural ng i ng Control of Dynamic Systems Using Recurent Fuzzy Neural Networks; p.349 dạ hàm radial hệ thố đ ng ng ánh giá chấ t lưng giả dạ và họ cho các trư ng phổ ơ ng y c ờ – p.366. IEEE Transactions on Fuzzy thông trung họ cao đng và đi họ trên c, ẳ ạ c System 08/2000. 11. F-J.Lin, R.-J. Wai; Hybird Control đa bàn Tp. HCM. ị Using Recurrent Fuzzy Neural Network IV. TÀI LIỆ THAM KHẢ U O for Linear Induction Motor Servo Drive; p.102 – p.115; IEEE Transactions on 1. TS. VũThanh Nguyên; Báo cáo nghiệ m Fuzzy System 02/2001. thu đ tài giả quyếmộ sốvấ đ phân ề i t t n ề 12. P.Tino, C.Schittenkopf, G.Dorffner. tích dự báo kinh tếứ dụ trong ng ng Financial Volatility Trading Using ngành công nghiệ tạthành phốHồ p i Chí Recurrent Neural Network; p. 865 – Minh củ SởKhoa Họ và Công Nghệ a c p.874; IEEE Transactions on Neural Tp. HCM 10/2003. Networks 07/2001. 2. ThS. Nguyễ Quố Tòng; Báo cáo về n c 13. S. Seshagiri, H. K. Khalil; Output các phưng pháp đnh tính và đnh ơ ị ị Feedback Control of Nonlinear Systems lưng đ ợ ứ dụ trong các công tác ợ ư c ng ng Using RBF Neural Networks; p. 69 – phân tích dự báo củ Việ Kinh Tế a n p.79; IEEE Transactions on Neural thành phố 2000. - Networks 01/2000. 3. Duc Truong Pham, Liu Xing; Neural 14. F.-J.Lin, R.-J Wai, C.-M.Hong; Hybird Networks for Identication, Prediction Supervisory Control Using Recurrent Fuzzy Neural Network for Tracking and Control. Springer – Verlag London Limited 1998. Periodic Inputs; p.68 – p.90; IEEE Transactions on Neural Networks 01/2001. 76