Đề tài: "Ứng dụng mạng neuron cho vấn đề nhận dạng tiếng nói", đồng thời xây dựng một phần mềm thử nghiệm nhận dạng nguyên âm với mục đích hiểu sâu hơn về cách thức mà một mạng neuron tiến hành việc phân loại cá tín hiệu tiếng nói"

Chia sẻ: Nguyen Hoang Huu | Ngày: | Loại File: PDF | Số trang:0

Thêm vào BST

Báo xấu

117
lượt xem 25
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Trong những năm gần đây, người ta thường nhắc đến Trí tuệ nhân tạo như là một phương thức mô phỏng trí thông minh con người từ việc lưu trữ đến xử lý thông tin...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Đề tài: "Ứng dụng mạng neuron cho vấn đề nhận dạng tiếng nói", đồng thời xây dựng một phần mềm thử nghiệm nhận dạng nguyên âm với mục đích hiểu sâu hơn về cách thức mà một mạng neuron tiến hành việc phân loại cá tín hiệu tiếng nói"

giíi thiÖu Trong nh÷ng n¨m gÇn ®©y, ng−êi ta th−êng nh¾c ®Õn “TrÝ tuÖ nh©n t¹o” nh− lµ mét ph−¬ng thøc m« pháng trÝ th«ng minh cña con ng−êi tõ viÖc l−u tr÷ ®Õn xö lý th«ng tin. Vµ nã thùc sù ®· trë thµnh nÒn t¶ng cho viÖc x©y dùng c¸c thÕ hÖ m¸y th«ng minh hiÖn ®¹i. Còng víi môc ®Ých ®ã, nh−ng dùa trªn quan ®iÓm nghiªn cøu hoµn toµn kh¸c, mét m«n khoa häc ®· ra ®êi, ®ã lµ Lý thuyÕt M¹ng neuron. TiÕp thu c¸c thµnh tùu vÒ thÇn kinh sinh häc, m¹ng neuron lu«n ®−îc x©y dùng thµnh mét cÊu tróc m« pháng trùc tiÕp c¸c tæ chøc thÇn kinh trong bé n·o con ng−êi. Tõ nh÷ng nghiªn cøu s¬ khai cña McCulloch vµ Pitts trong nh÷ng n¨m 40 cña thÕ kû, tr¶i qua nhiÒu n¨m ph¸t triÓn, cho ®Õn thËp kû nµy, khi tr×nh ®é phÇn cøng vµ phÇn mÒm ®· ®ñ m¹nh cho phÐp cµi ®Æt nh÷ng øng dông phøc t¹p, Lý thuyÕt M¹ng neuron míi thùc sù ®−îc chó ý vµ nhanh chãng trë thµnh mét h−íng nghiªn cøu ®Çy triÓn väng trong môc ®Ých x©y dùng c¸c m¸y th«ng minh tiÕn gÇn tíi TrÝ tuÖ con ng−êi. Søc m¹nh thuéc vÒ b¶n chÊt tÝnh to¸n song song, chÊp nhËn lçi cña m¹ng neuron ®· ®−îc chøng minh th«ng qua nhiÒu øng dông trong thùc tiÔn, ®Æc biÖt khi tÝch hîp cïng víi c¸c kü thuËt kh¸c. Mét trong nh÷ng øng dông kinh ®iÓn cña m¹ng neuron lµ líp c¸c bµi to¸n nhËn d¹ng mÉu, ë ®ã mçi mét mÉu lµ mét tËp hîp (hay mét vector) c¸c tham sè biÓu thÞ c¸c thuéc tÝnh cña mét qu¸ tr×nh vËt lý nµo ®ã (vÝ dô tÝn hiÖu tiÕng nãi). Ngoµi søc m¹nh vèn cã, m¹ng neuron cßn thÓ hiÖn −u ®iÓm cña m×nh trong viÖc nhËn d¹ng th«ng qua kh¶ n¨ng mÒm dÎo, dÔ thÝch nghi víi m«i tr−êng. ChÝnh v× vËy, cã thÓ coi m¹ng neuron tr−íc tiªn lµ mét c«ng cô ®Ó nhËn d¹ng. NhiÒu c«ng tr×nh nghiªn cøu, nhiÒu øng dông thùc nghiÖm ®· ®−îc thùc hiÖn trªn m¹ng neuron víi môc ®Ých nhËn d¹ng vµ ®· thu ®−îc nh÷ng thµnh c«ng to lín. Tr−íc sù quyÕn rò cña c¸c øng dông TrÝ tuÖ nh©n t¹o, cïng b¶n tÝnh tß mß tr−íc mét lý thuyÕt míi ch−a tõng ®−îc nghiªn cøu vµ sù ®éng viªn khuyÕn khÝch cña thµy gi¸o h−íng dÉn, t«i ®· quyÕt ®Þnh thùc hiÖn nh÷ng nghiªn cøu ban ®Çu vÒ Lý thuyÕt m¹ng neuron víi mét môc ®Ých cô thÓ lµ øng dông nã vµo vÊn ®Ò nhËn d¹ng tiÕng nãi. Do thêi gian thùc hiÖn ®å ¸n tèt nghiÖp chØ cã h¬n ba th¸ng, t«i kh«ng cã tham väng x©y dùng ®−îc mét phÇn mÒm nhËn d¹ng tiÕng nãi hoµn chØnh. Môc ®Ých chÝnh cña b¶n luËn v¨n lµ: Tr×nh bµy c¸c kÕt qu¶ nghiªn cøu lý thuyÕt phôc vô cho chñ ®Ò “øng dông m¹ng neuron cho vÊn ®Ò nhËn d¹ng tiÕng nãi”; ®ång thêi x©y dùng mét phÇn mÒm thö nghiÖm NhËn d¹ng nguyªn ©m víi môc ®Ých hiÓu s©u h¬n vÒ c¸ch thøc mµ mét m¹ng neuron tiÕn hµnh viÖc ph©n lo¹i c¸c tÝn hiÖu tiÕng nãi. 1
Néi dung cña luËn v¨n PhÇn I. C¬ së lý thuyÕt m¹ng neuron cho vÊn ®Ò nhËn d¹ng tiÕng nãi Ch−¬ng 1. Më ®Çu. Kh¸i niÖm vÒ nh÷ng thµnh phÇn vµ kiÕn tróc c¬ b¶n cña m¹ng neuron. Ch−¬ng 2. Ph−¬ng ph¸p häc cho m¹ng tiÕn ®a møc. C¸c quy t¾c häc, m« h×nh häc vµ thuËt to¸n häc (thuËt to¸n back-propagation) cho m¹ng tiÕn (feedforward) ®a møc. §¸nh gi¸ vµ c¶i thiÖn tÝnh n¨ng thuËt to¸n back-propagation. Ch−¬ng 3. C¸c më réng cho m¹ng håi quy trÔ. M« h×nh m¹ng neuron håi quy trÔ vµ thuËt ti¸n back- propagation më réng. Ch−¬ng 4. NhËn d¹ng tiÕng nãi vµ kh¶ n¨ng øng dông m¹ng neuron trÔ. Xö lý filter bank cho tÝn hiÖu tiÕng nãi vµ quan ®iÓm øng dông c¸c m¹ng neuron trÔ cho viÖc nhËn d¹ng. PhÇn II. X©y dùng phÇn mÒm thö nghiÖm nhËn d¹ng nguyªn ©m Ch−¬ng 5. Ph©n tÝch bµi to¸n nhËn d¹ng nguyªn ©m. Ph©n tÝch yªu cÇu bµi to¸n vµ ®Ò xuÊt ph−¬ng ¸n thùc hiÖn. Ch−¬ng 6. ChiÕn l−îc thiÕt kÕ phÇn mÒm. ThiÕt kÕ c¸c modul ch−¬ng tr×nh theo tõng chøc n¨ng cô thÓ. Ch−¬ng 7. Giíi thiÖu phÇn mÒm cµi ®Æt. Tr×nh bµy ®«i nÐt vÒ c¸ch thøc cµi ®Æt mét sè modul quan träng. PhÇn III. KÕt luËn Ch−¬ng 8. KÕt luËn. XÐt vÒ mÆt lý thuyÕt, m¹ng neuron t−¬ng ®èi ®éc lËp víi b¶n chÊt c¸c qu¸ tr×nh vËt lý cÇn nhËn d¹ng mµ tÝn hiÖu tiÕng nãi lµ mét vÝ dô. Dùa trªn quan ®iÓm nhËn d¹ng mÉu, m¹ng neuron chØ quan t©m tíi c¸c tham sè ®Æc tr−ng cña tÝn hiÖu tiÕng nãi vµ sö dông chóng nh− ®Çu vµo; sau mét qu¸ tr×nh tÝnh to¸n, ®Çu ra cña m¹ng neuron sÏ lµ c¸c ®¸nh gi¸ cho phÐp dÔ dµng biÕt ®−îc tÝn hiÖu ban ®Çu thuéc lo¹i nµo. ChÝnh v× thÕ, trong phÇn tr×nh bµy vÒ kÕt qu¶ nghiªn cøu lý thuyÕt (PhÇn I), t«i cã ngÇm ph©n chia thµnh hai khu vùc: ba ch−¬ng ®Çu hoµn toµn nãi vÒ m¹ng neuron, vµ ch−¬ng cuèi cïng chñ yÕu nãi vÒ c¸ch thøc lÊy ra c¸c tham sè ®Æc tr−ng cña tÝn hiÖu tiÕng nãi. Do môc ®Ých nghiªn cøu lý thuyÕt cña ®Ò tµi vµ còng do 2
phÇn mÒm thö nghiÖm ch−a ®−îc hoµn thiÖn, PhÇn II cña b¶n luËn v¨n chØ chiÕm mét sè trang kh«ng nhiÒu (25 trang), nh−ng còng ®· ®Ò cËp ®Õn hÇu hÕt nh÷ng quan ®iÓm x©y dùng phÇn mÒm. Sau ®©y t«i xin giíi thiÖu nh÷ng nÐt kh¸i qu¸t nhÊt vÒ nh÷ng néi dung ®· thÓ hiÖn. Lý thuyÕt M¹ng neuron M¹ng neuron nh©n t¹o lµ mét m« h×nh m« pháng cÊu tróc cña bé n·o con ng−êi. Hai thµnh phÇn chÝnh cÊu t¹o nªn m¹ng neuron lµ c¸c neuron (m« pháng c¸c tÕ bµo thÇn kinh) vµ c¸c synapse (m« pháng c¸c khíp nèi thÇn kinh). Trong kiÕn tróc cña mét m« h×nh kÕt nèi, c¸c neuron chÝnh lµ c¸c nót m¹ng, ®−îc liªn kÕt víi nhau th«ng qua c¸c synpase, lµ c¸c cung m¹ng. Neuron lµ mét ®¬n vÞ tÝnh to¸n cã nhiÒu ®Çu vµo vµ mét ®Çu ra, mçi ®Çu vµo ®Õn tõ mét syanpse. §Æc tr−ng cña neuron lµ mét hµm kÝch ho¹t phi tuyÕn chuyÓn ®æi mét tæ hîp tuyÕn tÝnh cña tÊt c¶ c¸c tÝn hiÖu ®Çu vµo thµnh tÝn hiÖu ®Çu ra. Hµm kÝch ho¹t nµy ®¶m b¶o tÝnh chÊt phi tuyÕn cho tÝnh to¸n cña m¹ng neuron. Synapse lµ mét thµnh phÇn liªn kÕt gi÷a c¸c neuron, nã nèi ®Çu ra cña neuron nµy víi ®Çu vµo cña neuron kh¸c. §Æc tr−ng cña synapse lµ mét träng sè mµ mçi tÝn hiÖu ®i qua ®Òu ®−îc nhËn víi träng sè nµy. C¸c träng sè synapse chÝnh lµ c¸c tham sè tù do c¬ b¶n cña m¹ng neuron, cã thÓ thay ®æi ®−îc nh»m thÝch nghi víi m«i tr−êng xung quanh. M¹ng tiÕn ®a møc lµ mét trong nh÷ng kiÕn tróc m¹ng c¨n b¶n nhÊt, ë ®ã c¸c neuron ®−îc chia thµnh tõng møc. Cã ba lo¹i møc: møc ®Çu vµo bao gåm c¸c nót nguån (kh«ng ph¶i neuron) cung cÊp c¸c tÝn hiÖu ®Çu vµo chung nhËn ®−îc tõ m«i tr−êng; møc Èn bao gåm c¸c neuron kh«ng quan hÖ trùc tiÕp víi m«i tr−êng; møc ®Çu ra ®−a ra c¸c tÝn hiÖu ®Çu ra cho m«i tr−êng. LÇn l−ît tõ møc ®Çu vµo tíi møc ®Çu ra, cø tÝn hiÖu ®Çu ra cña mét nót m¹ng thuéc møc tr−íc sÏ lµ tÝn hiÖu ®Çu vµo cho nót m¹ng thuéc møc tiÕp sau. Tõ kiÕn tróc nµy ta cã thÓ h×nh dung m¹ng neuron nh− mét bé xö lý th«ng tin cã nhiÒu ®Çu vµo vµ nhiÒu ®Çu ra. Qu¸ tr×nh tÝch luü m¹ng (häc) lµ mét qu¸ tr×nh mµ trong ®ã c¸c tham sè tù do (c¸c träng sè synapse) ®−îc ®iÒu chØnh nh»m môc ®Ých thÝch nghi víi m«i tr−êng. §èi víi vÊn ®Ò häc cho m¹ng neuron ng−êi ta quan t©m tíi ba yÕu tè sau: • Quy t¾c häc: Ph−¬ng thøc nÒn t¶ng cho viÖc thay ®æi träng sè syanapse (vÝ dô: Quy t¾c häc hiÖu chØnh lçi, Quy t¾c häc kiÓu Heb, ...). • M« h×nh häc: C¸ch thøc m¹ng neuron quan hÖ víi m«i tr−êng trong qu¸ tr×nh häc (vÝ dô: M« h×nh häc víi mét ng−êi d¹y, ...). • ThuËt to¸n häc: C¸c b−íc tiÕn hµnh cô thÓ cho mét qu¸ tr×nh häc. ThuËt to¸n Back-propagation lµ thuËt to¸n häc kinh ®iÓn nhÊt vµ còng ®−îc ¸p dông mét c¸ch phæ biÕn nhÊt cho c¸c m¹ng tiÕn ®a møc. Nã ®−îc x©y dùng trªn c¬ së Quy t¾c häc hiÖu chØnh lçi vµ M« h×nh häc víi mét ng−êi d¹y. ThuËt to¸n bao gåm hai giai ®o¹n tÝnh to¸n: giai ®o¹n tiÕn mµ c¸c tÝn hiÖu chøc n¨ng ®i tõ møc ®Çu vµo tíi møc ®Èu ra cña m¹ng nh»m tÝnh to¸n c¸c tÝn hiÖu lçi; giai ®o¹n lïi trong ®ã c¸c tÝn hiÖu lçi quay trë l¹i tõ møc ®Çu ra lÇn l−ît qua c¸c 3
møc ®Ó tÝnh c¸c gradient côc bé t¹i mçi neuron. §Ó n©ng cao tÝnh n¨ng cña thuËt to¸n, cã kh¸ nhiÒu kinh nghiÖm thùc tÕ ®−îc nªu thµnh quy t¾c mµ kh«ng ®−îc chøng minh mét c¸ch chÆt chÏ. C¸c m¹ng håi quy trÔ lµ mét líp kiÕn tróc më réng tÝch hîp quan ®iÓm vÒ c¸c synapse trÔ vµ kiÕn tróc håi quy dùa trªn c¬ së m¹ng tiÕn ®a møc. Mét synapse trÔ bao gåm nhiÒu nh¸nh, mçi nh¸nh cã träng sè riªng vµ ®Æc biÖt lµ cã mét to¸n tö trÔ theo thêi gian (z-n) nh»m quan t©m tíi sù ¶nh h−ëng lÉn nhau gi÷a c¸c neuron t¹i nh÷ng têi ®iÓm kh¸c nhau. Líp kiÕn tróc nµy ®−îc ®−a ra ®Ó xö lý c¸c tÝn hiÖu cã ®Æc tÝnh thèng kª biÕn thiªn theo thêi gian nh− tÝn hiÖu tiÕng nãi. Lý thuyÕt NhËn d¹ng tiÕng nãi NhËn d¹ng tiÕng nãi lµ Qu¸ tr×nh thu nhËn vµ xö lý tÝn hiÖu tiÕng nãi nh»m môc ®Ých nhËn biÕt néi dung v¨n b¶n cña nã. §Æc tr−ng cña c¸c ©m thanh tiÕng nãi hÕt søc ®a d¹ng tuú theo c¸c lo¹i ©m vÞ kh¸c nhau, nh−ng ®¬n gi¶n vµ dÔ xö lý nhÊt vÉn lµ nguyªn ©m. Nguyªn ©m lµ c¸c ©m vÞ ®−îc ®Æc tr−ng bëi nguån ©m tuÇn hoµn thuÇn tuý vµ kh«ng bÞ chÆn trong qu¸ tr×nh ph¸t ©m. §Æc tr−ng cña nguyªn ©m thÓ hiÖn ë c¸c formants (tÇn sè céng h−ëng) ®Çu tiªn cña tÝn hiÖu trong miÒn tÇn sè. NhËn d¹ng mÉu lµ mét trong nh÷ng tiÕp cËn nhËn d¹ng tiÕng nãi dùa trªn c¬ së so s¸nh c¸c mÉu (c¸c vector tham sè ®Æc tr−ng cho ®o¹n tÝn hiÖu cÇn nhËn d¹ng) b»ng c¸c th−íc ®o kho¶ng c¸ch mÉu mµ kh«ng cÇn quan t©m qu¸ nhiÒu tíi c¸c tÝnh chÊt ©m häc cña tÝn hiÖu. TiÕp cËn nµy gîi ý cho chóng ta mét quan ®iÓm øng dông m¹ng neuron dùa trªn viÖc xö lý c¸c mÉu t¹i ®Çu vµo cña m¹ng. Qu¸ tr×nh xö lý ®Çu cuèi filter bank lµ mét trong hai ph−¬ng ph¸p xö lý tÝn hiÖu tiÕng nãi víi môc ®Ých lÊy ra c¸c tham sè ®Æc tr−ng cña tÝn hiÖu tiÕng nãi. C¸c tham sè ®Æc tr−ng sÏ lµ ®Çu vµo cho bé nhËn d¹ng chÝnh. §Æc tr−ng cña mét ®Çu cuèi filter bank lµ mét d·y c¸c bé läc th«ng d¶i, mçi bé läc chÞu tr¸ch nhiÖm mét d¶i th«ng riªng trong ph¹m vi tÇn sè cÇn quan t©m. C¸ch cµi ®Æt th«ng dông nhÊt cho c¸c filter bank lµ dùa trªn phÐp biÕn ®æi Fourier thêi gian ng¾n. Mét tÝnh chÊt quan träng thÓ hiÖn sù kh¸c nhau gi÷a c¸c lo¹i filter bank kh¸c nhau lµ c¸ch thøc ph©n chia c¸c d¶i th«ng cho c¸c bé läc. Trong thùc tÕ, ng−êi ta th−êng hay sö dông mét sè kiÓu ph©n chia kh«ng ®Òu. Kh¶ n¨ng øng dông m¹ng neuron trÔ lu«n ®−îc nh¾c tíi trong Lý thuyÕt nhËn d¹ng tiÕng nãi nh− lµ mét minh häa mang tÝnh kinh ®iÓn cho quan ®iÓm sö dông m¹ng neuron. TÝn hiÖu tiÕng nãi cÇn nhËn d¹ng sau khi lÊy mÉu vµ l−îng tö ®−îc ph©n thµnh c¸c ®o¹n theo thêi gian (c¸c frame); sau ®ã tõng ®o¹n ®ã ®−îc chuyÓn qua bé xö lý filter bank råi chuyÓn tíi m¹ng neuron. C¸c frame sÏ ®−îc xö lý mét c¸ch tuÇn tù sau c¸c kho¶ng thêi gian trÔ cè ®Þnh. Nhê vµo cÊu tróc ®Æc biÖt dùa trªn c¸c synapse trÔ, m¹ng neuron trÔ cã kh¶ n¨ng n¾m b¾t ®−îc nh÷ng sù biÕn thiªn theo thêi gian cña ®Æc tÝnh thèng kª trong tÝn hiÖu tiÕng nãi. PhÇn mÒm thö nghiÖm NhËn d¹ng nguyªn ©m 4
Qu¸ tr×nh xö lý cña m¹ng neuron dùa trªn m« h×nh kÕt nèi ph©n t¸n quy m« lín lu«n g©y khã kh¨n cho nh÷ng ng−êi nghiªn cøu trong viÖc hiÓu ý nghÜa vµ kiÓm so¸t ho¹t ®éng cña m¹ng. MÆt kh¸c, b¶n th©n Lý thuÕt m¹ng neuron ®−îc x©y dùng tõ rÊt nhiÒu nh÷ng kinh nghiÖm thùc tÕ. ChÝnh v× thÕ, ®Ó phôc vô cho viÖc nghiªn cøu cña b¶n th©n, t«i ®· tiÕn hµnh x©y dùng mét phÇn mÒm mang tÝnh thö nghiÖm trªn bµi to¸n NhËn d¹ng nguyªn ©m. T«i lùa chän nguyªn ©m lµm ®èi t−îng nhËn d¹ng v× ®ã lµ ©m vÞ cã ®Æc tr−ng ®¬n gi¶n nhÊt vµ dÔ nhËn d¹ng nhÊt, phï hîp cho mét phÇn mÒm thö nghiÖm. §iÒu nµy ®¶m b¶o mét tÝnh n¨ng nhÊt ®Þnh cho phÇn mÒm vµ kh«ng cÇn ph¶i thiÕt kÕ nh÷ng m¹ng neuron qu¸ lín. Tuy nhiªn tÝnh chÊt ®ã cña nguyªn ©m kh«ng lµm cho ®é phøc t¹p cña c¸c thñ tôc x©y dùng vµ thi hµnh m¹ng ®¬n gi¶n ®i mét c¸ch ®¸ng kÓ. §iÒu nµy ®−îc gi¶i thÝch b»ng ®Æc tÝnh ®éc lËp ®èi víi b¶n chÊt ®èi t−îng nhËn d¹ng cña m¹ng neuron. PhÇn mÒm ®· ®−îc x©y dùng theo tõng b−íc tõ Ph©n tÝch, ThiÕt kÕ ®Õn Cµi ®Æt. PhÇn mÒm cµi ®Æt vÉn ch−a ®−îc hoµn thiÖn do thêi gian qu¸ gÊp. 5
Ch−¬ng 1 më ®Çu 1.1 M¹ng neuron - M« pháng trùc tiÕp bé n∙o con ng−êi Lý thuyÕt vÒ M¹ng n¬ ron nh©n t¹o, hay gäi t¾t lµ “M¹ng n¬ ron”, ®−îc x©y dùng xuÊt ph¸t tõ mét thùc tÕ lµ bé n·o con ng−êi lu«n lu«n thùc hiÖn c¸c tÝnh to¸n mét c¸ch hoµn toµn kh¸c so víi c¸c m¸y tÝnh sè. Cã thÓ coi bé n·o lµ mét m¸y tÝnh hay mét hÖ thèng xö lý th«ng tin song song, phi tuyÕn vµ cùc kú phøc t¹p. Nã cã kh¶ n¨ng tù tæ chøc c¸c bé phËn cÊu thµnh cña nã, nh− lµ c¸c tÕ bµo thÇn kinh (neuron) hay c¸c khíp nèi thÇn kinh (synapse), nh»m thùc hiÖn mét sè tÝnh to¸n nh− nhËn d¹ng mÉu vµ ®iÒu khiÓn vËn ®éng nhanh h¬n nhiÒu lÇn c¸c m¸y tÝnh nhanh nhÊt hiÖn nay. Sù m« pháng bé n·o con ng−êi cña m¹ng neuron lµ dùa trªn c¬ së mét sè tÝnh chÊt ®Æc thï rót ra tõ c¸c nghiªn cøu vÒ thÇn kinh sinh häc. 1.1.1 S¬ l−îc vÒ cÊu tróc bé n∙o con ng−êi HÖ thèng thÇn kinh cña con ng−êi cã thÓ ®−îc xem nh− mét hÖ thèng ba tÇng. Trung t©m cña hÖ thèng lµ bé n·o ®−îc t¹o nªn bëi mét m¹ng l−íi thÇn kinh; nã liªn tôc thu nhËn th«ng tin, nhËn thøc th«ng tin, vµ thùc hiÖn c¸c quyÕt ®Þnh phï hîp. Bªn ngoµi bé n·o lµ c¸c bé tiÕp nhËn lµm nhiÖm vô chuyÓn ®æi c¸c kÝch thÝch tõ c¬ thÓ con ng−êi hay tõ m«i tr−êng bªn ngoµi thµnh c¸c xung ®iÖn; c¸c xung ®iÖn nµy vËn chuyÓn c¸c th«ng tin tíi m¹ng l−íi thÇn kinh. TÇng thø ba bao gåm c¸c bé t¸c ®éng cã nhiÖm vô chuyÓn ®æi c¸c xung ®iÖn sinh ra bëi m¹ng l−íi thÇn kinh thµnh c¸c ®¸p øng cã thÓ thÊy ®−îc (d−íi nhiÒu d¹ng kh¸c nhau), chÝnh lµ ®Çu ra cña hÖ thèng. C¸c ®¸p C¸c bé M¹ng l−íi C¸c bé t¸c C¸c kÝch øng tiÕp nhËn thÇn kinh ®éng thÝch H×nh 1.1 BiÓu diÔn s¬ ®å khèi cña hÖ thèng thÇn kinh Hai trong sè nh÷ng thµnh phÇn c¬ b¶n cña bé n·o mµ chóng ta cÇn quan t©m ®Õn nh− c¸c yÕu tè quyÕt ®Þnh kh¶ n¨ng tÝnh to¸n cña bé n·o lµ c¸c tÕ bµo thÇn kinh (neuron) vµ c¸c khíp nèi thÇn kinh (synapse). Ng−êi ta −íc tÝnh r»ng cã xÊp xû 10 tû neuron vµ 60 ngh×n tû synapse trong vá n·o con ng−êi. C¸c neuron lµ c¸c ®¬n vÞ xö lý th«ng tin c¬ së cña bé n·o víi tèc ®é xö lý chËm h¬n tõ n¨m tíi s¸u lÇn c¸c cæng logic silicon. Tuy nhiªn ®iÒu nµy ®−îc bï ®¾p bëi mét sè l−îng rÊt lín c¸c neuron trong bé n·o. C¸c synapse vÒ c¬ b¶n lµ c¸c 6
®¬n vÞ cÊu tróc vµ chøc n¨ng lµm trung gian kÕt nèi gi÷a c¸c neuron. KiÓu synapse chung nhÊt lµ synapse ho¸ häc, ho¹t ®éng nh− sau. Mét qu¸ tr×nh tiÒn synapse gi¶i phãng ra mét chÊt liÖu truyÒn, chÊt liÖu nµy khuÕch t¸n qua c¸c synapse vµ sau ®ã l¹i ®−îc xö lý trong mét qu¸ tr×nh hËu synapse. Nh− vËy mét synapse chuyÓn ®æi mét tÝn hiÖu ®iÖn tiÒn synapse thµnh mét tÝn hiÖu ho¸ häc vµ sau ®ã trë l¹i thµnh mét tÝn hiÖu ®iÖn hËu synapse. Trong hÖ thèng thuËt ng÷ vÒ ®iÖn, mét phÇn tö nh− vËy ®−îc gäi lµ mét thiÕt bÞ hai cæng kh«ng thuËn nghÞch. Cã thÓ nãi r»ng tÝnh mÒm dÎo cña hÖ thèng thÇn kinh con ng−êi cho phÐp nã cã thÓ ph¸t triÓn ®Ó thÝch nghi víi m«i tr−êng xung quanh. Trong mét bé ãc ng−êi tr−ëng thµnh, tÝnh mÒm dÎo ®−îc thÓ hiÖn bëi hai ho¹t ®éng: sù t¹o ra c¸c synapse míi gi÷a c¸c neuron, vµ sù biÕn ®æi c¸c synapse hiÖn cã. C¸c neuron cã sù ®a d¹ng lín vÒ h×nh d¹ng, kÝch th−íc vµ cÊu t¹o trong nh÷ng phÇn kh¸c nhau cña bé n·o thÓ hiÖn tÝnh ®a d¹ng vÒ b¶n chÊt tÝnh to¸n. Trong bé n·o, cã mét sè l−îng rÊt lín c¸c tæ chøc gi¶i phÉu quy m« nhá còng nh− quy m« lín cÊu t¹o dùa trªn c¬ së c¸c neuron vµ c¸c synapse; chóng ®−îc ph©n thµnh nhiÒu cÊp theo quy m« vµ chøc n¨ng ®Æc thï. CÇn ph¶i nhËn thÊy r»ng kiÓu cÊu tróc ph©n cÊp hoµn h¶o nµy lµ ®Æc tr−ng duy nhÊt cña bé n·o. Chóng kh«ng ®−îc t×m thÊy ë bÊt kú n¬i nµo trong mét m¸y tÝnh sè, vµ kh«ng ë ®©u chóng ta ®¹t tíi gÇn sù t¸i t¹o l¹i chóng víi c¸c m¹ng neuron nh©n t¹o. Tuy nhiªn, hiÖn nay chóng ta ®ang tiÕn tõng b−íc mét trªn con ®−êng dÉn tíi mét sù ph©n cÊp c¸c møc tÝnh to¸n t−¬ng tù nh− vËy. C¸c neuron nh©n t¹o mµ chóng ta sö dông ®Ó x©y dùng nªn c¸c m¹ng neuron nh©n t¹o thùc sù lµ cßn rÊt th« s¬ so víi nh÷ng g× ®−îc t×m thÊy trong bé n·o. C¸c m¹ng neuron mµ chóng ta ®· x©y dùng ®−îc còng chØ lµ mét sù ph¸c th¶o th« kÖch nÕu ®em so s¸nh víi c¸c m¹ch thÇn kinh trong bé n·o. Nh−ng víi nh÷ng tiÕn bé ®¸ng ghi nhËn trªn rÊt nhiÒu lÜnh vùc trong c¸c thËp kû võa qua, chóng ta cã quyÒn hy väng r»ng trong c¸c thËp kû tíi c¸c m¹ng neuron nh©n t¹o sÏ tinh vi h¬n nhiÒu so víi hiÖn nay. 1.1.2 M« h×nh cña mét neuron nh©n t¹o §Ó m« pháng c¸c tÕ bµo thÇn kinh vµ c¸c khíp nèi thÇn kinh cña bé n·o con ng−êi, trong m¹ng neuron nh©n t¹o còng cã c¸c thµnh phÇn cã vai trß t−¬ng tù lµ c¸c neuron nh©n t¹o cïng c¸c kÕt nèi synapse. Mét neuron nh©n t¹o lµ mét ®¬n vÞ tÝnh to¸n hay ®¬n vÞ xö lý th«ng tin c¬ së cho ho¹t ®éng cña m«t m¹ng neuron. S¬ ®å khèi cña h×nh 1.2 chØ ra m« h×nh cña mét neuron nh©n t¹o. ë ®©y, chóng ta x¸c ®Þnh ba thµnh phÇn c¬ b¶n cña mét m« h×nh neuron: 1. Mét tËp hîp c¸c synapse hay c¸c kÕt nèi, mµ mçi mét trong chóng ®−îc ®Æc tr−ng bëi mét träng sè cña riªng nã. Tøc lµ mét tÝn hiÖu xj t¹i ®Çu vµo cña synapse j nèi víi neuron k sÏ ®−îc nh©n víi träng sè synapse wkj. ë ®ã k lµ chØ sè cña neuron t¹i ®Çu ra cña synapse ®ang xÐt, cßn j chØ ®iÓm ®Çu vµo cña synapse. C¸c träng sè synapse cu¶ mét neuron nh©n t¹o cã thÓ nhËn c¶ c¸c gi¸ trÞ ©m vµ c¸c gi¸ trÞ d−¬ng. 7
2. Mét bé céng ®Ó tÝnh tæng c¸c tÝn hiÖu ®Çu vµo cña neuron, ®· ®−îc nh©n víi c¸c träng sè synapse t−¬ng øng; phÐp to¸n ®−îc m« t¶ ë ®©y t¹o nªn mét bé tæ hîp tuyÕn tÝnh. 3. Mét hµm kÝch ho¹t (activation function) ®Ó giíi h¹n biªn ®é ®Çu ra cña neuron. Hµm kÝch ho¹t còng ®−îc xem xÐt nh− lµ mét hµm nÐn; nã nÐn (giíi h¹n) ph¹m vi biªn ®é cho phÐp cña tÝn hiÖu ®Çu ra trong mét kho¶ng gi¸ trÞ h÷u h¹n. M« h×nh neuron trong h×nh 1.2 cßn bao gåm mét hÖ sè hiÖu chØnh t¸c ®éng tõ bªn ngoµi, bk. HÖ sè hiÖu chØnh bk cã t¸c dông t¨ng lªn hoÆc gi¶m ®i ®Çu vµo thùc cña hµm kÝch ho¹t, tuú theo nã d−¬ng hay ©m. HÖ sè hiÖu chØnh bk x1 wk1 Hµm kÝch x2 wk1 ho¹t C¸c tÝn vk Σ . ϕ(.) hiÖu ®Çu §Çu ra yk . vµo . Bé tæ hîp tuyÕn tÝnh xm wk1 C¸c träng sè synpase H×nh 1.2 M« h×nh phi tuyÕn cña mét neuron D−íi d¹ng c«ng thøc to¸n häc, chóng ta cã thÓ m« t¶ mét neuron k b»ng cÆp c«ng thøc sau: m ∑w uk = (1.1) x kj j j=0 vµ yk=ϕ(uk+b) (1.2) ë ®ã x1,x2,...,xm lµ c¸c tÝn hiÖu ®Çu vµo; wk1,wk2,...,wkm lµ c¸c träng sè synapse cña neuron k; uk lµ ®Çu ra bé tæ hîp tuyÕn tÝnh t−¬ng øng; bk lµ hÖ sè hiÖu chØnh. HÖ sè hiÖu chØnh bk lµ mét tham sè ngoµi cña neuron nh©n t¹o k. Chóng ta cã thÓ thÊy ®−îc sù cã mÆt cña nã trong c«ng thøc (1.2). Mét c¸ch t−¬ng ®−¬ng, chóng ta cã thÓ tæ hîp c¸c c«ng thøc (1.1) vµ (1.2) nh − sau: m v k = ∑ wkj x j (1.3) j =0 vµ y k = ϕ (v k ) (1.4) 8
Trong c«ng thøc (1.3), chóng ta ®· thªm mét synapse míi. §Çu vµo cña nã lµ: x0=+1 (1.5) vµ träng sè cña nã lµ wk0=bk (1.6) Nh− vËy chóng ta vÏ l¹i m« h×nh cña neuron k nh− trong h×nh 1.3. Trong h×nh nµy, nhiÖm vô cña hÖ sè hiÖu chØnh lµ thùc hiÖn hai viÖc: (1) thªm mét tÝn hiÖu ®Çu vµo cè ®Þnh lµ 1, vµ (2) thªm mét träng sè synapse míi b»ng gi¸ trÞ cña hÖ sè bk. MÆc dÇu c¸c m« h×nh trong h×nh 1.2 vµ 1.3 lµ kh¸c nhau vÒ h×nh thøc nh−ng t−¬ng tù vÒ b¶n chÊt to¸n häc. wk0=bk (hÖ sè hiÖu DdÇu vµo cè chØnh) wk0 ®Þnh x0=+1 x1 wk1 Hµm kÝch wk1 x2 ho¹t C¸c tÝn vk Σ . ϕ(.) hiÖu ®Çu §Çu ra yk . vµo Bé tæ hîp . tuyÕn tÝnh xm wk1 C¸c träng sè synpase H×nh 1.3 M« h×nh phi tuyÕn thø hai cña mét neuron C¸c kiÓu hµm kÝch ho¹t Hµm kÝch ho¹t, ký hiÖu bëi ϕ(v), x¸c ®Þnh ®Çu ra cña neuron. D−íi ®©y lµ c¸c kiÓu hµm kÝch ho¹t c¬ b¶n: 1. Hµm ng−ìng: §èi víi lo¹i hµm nµy (m« t¶ trong h×nh 1.4a), chóng ta cã ⎧1 nÕu v ≥ 0 ϕ (v ) = ⎨ (1.7) ⎩0 nÕu v < 0 Trong c¸c tµi liÖu kü thuËt, d¹ng hµm ng−ìng nµy th−êng ®−îc gäi lµ hµm Heaviside. §Çu ra cña neuron k sö dông hµm ng−ìng sÏ nh− sau ⎧1 nÕu v k ≥ 0 yk = ⎨ (1.8) ⎩0 nÕu v k < 0 ë ®ã vk lµ ®Çu ra cña bé tæ hîp tuyÕn tÝnh, cã nghÜa lµ 9
m v k = ∑ wkj x j + bk (1.9) j =1 Mét neuron nh− vËy th−êng ®−îc gäi lµ m« h×nh McCulloch-Pitts. ϕ(v) 1 0 -2 0 2 (a) ϕ(v) 1 0 -2 0 2 (b) ϕ(v) 1 0 -2 0 2 (c) H×nh 1.4 (a) Hµm ng−ìng, (b) Hµm vïng tuyÕn tÝnh (c) Hµm sigma víi tham sè ®é dèc a thay ®æi 2. Hµm vïng tuyÕn tÝnh: §èi víi lo¹i hµm nµy (m« t¶ trong h×nh 1.4b), chóng ta cã ⎧ 1 v≥+ ⎪ 1, 2 ⎪ ⎪ 1 1 ϕ (v) = ⎨v, + ≥ v > − (1.10) 2 2 ⎪ 1 ⎪ 0, v≤− ⎪ ⎩ 2 D¹ng hµm nµy cã thÓ ®−îc xem nh− m«t xÊp xû cña mét bé khuÕch ®¹i phi tuyÕn. 3. Hµm sigma: Hµm sigma lµ d¹ng chung nhÊt cña hµm kÝch ho¹t ®−îc sö dông trong cÊu tróc m¹ng neuron nh©n t¹o. Nã lµ mét hµm t¨ng vµ nã thÓ hiÖn mét 10
sù trung gian gi÷a tuyÕn tÝnh vµ phi tuyÕn. Mét vÝ dô cña hµm nµy lµ hµm logistics, x¸c ®Þnh nh− sau 1 ϕ (v ) = (1.11) 1 + exp(− av) ë ®ã a lµ tham sè ®é dèc cña hµm sigma. B»ng viÖc biÕn ®æi tham sè a, chóng ta thu ®−îc c¸c hµm sigma víi c¸c ®é dèc kh¸c nhau, nh− ®−îc minh ho¹ trong h×nh 1.4c. Thùc tÕ, hÖ sè gãc t¹i v=0 lµ a/4. Khi tham sè hÖ sè gãc tiÕn tíi kh«ng x¸c ®Þnh, hµm sigma trë thµnh mét hµm ng−ìng ®¬n gi¶n. Trong khi mét hµm ng−ìng chØ cã gi¸ trÞ lµ 0 hoÆc 1, th× mét hµm sigma nhËn c¸c gi¸ trÞ tõ 0 tíi 1. Còng ph¶i ghi nhËn r»ng hµm sigma lµ hµm ph©n biÖt, trong khi hµm ng−ìng th× kh«ng (TÝnh ph©n biÖt cña hµm lµ mét ®Æc tÝnh quan träng trong lý thuyÕt m¹ng neuron). C¸c hµm kÝch ho¹t ®−îc ®Þnh nghÜa trong c¸c c«ng thøc (1.7), (1.10), (1.11) ®Òu trong ph¹m vi tõ 0 ®Õn 1. §«i khi cã nh÷ng yªu cÇu x©y dùng hµm kÝch ho¹t trong ph¹m vi tõ -1 ®Õn 1, trong tr−êng hîp nµy hµm kÝch ho¹t ®−îc gi¶ ®Þnh cã d¹ng ®èi xøng qua gèc to¹ ®é (hay cã thÓ gäi lµ d¹ng ph¶n ®èi xøng); nghÜa lµ hµm kÝch ho¹t lµ mét hµm lÎ. VÝ dô, hµm ng−ìng trong c«ng thøc (1.7) b©y giê ®−îc x¸c ®Þnh nh− sau v>0 ⎧1 ⎪ ϕ (v ) = ⎨ 0 v=0 (1.12) ⎪− 1 v
ë ®ã c¸c ngoÆc vu«ng nhÊn m¹nh r»ng A vµ B ho¹t ®éng nh− c¸c to¸n tö. Lo¹i bá xj’(n) gi÷a c«ng thøc (1.15) vµ (1.16), chóng ta ®−îc A y k ( n) = (1.16) [ x j (n)] 1 − AB Chóng ta coi A/(1-AB) lµ to¸n tö ®ãng vßng lÆp (closed-loop operator) cña hÖ thèng, vµ AB nh− to¸n tö më vßng lÆp (open-loop operator). Nãi chung, to¸n tö më vßng lÆp lµ kh«ng giao ho¸n (AB≠BA). xj'(n) xj'(n) w A xj(n) yk(n) xj(n) yk(n) z-1 B (a) (b) H×nh 1.5 §å thÞ luång tÝn hiÖu cña mét hÖ thèng ph¶n håi vßng lÆp ®¬n Xem xÐt vÝ dô hÖ thèng ph¶n håi ®¬n vßng lÆp trong h×nh 1.5b, víi A lµ mét träng sè cè ®Þnh w; vµ B lµ mét to¸n tö ®¬n vÞ trÔ z-1, mµ ®Çu ra cña nã trÔ so víi ®Çu vµo mét ®¬n vÞ thêi gian. Nh− vËy chóng ta cã thÓ biÓu diÔn to¸n tö ®ãng vßng lÆp cña hÖ thèng nh− sau A w = 1 − AB 1 − wz −1 = w(1 − wz −1 ) −1 B»ng viÖc ¸p dông khai triÓn nhÞ thøc cho (1-wz-1)-1, chóng ta cã thÓ viÕt l¹i to¸n tö trªn nh− sau ∞ A = w∑ w l z −1 (1.17) 1 − AB l =0 Nh− vËy, thay c«ng thøc (1.18) vµo c«ng thøc (1.17), chóng ta cã ∞ y k (n) = w∑ w l z −1 (1.18) l =0 Tõ ®Þnh nghÜa cña z-1 chóng ta cã z-1[xj(n)]=xj(n-l) (1.19) ë ®ã xj(n-1) lµ mét mÉu cña tÝn hiÖu ®Çu vµo ®· bÞ trÔ l ®¬n vÞ thêi gian. Chóng ta cã thÓ biÓu diÔn tÝn hiÖu ®Çu ra yk(n) nh− mét phÐp tÝnh tæng c¸c mÉu hiÖn t¹i vµ qu¸ khø cña tÝn hiÖu ®Çu vµo xj(n) ∞ ∑w l +1 yk ( n) = xj (n − l) (1.20) l=0 B©y giê chóng ta thÊy râ lµ tÝnh chÊt cña hÖ thèng phô thuéc vµo träng sè w. Cã thÓ ph©n biÖt hai tr−êng hîp ®Æc biÖt sau: 12
1. |w|1 th× sù ph©n kú cã d¹ng hµm mò. TÝnh æn ®Þnh lu«n rÊt quan träng trong viÖc nghiªn cøu c¸c hÖ thèng håi quy. Tr−êng hîp |w|
Èn hay c¸c ®¬n vÞ Èn (thuËt ng÷ “Èn” ë ®©y mang ý nghÜa lµ kh«ng tiÕp xóc víi m«i tr−êng). Chøc n¨ng cña c¸c neuron Èn lµ can thiÖp vµo gi÷a ®Çu vµo vµ ®Çu ra cña m¹ng mét c¸ch h÷u hiÖu. B»ng viÖc thªm mét vµi møc Èn, m¹ng cã kh¶ n¨ng rót ra ®−îc c¸c thèng kª bËc cao cña tÝn hiÖu ®Çu vµo. Kh¶ n¨ng c¸c neuron Èn rót ra ®−îc c¸c thèng kª bËc cao ®Æc biÖt cã gi¸ trÞ khi møc ®Çu vµo cã kÝch th−íc lín. C¸c nót nguån trong møc ®Çu vµo cña m¹ng cung cÊp c¸c phÇn tö cña vector ®Çu vµo; chóng t¹o nªn c¸c tÝn hiÖu ®Çu vµo cho c¸c neuron (c¸c nót tÝnh to¸n) trong møc thø hai (møc Èn thø nhÊt). C¸c tÝn hiÖu ®Çu ra cña møc thø hai ®−îc sö dông nh− c¸c ®Çu vµo cho møc thø ba, vµ nh− cø vËy cho phÇn cßn l¹i cña m¹ng. VÒ c¬ b¶n, c¸c neuron trong mçi møc cña m¹ng cã c¸c ®Çu vµo cña chóng lµ c¸c tÝn hiÖu ®Çu ra cña chØ møc ®øng liÒn tr−íc nã (®iÒu nµy cã thÓ kh¸c trong thùc tÕ cµi ®Æt). TËp hîp c¸c tÝn hiÖu ®Çu ra cña c¸c neuron trong møc ®Çu ra cña m¹ng t¹o nªn ®¸p øng toµn côc cña m¹ng ®èi víi c¸c vector ®Çu vµo ®−îc cung cÊp bëi c¸c nót nguån cña møc ®Çu vµo. §å thÞ trong h×nh 1.7 minh ho¹ cÊu tróc cña mét m¹ng neuron tiÕn ®a møc cho tr−êng hîp mét møc Èn. §Ó ®¬n gi¶n, m¹ng ®−îc vÏ trong h×nh 1.7 lµ mét m¹ng 5-3-2 tøc lµ 5 nót nguån, 3 neuron Èn, vµ 2 neuron ®Çu ra. M¹ng neuron trong h×nh 1.7 ®−îc gäi lµ kÕt nèi ®Çy ®ñ víi ý nghÜa lµ tÊt c¶ c¸c nót trong mçi møc cña m¹ng ®−îc nèi víi tÊt c¶ c¸c nót trong møc tiÕp sau. NÕu mét sè kÕt nèi synapse kh«ng tån t¹i trong m¹ng, chóng ta nãi r»ng m¹ng lµ kÕt nèi kh«ng ®Çy ®ñ. Møc ®Çu vµo Møc Èn Møc ®Çu ra gåm c¸c nót gåm c¸c gåm c¸c nguån neuron Èn neuron ®Çu ra H×nh 1.7 M¹ng tiÕn kÕt nèi ®Çy dñ víi mét møc Èn vµ mét møc ®Çu ra 3. C¸c m¹ng håi quy (recurrent network) Mét m¹ng neuron håi quy ®−îc ph©n biÖt so víi c¸c m¹ng neuron kh«ng håi quy ë chç lµ nã cã Ýt nhÊt mét vßng lÆp ph¶n håi. VÝ dô. mét m¹ng 14
håi quy cã thÓ bao gåm mét møc ®¬n c¸c neuron víi mçi neuron ® −a tÝn hiÖu ®Çu ra cña nã quay trë l¹i c¸c ®Çu vµo cña tÊt c¶ c¸c neuron kh¸c, nh− ®−îc minh ho¹ trong h×nh 1.8. Trong cÊu tróc ®−îc m« t¶ trong h×nh nµy, kh«ng cã mét vßng lÆp tù ph¶n håi nµo trong m¹ng; tù ph¶n håi lµ tr−êng hîp ®Çu ra cña mét neuron ®−îc ph¶n håi l¹i chÝnh ®Çu vµo cña neuron ®ã. M¹ng håi quy trong h×nh 1.8 còng kh«ng cã c¸c neuron Èn. Trong h×nh 1.9, chóng ta minh ho¹ mét líp m¹ng håi quy n÷a víi c¸c neuron Èn. C¸c kÕt nèi ph¶n håi ®−îc vÏ trong h×nh 1.9 b¾t nguån tõ c¸c neuron Èn còng nh− tõ c¸c neuron ®Çu ra. C¸c to¸n z-1 z-1 z-1 tö ®¬n vÞ trÔ H×nh 1.8 M¹ng håi quy kh«ng cã neuron Èn vµ kh«ng cã vßng lÆp tù ph¶n håi Sù cã mÆt cña c¸c vßng lÆp ph¶n håi, trong c¶ cÊu tróc håi quy cña h×nh 1.8 vµ h×nh 1.9, cã mét ¶nh h−ëng s©u s¾c ®Õn kh¶ n¨ng häc cña m¹ng vµ ®Õn tÝnh n¨ng cña nã. H¬n n÷a, c¸c vßng lÆp ph¶n håi bao hµm viÖc sö dông c¸c nh¸nh ®Æc biÖt gåm cã c¸c phÇn tö ®¬n vÞ trÔ (ký hiÖu lµ z-1), thÓ hiÖn mét hµnh vi phi tuyÕn ®éng theo thêi gian (cïng víi gi¶ sö r»ng m¹ng neuron bao gåm c¸c ®¬n vÞ phi tuyÕn). 15
z-1 §Çu ra z-1 z-1 C¸c to¸n tö ®¬n vÞ trÔ §Çu vµo H×nh 1.9 M¹ng håi quy cã c¸c neuron Èn 1.2 §Æc tr−ng cña M¹ng neuron Sau khi ®· t×m hiÓu vÒ cÊu tróc c¬ b¶n cña c¸c m¹ng neuron, chóng ta cã thÓ kÓ ra mét sè ®Æc tr−ng −u viÖt mµ m¹ng neuron cã thÓ thu ®−îc tõ viÖc m« pháng trùc tiÕp bé n·o con ng−êi nh− sau: 1. TÝnh chÊt phi tuyÕn. Mét neuron cã thÓ tÝnh to¸n mét c¸ch tuyÕn tÝnh hay phi tuyÕn. Mét m¹ng neuron, cÊu thµnh bëi sù kÕt nèi c¸c neuron phi tuyÕn th× tù nã sÏ cã tÝnh phi tuyÕn. H¬n n÷a, ®iÒu ®Æc biÖt lµ tÝnh phi tuyÕn nµy ®−îc ph©n t¸n trªn toµn m¹ng. TÝnh phi tuyÕn lµ mét thuéc tÝnh rÊt quan träng, nhÊt lµ khi c¸c c¬ chÕ vËt lý sinh ra c¸c tÝn hiÖu ®Çu vµo (vÝ dô tÝn hiÖu tiÕng nãi) vèn lµ phi tuyÕn. 2. TÝnh chÊt t−¬ng øng ®Çu vµo-®Çu ra. MÆc dï kh¸i niÖm “häc” hay “tÝch luü” (training) ch−a ®−îc bµn ®Õn nh−ng ®Ó hiÓu ®−îc mèi quan hÖ ®Çu vµo-®Çu ra cña m¹ng neuron, chóng ta sÏ ®Ò cËp s¬ qua vÒ kh¸i niÖm nµy. Mét m« h×nh häc phæ biÕn ®−îc gäi lµ häc víi mét ng−êi d¹y hay häc cã gi¸m s¸t liªn quan ®Õn viÖc thay ®æi c¸c träng sè synapse cña m¹ng neuron b»ng viÖc ¸p dông mét tËp hîp c¸c mÉu tÝch luü hay c¸c c¸c vÝ dô tÝch luü. Mçi mét vÝ dô bao gåm mét tÝn hiÖu ®Çu vµo vµ mét ®Çu ra mong muèn t−¬ng øng. M¹ng neuron nhËn mét vÝ dô lÊy mét c¸ch ngÉu nhiªn tõ tËp hîp nãi trªn t¹i ®Çu vµo cña nã, vµ c¸c träng sè synapse (c¸c tham sè tù do) cña m¹ng ®−îc biÕn ®æi sao cho cã thÓ cùc tiÓu ho¸ sù sai kh¸c gi÷a ®Çu ra mong muèn vµ ®Çu ra thùc sù cña m¹ng theo mét tiªu chuÈn thèng kª thÝch hîp. Sù tÝch luü cña m¹ng ®−îc lÆp l¹i víi nhiÒu vÝ dô trong tËp hîp cho tíi khi m¹ng ®¹t tíi mét tr¹ng th¸i æn ®Þnh mµ ë ®ã kh«ng cã mét sù thay ®æi ®¸ng kÓ nµo cña c¸c träng sè synapse. C¸c vÝ dô tÝch luü ®−îc ¸p dông tr−íc cã thÓ ®−îc ¸p dông l¹i trong thêi gian cña phiªn tÝch luü nh−ng theo mét thø tù kh¸c. Nh− vËy m¹ng neuron häc tõ c¸c vÝ dô b»ng c¸ch x©y dùng nªn mét t−¬ng øng ®Çu vµo-®Çu ra cho vÊn ®Ò cÇn gi¶i quyÕt. H·y xem xÐt vÝ dô vÒ viÖc ph©n lo¹i mÉu, ë ®ã yªu cÇu ®Æt ra lµ quy cho mét tÝn hiÖu ®Çu vµo mµ thÓ hiÖn mét ®èi t−îng hay sù kiÖn 16
vËt lý nµo ®ã vµo mét trong sè nh÷ng líp ®· ®−îc x¸c ®Þnh tr−íc. §iÒu cÇn lµm ë ®©y lµ “®¸nh gi¸” c¸c biªn giíi quyÕt ®Þnh trong kh«ng gian tÝn hiÖu ®Çu vµo b»ng c¸ch sö dông mét tËp hîp c¸c vÝ dô ®Ó tÝch luü, vµ kh«ng cÇn tíi mét m« h×nh ph©n bè x¸c suÊt nµo. Mét quan ®iÓm t−¬ng tù ®· ®−îc ngÇm ®Þnh trong m« h×nh häc cã gi¸m s¸t, trong ®ã hµm ý mét sù gÇn gòi gi÷a sù t−¬ng øng ®Çu vµo-®Çu ra cña mét m¹ng neuron víi ph−¬ng ph¸p suy diÔn thèng kª phi tham sè (kh«ng cÇn mét m« h×nh thèng kª x¸c ®Þnh tr−íc cho d÷ liÖu ®Çu vµo). 3. TÝnh chÊt thÝch nghi. C¸c m¹ng neuron cã mét kh¶ n¨ng mÆc ®Þnh lµ biÕn ®æi c¸c träng sè synapse tuú theo sù thay ®æi cña m«i tr−êng xung quanh. §Æc biÖt, mét m¹ng neuron ®· ®−îc tÝch luü ®Ó ho¹t ®éng trong mét m«i tr−êng x¸c ®Þnh cã thÓ ®−îc tÝch luü l¹i mét c¸ch dÔ dµng khi cã nh÷ng thay ®æi nhá cña c¸c ®iÒu kiÖn m«i tr−êng ho¹t ®éng. H¬n n÷a, khi ho¹t ®éng trong mét m«i tr−êng kh«ng æn ®Þnh (c¸c sè liÖu thèng kª thay ®æi theo thêi gian), mét m¹ng neuron cã thÓ ®−îc thiÕt kÕ sao cho cã kh¶ n¨ng thay ®æi c¸c träng sè synapse cña nã theo thêi gian thùc. KiÕn tróc tù nhiªn cña mét m¹ng neuron cho viÖc ph©n lo¹i mÉu, xö lý tÝn hiÖu, vµ c¸c øng dông ®iÒu khiÓn lu«n ®i ®«i víi kh¶ n¨ng thÝch nghi cña m¹ng, t¹o cho nã mét ph−¬ng tiÖn h÷u hiÖu trong viÖc ph©n lo¹i mÉu thÝch nghi, xö lý tÝn hiÖu thÝch nghi, vµ ®iÒu khiÓn thÝch nghi. Nh− mét quy t¾c chung, cã thÓ nãi r»ng chóng ta t¹o ra mét hÖ thèng cµng cã kh¶ n¨ng thÝch nghi th× tÝnh n¨ng cña nã sÏ cµng m¹nh khi hÖ thèng cÇn ph¶i ho¹t ®éng trong mét m«i tr−êng kh«ng æn ®Þnh. Tuy nhiªn, cÇn nhÊn m¹nh r»ng tÝnh thÝch nghi kh«ng ph¶i lóc nµo còng ®em ®Õn søc m¹nh; nã cã thÓ lµm ®iÒu ng−îc l¹i. VÝ dô, mét hÖ thèng thÝch nghi víi nh÷ng h»ng sè thêi gian nhá cã thÓ biÕn ®æi rÊt nhanh vµ nh− vËy lµ cã xu h−íng ph¶n øng l¹i nh÷ng sù nhiÔu lo¹n gi¶ t¹o, vµ sÏ g©y ra sù suy gi¶m m¹nh vÒ tÝnh n¨ng hÖ thèng. §Ó thÓ hiÖn ®Çy ®ñ lîi Ých cña tÝnh thÝch nghi, c¸c h»ng sè thêi gian cña hÖ thèng nªn ®ñ lín ®Ó hÖ thèng cã thÓ bá qua ®−îc sù nhiÔu lo¹n vµ còng ®ñ nhá ®Ó ph¶n øng ®−îc víi nh÷ng thay ®æi cã ý nghÜa cña m«i tr−êng. VÊn ®Ò nµy cã thÓ ®−îc xem nh− mét m©u thuÉn æn ®Þnh-mÒm dÎo. 4. TÝnh chÊt ®−a ra lêi gi¶i cã b»ng chøng. Trong ng÷ c¶ch ph©n lo¹i mÉu, mét m¹ng neuron cã thÓ ®−îc thiÕt kÕ ®Ó ®−a ra th«ng tin kh«ng chØ vÒ mÉu ®−îc ph©n lo¹i, mµ cßn vÒ sù tin cËy cña quyÕt ®Þnh ®· ®−îc thùc hiÖn. Th«ng tin nµy cã thÓ ®−îc sö dông ®Ó lo¹i bá c¸c mÉu m¬ hå hay nhËp nh»ng. 5. TÝnh chÊt chÊp nhËn sai sãt. Mét m¹ng neuron, ®−îc cµi ®Æt d−íi d¹ng phÇn cøng, vèn cã kh¶ n¨ng chÊp nhËn lçi, hay kh¶ n¨ng tÝnh to¸n th« (kh«ng nh¹y c¶m lçi), víi ý nghÜa lµ tÝnh n¨ng cña nã chØ tho¸i ho¸ (chø kh«ng ®æ vì) khi cã nh÷ng ®iÒu kiÖn ho¹t ®éng bÊt lîi. VÝ dô, nÕu mét neuron hay c¸c liªn kÕt kÕt nèi cña nã bÞ háng, viÖc nhËn d¹ng l¹i mét mÉu ®−îc l−u tr÷ sÏ suy gi¶m vÒ chÊt l−îng. Tuy nhiªn, do b¶n chÊt ph©n t¸n cña th«ng tin l−u tr÷ trong m¹ng neuron, sù háng hãc còng ®−îc tr¶i ra trªn toµn m¹ng. Nh− vËy, vÒ c¬ b¶n, trong tr−êng hîp nµy mét m¹ng neuron sÏ thÓ hiÖn mét sù tho¸i ho¸ vÒ tÝnh n¨ng h¬n lµ sù ®æ vì trÇm träng. Cã mét sè b»ng chøng thùc nghiÖm cho viÖc tÝnh to¸n th«, nh−ng nãi chung lµ kh«ng thÓ kiÓm so¸t ®−îc. §Ó ®¶m b¶o r»ng m¹ng neuron thùc sù cã kh¶ n¨ng chÊp nhËn lçi, cã lÏ cÇn ph¶i thùc hiÖn nh÷ng ®o ®¹c hiÖu chØnh trong viÖc thiÕt kÕ thuËt to¸n tÝch luü m¹ng neuron. 6. Kh¶ n¨ng cµi ®Æt VLSI. B¶n chÊt song song ®å sé cña mét m¹ng neuron lµm cho nã rÊt nhanh trong tÝnh to¸n ®èi víi mét sè c«ng viÖc. §Æc tÝnh nµy còng 17
t¹o ra cho mét m¹ng neuron kh¶ n¨ng phï hîp cho viÖc cµi ®Æt sö dông kü thuËt Very-large-scale-intergrated (VLSI). Kü thuËt nµy cho phÐp x©y dùng nh÷ng m¹ch cøng tÝnh to¸n song song quy m« lín. ChÝnh v× vËy mµ −u ®iÓm næi bËt cña VLSI lµ mang l¹i nh÷ng ph−¬ng tiÖn h÷u hiÖu ®Ó cã thÓ xö lý ®−îc nh÷ng hµnh vi cã ®é phøc t¹p cao. 7. T×nh chÊt ®ång d¹ng trong ph©n tÝch vµ thiÕt kÕ. VÒ c¬ b¶n, c¸c m¹ng neuron cã tÝnh chÊt chung nh− lµ c¸c bé xö lý th«ng tin. Chóng ta nªu ra ®iÒu nµy víi cïng ý nghÜa cho tÊt c¶ c¸c lÜnh vùc cã liªn quan tíi viÖc øng dông m¹ng neuron. §Æc tÝnh nµy thÓ hiÖn ë mét sè ®iÓm nh− sau: • C¸c neuron, d−íi d¹ng nµy hoÆc d¹ng kh¸c, biÓu diÔn mét thµnh phÇn chung cho tÊt c¶ c¸c m¹ng neuron. • TÝnh thèng nhÊt nµy ®em l¹i kh¶ n¨ng chia sÎ c¸c lý thuyÕt vµ c¸c thuËt to¸n häc trong nhiÒu øng dông kh¸c nhau cña m¹ng neuron. • C¸c m¹ng tæ hîp (modular) cã thÓ ®−îc x©y dùng th«ng qua mét sù tÝch hîp c¸c m« h×nh kh¸c nhau. 1.3 BiÓu diÔn tri thøc trong M¹ng neuron Chóng ta cã thÓ ®−a ra ®Þnh nghÜa vÒ tri thøc nh− sau: Tri thøc chÝnh lµ th«ng tin ®−îc l−u tr÷ hay c¸c m« h×nh ®−îc con ng−êi vµ m¸y mãc sö dông ®Ó biÓu diÔn thÕ giíi, ph¸n ®o¸n vÒ thÕ giíi vµ cã nh÷ng ®¸p øng phï hîp víi thÕ giíi bªn ngoµi. C¸c ®Æc tÝnh c¬ b¶n cña biÓu diÔn tri thøc lµ: (1) th«ng tin g× thùc sù ®−îc biÓu diÔn; vµ (2) lµm thÕ nµo th«ng tin ®−îc m· ho¸ mét c¸ch vËt lý cho viÖc sö dông sau nµy. Trong c¸c øng dông thùc tÕ cña c¸c m¸y “th«ng minh”, cã thÓ nãi r»ng mét gi¶i ph¸p tèt phô thuéc vµo mét biÓu diÔn tri thøc tèt. §iÒu ®ã còng ®óng víi c¸c m¹ng neuron, mét líp ®Æc biÖt cña c¸c m¸y th«ng minh. Tuy nhiªn, c¸c d¹ng biÓu diÔn cã thÓ tõ c¸c ®Çu vµo thµnh c¸c tham sè bªn trong cña m¹ng lµ rÊt ®a d¹ng, vµ cã khuynh h−íng lµm cho viÖc t×m ra mét gi¶i ph¸p thÝch hîp nh»m biÓu diÔn tri thøc b»ng ph−¬ng tiÖn m¹ng neuron trë nªn mét sù th¸ch thøc vÒ thiÕt kÕ. ë ®©y cÇn nhÊn m¹nh r»ng m¹ng neuron l−u tr÷ th«ng tin vÒ thÕ giíi thùc b»ng chÝnh b¶n th©n cÊu tróc cña nã kÓ c¶ vÒ mÆt h×nh d¹ng (topo) còng nh− gi¸ trÞ cña c¸c tham sè bªn trong (cã thÓ thay ®æi ®−îc ®Ó n¾m b¾t m«i tr−êng). Mét nhiÖm vô chÝnh cña m¹ng neuron lµ häc mét m« h×nh cña thÕ giíi (m«i tr−êng) xung quanh vµ duy tr× m« h×nh ®ã ®ñ bÒn v÷ng víi thÕ giíi thùc ®Ó cã thÓ ®¹t ®−îc mét sè môc ®Ýnh x¸c ®Þnh cÇn quan t©m. Tri thøc cña thÕ giíi bao gåm hai lo¹i th«ng tin sau: 1.Tr¹ng th¸i thÕ giíi ®· biÕt, ®−îc biÓu diÔn bëi c¸c sù kiÖn vÒ nh÷ng c¸i ®· biÕt; d¹ng thi thøc nµy ®−îc xem nh− lµ c¸c th«ng tin ban ®Çu. 2.C¸c quan s¸t (c¸c ®o ®¹c) vÒ thÕ giíi, thu nhËn ®−îc th«ng qua c¸c bé c¶m biÕn ®−îc thiÕt kÕ ®Ó th¨m dß m«i tr−êng mµ trong ®ã m¹ng neuron ho¹t ®éng. Nãi chung, c¸c quan s¸t nµy lu«n bÞ nhiÔu vµ sai lÖch do nhiÒu 18
nguyªn nh©n kh¸c nhau. C¸c quan s¸t thu nhËn ®−îc nh− vËy cung cÊp mét quü th«ng tin mµ tõ ®ã lÊy ra c¸c vÝ dô (example) ®−îc dïng ®Ó tÝch luü (training) m¹ng neuron. Nãi mét c¸ch cô thÓ h¬n, th«ng tin ban ®Çu cã thÓ lµ nh÷ng kiÕn thøc vÒ c¸c ®Æc tr−ng cña m«i tr−êng cÇn nghiªn cøu ®−îc sö dông cho viÖc thiÕt kÕ m¹ng neuron ban ®Çu tr−íc khi ®−a nã vµo qu¸ tr×nh häc hay tÝch luü. B¶n th©n c¸c vÝ dô tÝch luü kh«ng ®−îc l−u tr÷ bëi m¹ng neuron, nh−ng chóng thÓ hiÖn nh÷ng hiÓu biÕt vÒ m«i tr−êng sÏ ®−îc l−u tr÷ trong m¹ng neuron th«ng qua viÖc häc, hay nãi c¸ch kh¸c lµ m¹ng neuron cã thÓ häc ®−îc c¸c hiÓu biÕt ®ã th«ng qua c¸c vÝ dô tÝch luü. C¸c vÝ dô cã thÓ ®−îc g¸n nh·n hoÆc kh«ng. Mét vÝ dô ®−îc g¸n nh·n biÓu diÔn mét tÝn hiÖu ®Çu vµo vµ mét ®¸p øng ®Çu ra mong muèn t−¬ng øng. MÆt kh¸c, mét vÝ dô kh«ng ®−îc g¸n nh·n chØ bao gåm thÓ hiÖn cña tÝn hiÖu ®Çu vµo. Trong qu¸ tr×nh tÝch luü, m¹ng neuron sÏ thay ®æi gi¸ trÞ c¸c tham sè tù do cña nã theo mét sè tiªu chuÈn thèng kª sao cho cã thÓ n¾m b¾t ®−îc tèt nhÊt c¸c th«ng tin cÇn häc chøa trong c¸c vÝ dô tÝch luü. Cã thÓ thÊy râ mét sù kh¸c nhau c¨n b¶n gi÷a mét m¹ng neuron vµ mét bé ph©n lo¹i mÉu xö lý th«ng tin cæ ®iÓn. §èi víi c¸c ph−¬ng ph¸p cæ ®iÓn, ®Çu tiªn chóng ta th−êng t×m c¸ch x©y dùng mét m« h×nh to¸n häc cho c¸c quan s¸t vÒ m«i tr−êng, sau ®ã tiÕn hµnh hîp thøc ho¸ m« h×nh víi c¸c d÷ liÖu thùc, råi x©y dùng thiÕt kÕ dùa trªn nÒn t¶ng cña m« h×nh ®ã. Tr¸i l¹i, thiÕt kÕ cña mét m¹ng neuron ®−îc t¹o ra mét c¸ch trùc tiÕp trªn c¬ së d÷ liÖu thùc trong ®ã tËp hîp d÷ liÖu (tËp hîp c¸c vÝ dô) lu«n tù ph¸t ng«n cho chÝnh m×nh mµ kh«ng cÇn mét m« h×nh to¸n häc trõu t−îng lµm trung gian. Nh− vËy m¹ng neuron kh«ng chØ cung cÊp m« h×nh ngÇm ®Þnh cho m«i tr−êng mµ nã cßn thùc hiÖn chøc n¨ng xö lý th«ng tin cÇn thiÕt. Mét c¸ch trùc quan, chóng ta cã thÓ coi biÓu diÔn tri thøc vÒ m«i tr−êng xung quanh trong mét m¹ng neuron ®−îc x¸c ®Þnh bëi chÝnh c¸c träng sè synapse vµ c¸c hÖ sè hiÖu chØnh cña c¸c neuron. Vµ gi¸ trÞ cña c¸c tham sè tù do nµy ®ãng mét vai trß quyÕt ®Þnh cho tÝnh n¨ng cña hÖ thèng. Do cÊu tróc mét m¹ng neuron lµ v« cïng ®a d¹ng, nªn ®Ó cã thÓ biÓu diÔn tri thøc mét c¸ch cã hiÖu qu¶, ng−êi ta ®−a ra bèn quy t¾c chung sau: Quy t¾c 1. C¸c ®Çu vµo t−¬ng tù tõ c¸c líp t−¬ng tù cÇn ph¶i lu«n t¹o ra nh÷ng biÓu diÔn t−¬ng tù trong m¹ng, vµ nh− vËy nªn ®−îc ph©n líp thuéc vÒ cïng mét lo¹i. Trong tiªu chuÈn nµy, ng−êi ta th−êng sö dông mét sè th−íc ®o ®Ó x¸c ®Þnh ®é “t−¬ng tù” gi÷a c¸c ®Çu vµo (vÝ dô kho¶ng c¸ch euclide). Quy t¾c 2. C¸c phÇn tö mµ cã thÓ ph©n ra thµnh c¸c líp riªng biÖt th× nªn cã nh÷ng biÓu diÔn kh¸c nhau ®¸ng kÓ trong m¹ng. Quy t¾c 3. NÕu mét ®Æc tr−ng nµo ®ã ®Æc biÖt quan träng th× nªn cã mét sè l−îng lín neuron liªn quan ®Õn viÖc biÓu diÔn ®Æc tr−ng nµy trong m¹ng. Sè l−îng lín c¸c neuron b¶o ®¶m møc ®é chÝnh x¸c cao trong viÖc thùc hiÖn c¸c quyÕt ®Þnh vµ n©ng cao kh¶ n¨ng chÞu ®ùng c¸c neuron háng. 19
Quy t¾c 4. Th«ng tin ban ®Çu vµ c¸c tÝnh chÊt bÊt biÕn nªn ®−îc ®−a vµo trong thiÕt kÕ ban ®Çu cña mét m¹ng neuron, vµ nh− vËy sÏ gi¶m bít g¸nh nÆng cho qu¸ tr×nh häc. Quy t¾c 4 ®Æc biÖt quan träng v× nÕu chóng ta ¸p dông nã mét c¸ch thÝch hîp sÏ dÉn ®Õn kh¶ n¨ng t¹o ra c¸c m¹ng neuron víi mét kiÕn tróc chuyªn biÖt. §iÒu nµy thùc sù ®−îc quan t©m do mét sè nguyªn nh©n sau: 1. C¸c m¹ng neuron thÞ gi¸c vµ thÝnh gi¸c sinh häc ®−îc biÕt lµ rÊt chuyªn biÖt. 2. Mét m¹ng neuron víi cÊu tróc chuyªn biÖt th−êng cã mét sè l−îng nhá c¸c tham sè tù do phï hîp cho viÖc chØnh lý h¬n lµ mét m¹ng kÕt nèi ®Çy ®ñ. Nh− vËy m¹ng neuron chuyªn biÖt cÇn mét tËp hîp d÷ liÖu nhá h¬n cho viÖc tÝch luü; nã häc sÏ nhanh h¬n, vµ th−êng cã kh¶ n¨ng tæng qu¸t ho¸ tèt h¬n. 3. Tèc ®é chuyÓn th«ng tin qua mét m¹ng chuyªn biÖt lµ nhanh h¬n. 4. Gi¸ cña viÖc x©y dùng mét m¹ng chuyªn biÖt sÏ nhá h¬n do kÝch th−íc nhá cña nã so víi m¹ng kÕt nèi ®Çy ®ñ. 1.4 TrÝ tuÖ nh©n t¹o vµ M¹ng neuron Môc ®Ých cña trÝ tuÖ nh©n t¹o (artificial intelligence(AI)) lµ ph¸t triÓn c¸c m« h×nh hay c¸c gi¶i thuËt yªu cÇu m¸y tÝnh thùc hiÖn nh÷ng c«ng viÖc mang tÝnh nhËn thøc mµ con ng−êi lu«n thùc hiÖn mét c¸ch tèt h¬n. Mét hÖ thèng AI ph¶i cã kh¶ n¨ng thùc hiÖn ba viÖc: (1) l−u tr÷ tri thøc, (2) øng dông tri thøc ®−îc l−u tr÷ ®Ó gi¶i quyÕt c¸c bµi to¸n, vµ (3) thu nhËn tri thøc míi th«ng qua thùc nghiÖm. T−¬ng øng víi ba nhiÖm vô ®ã, mét hÖ thèng trÝ tuÖ nh©n t¹o cã ba thµnh phÇn chÝnh: biÓu diÔn, suy diÔn, vµ häc, nh− ®−îc m« t¶ trong h×nh 1.10. BiÓu diÔn Häc Suy diÔn H×nh 1.10 Ba thµnh phÇn c¬ b¶n cña mét hÖ thèng AI Nh− vËy chóng ta thÊy r»ng m¹ng neuron cã mèi quan hÖ gÇn gòi víi c¸c m¸y AI. §Ó cã thÓ cã thÓ thùc hiÖn viÖc so s¸nh, chóng ta ph©n tÝch ba yÕu tè sau: møc ®é gi¶i thÝch hiÖn t−îng nhËn thøc, ph−¬ng ph¸p xö lý, vµ cÊu tróc biÓu diÔn. 20