Luận văn:Mạng noron nhận dạng vân tay

Chia sẻ: Nhung Thi | Ngày: | Loại File: PDF | Số trang:26

Thêm vào BST

Báo xấu

152
lượt xem 48
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Tham khảo luận văn - đề án 'luận văn:mạng noron nhận dạng vân tay', luận văn - báo cáo, thạc sĩ - tiến sĩ - cao học phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn:Mạng noron nhận dạng vân tay

-1- B GIÁO D C VÀ ĐÀO T O Đ I H C ĐÀ N NG LÊ VĂN HOÀNG VŨ M NG NƠRON VÀ NH N D NG NH VÂN TAY Chuyên ngành: KHOA H C MÁY TÍNH Mã s : 60.48.01 TÓM T T LU N VĂN TH C SĨ K THU T Đà N ng - Năm 2011
-2- Công trình ñư c hoàn thành t i Đ I H C ĐÀ N NG Ngư i hư ng d n khoa h c: PGS. TSKH. Tr n Qu c Chi n Ph n bi n 1: TS. Nguy n Thanh Bình Ph n bi n 2: TS. Trương Công Tu n Lu n văn ñư c b o v trư c H i ñ ng ch m Lu n văn t t nghi p th c sĩ k thu t h p t i Đ i h c Đà N ng vào ngày 10 tháng 9 năm 2011. * Có th tìm hi u lu n văn t i: - Trung tâm Thông tin - H c li u, Đ i h c Đà N ng. - Trung tâm H c li u, Đ i h c Đà N ng.
-3- M Đ U 1. Lý do ch n ñ tài • B i c nh Vi c nh n d ng cá nhân là s g n k t m t ñ c tính nh n bi t c th nào ñó vào m t cá nhân và bài toán c a vi c tìm ra ñ c tính nh n bi t c a m t ngư i có th chia ra thành hai lo i bài toán v i ñ ph c t p khác nhau: xác minh và nh n d ng. Vi c xác minh (xác th c) là nh m ch ñ n d ng bài toán quy t ñ nh xác nh n ho c t ch i ñ i v i m t yêu c u xác nh n c th ñư c ñưa ra b i chính cá nhân yêu c u. Còn nh n d ng là d ng bài toán tìm ki m và xây d ng các ñ c tính nh n bi t c a m t ñ i tư ng. Nh n d ng là m t ngành khoa h c mà vai trò c a nó là phân lo i các ñ i tư ng thành m t s lo i ho c m t s nhóm riêng bi t. Tuỳ thu c vào lĩnh v c ng d ng, các ñ i tư ng có th d ng nh, d ng tín hi u sóng, d ng tín hi u gi ng nói và hình nh khuôn m t ho c m t ki u d li u b t kỳ nào ñó mà c n ph i phân lo i. Nh ng ñ i tư ng này ñư c g i b ng m t thu t ng chung ñó là “m u” hay các “ñ c trưng”. Và t ñ u nh ng năm 1960, các h th ng nh n d ng vân tay t ñ ng AFIS b t ñ u ñư c nghiên c u và phát tri n không ng ng. Các h th ng ñã ch ng minh ñư c tính hi u qu c a nó trong nhi u lĩnh v c khác nhau có s d ng k thu t nh n d ng nh vân tay ñ xác ñ nh thân nhân c a m t ngư i. Nh n d ng nh vân tay ñã và ñang ngày càng tr thành m t ng d ng không th thi u ñư c trong ñ i s ng xã h i c a con ngư i. V i s ra ñ i c a ngân hàng ñi n t , thương m i ñi n t ,…các bi n pháp b o m t và mang tính riêng tư c n ñư c t ch c và lưu tr trong các cơ s d li u khác nhau. Đ nh danh cá nhân m t cách t
-4- ñ ng ngày càng tr thành m t v n ñ r t quan tr ng và c p thi t. Các ng d ng c a h th ng ñ nh danh cá nhân ñư c phát tri n r ng l n trong ñ i s ng c a con ngư i như: Qu n lý h chi u, h th ng ñi n tho i t bào, h th ng rút ti n t ñ ng ATM,…Vi c ñ nh danh cá nhân theo phương pháp truy n th ng trư c ñây như là d a vào các hi u bi t (knowledge-based): m t kh u, s ñ nh danh cá nhân PIN,… hay là d a trên các th bài (token-based): h chi u, th ID,…không thu n ti n và d b l a g t, b i vì s PIN có th quên hay có th b ñoán b i nh ng k m o danh và các th bài cũng có th b quên hay b ñánh c p, vì th các phương pháp ñ nh danh cá nhân d a trên hi u bi t và ch ng c truy n th ng khó ñáp ng và không th thuy t ph c v vi c b o m t trong xã h i công ngh thông tin. Đ ñáp ng các v n ñ ñó thì các phương pháp b o m t b ng các ñ c trưng sinh tr c h c như: Gi ng nói, nh khuôn m t, nh m ng m t, nh vân tay, nh bàn tay, ch ký,…. Trong các nh n d ng sinh tr c h c thì nh n d ng nh vân tay ñã ñư c c ng ñ ng khoa h c ch p nh n và ñã có nhi u nhà t ch c, nhà qu n lý ph n m m cho ra ñ i các h th ng nh n d ng vân tay ñang s d ng m t cách hi u qu và ñang thu hút ñư c s quan tâm c a nhi u nhà khoa h c. • Các hư ng nghiên c u nh vân tay ñã ñư c s d ng ñ nh n d ng cá nhân ñư c s d ng t lâu, và ñư c ng d ng h n h p. Ngày nay vân tay ñư c s d ng ph bi n trên nhi u lĩnh v c. Trong b i c nh ñó, theo nh ng phương pháp c ñi n, th công ñ nh n d ng nh vân tay, m c dù ñã ñư c nghiên c u thành công hơn 30 năm qua, nhưng nghiên c u ñ hoàn thi n nó v n là m t v n ñ ñang ñư c nghiên c u nhi u nư c trên th gi i.
-5- Hi n nay m t s nư c trên th gi i như M , Pháp, Nh t ñã nghiên c u thành công h th ng nh n d ng vân tay cho công tác hình s . M c dù ñã có nh ng ti n b ñáng k trong vi c thi t k các h th ng nh n d ng vân tay trong hơn 30 năm qua nhưng do m t s y u t như thi u các thu t toán trích ñ c ñi m ñ tin c y, khó khăn trong vi c xác ñ nh m t cách ñ nh lư ng s gi ng nhau gi a hai vân tay, v n ñ phân lo i vân tay v.v..., các h th ng nh n d ng vân tay hi n nay v n chưa ñ t ñư c tính năng mong mu n. Vì v y h th ng nh n d ng vân tay v n ñang ñư c nghiên c u r ng rãi trên th gi i nh m c i thi n tính năng c a nó. • Lý do ch n ñ tài Cùng v i s phát tri n m nh m c a công ngh thông tin, s ra ñ i xã h i thông tin ñi n t mà trong ñó bao g m các ng d ng v thương m i ñi n t , ngân hàng ñi n t ,…vi c b o m t thông tin cho các khách hàng là th t s c n thi t. Nh n d ng qua nh vân tay là m t trong nh ng bi n pháp b o m t an toàn nh t. nh vân tay s d ng ñ nh n d ng cá nhân ñã ñư c nghiên c u thành công hơn 30 năm qua nhưng nghiên c u ñ hoàn thi n nó v n là m t v n ñ ñang ñư c nhi u nư c trên th gi i quan tâm. Vì v y, tôi ch n v n ñ “M NG NƠRON VÀ NH N D NG NH VÂN TAY” làm ñ tài nghiên c u. S dĩ, chúng tôi l a ch n m ng nơron làm công c ñ th hi n các thu t toán nh n d ng b i l mô hình m ng nơron ñư c xây d ng theo nguyên t c mô ph ng ho t ñ ng b não c a con ngư i nên nó r t thích h p v i bài toán nh n d ng và so v i các công c khác thì m ng nơron có nh ng ưu ñi m vư t tr i sau: - M ng nơron có th ñư c coi như m t b x p x v n năng. - Có kh năng h c và thích nghi v i các m u m i.
-6- - Có kh năng t ng quát hoá: M ng có th ñưa ra nh ng k t qu mang tính t ng quát hoá. - Có kh năng dung th l i: Có th ch p nh n sai s trong t p d li u ñ u vào. - M ng có t c ñ tính toán cao d n ñ n t c ñ nh n d ng nhanh. 2. Ý nghĩa, m c ñích c a ñ tài M c ñích chính c a ñ tài là: Nghiên c u tích h p k thu t trích ch n ñi m ñ c trưng và ñ i sánh nh vân tay theo mô hình m ng nơron giúp c i thi n kh năng trích ch n ñi m ñ c trưng c c b trên nh vân tay, ñ ng th i tăng ñ chính xác và t c ñ ñ i sánh nh vân tay tìm ki m v i các m u vân tay trong cơ s d li u. Đ tài góp ph n nghiên c u xây d ng h th ng nh n d ng vân tay theo mô hình m ng nơron là m t hư ng phát tri n r t m nh trong k thu t nh n d ng hi n nay. • V m t lý thuy t - Gi i thi u v h th ng nh n d ng vân tay và k thu t nh n d ng s d ng m ng nơron. - H th ng các k thu t nâng c p nh vân tay. - V n ñ trích ch n ñ c trưng và ñ i sánh nh vân tay. - Phát tri n m ng nơron ba l p có c i ti n ñ nh n d ng các ñ c trưng c c b . • V m t th c ti n Xây d ng ng d ng nh n d ng vân tay s d ng m ng nơron. T ñây ñưa m t ng d ng th c t : b o m t các thông tin c a cán b , h c sinh và ñ c bi t là trong h th ng thư vi n trong các trư ng h c thay th b n ñ c b ng nh vân tay ñ minh ho cho tính kh thi c a ñ tài. 3. Đ i tư ng và ph m vi nghiên c u
-7- 3.1. Đ i tư ng nghiên c u Đ i tư ng nghiên c u chính là: - Các ñ c trưng trên nh vân tay trong m u d li u nh vân tay thu ñư c. - M t s mô hình m ng nơron ñang ñư c s d ng trong lĩnh v c nh n d ng. - Phương pháp trích ch n ñi m ñ c trưng vân tay theo mô hình m ng nơron. - K thu t ñ i sánh nh vân tay. 3.2. Ph m vi nghiên c u Ph m vi nghiên c u gi i h n: - Các ñ c trưng c c b c a nh vân tay. - S lư ng m u nghiên c u kho ng 500 m u là nh vân tay. - K thu t trích ch n ñi m ñ c trưng theo mô hình m ng nơron - K thu t ñ i sánh nh vân tay theo các ñi m ñ c trưng c c b . 4. Phương pháp nghiên c u Đ th c hi n ñ tài ñã nêu ra, c n k t h p m m d o gi a hai phương pháp nghiên c u: phương pháp nghiên c u lý thuy t và phương pháp nghiên c u th c nghi m, ñư c th c hi n theo các bư c sau: • Nghiên c u lý thuy t v vân tay và h th ng nh n d ng nh vân tay: - Nghiên c u v tài li u và thi t b nh n d ng nh vân tay. - nh vân tay và quá trình thu nh n nh, lưu tr nh vân tay. - Các k thu t nh n d ng nh vân tay. - Ngôn ng cài ñ t chương trình nh n d ng nh vân tay.
-8- • Nghiên c u lý thuy t các ñi m ñ c trưng c a nh vân tay, trích ch n ñi m ñ c trưng c a nh vân tay, ñ i sánh nh vân tay: - M t s ñi m ñ c trưng c a nh vân tay. - Các k thu t trích ch n ñi m ñ c trưng và ñ i sánh nh vân tay. - Mô hình m ng nơron trong nh n d ng nh. - Xây d ng module trích ch n ñi m ñ c trưng c c b . • Nghiên c u th c nghi m thu th p d li u cho kho các m u ñ ñ i sánh: - Xây d ng cách thu th p d li u nh vân tay c a h c sinh, cán b và m t s nh vân tay bên ngoài. - Đi th c t thu th p d li u nh vân tay. - Xây d ng module ñ i sánh nh vân tay. • Nghiên c u th c nghi m nh m xác ñ nh và ñánh giá các k t qu ñ i sánh: - D a trên các t l lo i b sai (FRR) và t l ch p nh n sai (FAR). - Đưa ra các quy t ñ nh 5. Phương ti n nghiên c u Trong quá trình làm lu n văn, chúng tôi ñã tham kh o các tài li u t các ngu n sau: các giáo trình, các sách tham kh o, các bài báo, t p chí v nh n d ng nh vân tay, các tài li u trên m ng Internet, các lu n văn th c sĩ và các ñ án t t nghi p k sư có liên quan, các ph n tr giúp c a các ph n m m nh n d ng vân tay. T t c các ngu n này ñã ñư c ghi trích d n trong lu n văn và li t kê ñ y ñ trong ph n tài li u tham kh o. 6. Ý nghĩa khoa h c và th c ti n c a ñ tài
-9- Trong lu n văn ñã s d ng m ng nơron ñ trích ch n các ñi m ñ c trưng c c b trên nh vân tay và xây d ng b ñ i sánh nh vân tay d a trên các ñi m ñ c trưng c c b . Đây là cơ s ñ xây d ng h th ng nh n d ng nh vân tay ph c v cho công tác b o m t các thông tin c a cán b , h c sinh và ñ c bi t là trong h th ng thư vi n c a các trư ng h c thay th b n ñ c b ng nh vân tay ñ minh h a cho tính kh thi c a ñ tài. 7. Nh ng v n ñ s gi i quy t Đ ñáp ng các m c ñích ñ ra trên, trong lu n văn này chúng tôi t p trung gi i quy t các n i dung chính sau : - Xem xét m t cách khái quát qui trình c a m t h nh n d ng nh vân tay. - Nghiên c u chi ti t hơn v các công ño n trích ch n ñi m ñ c trưng c c b và ñ i sánh nh vân tay trong quá trình nh n d ng nh vân tay. - Đ c p ñ n m t s k thu t ph bi n trong vi c trích ch n ñi m ñ c trưng c c b và ñ i sánh nh vân tay. - Kh o sát m t s mô hình m ng nơron hi n t i ñang ñư c s d ng trong lĩnh v c nh n d ng. Qua ñó ñánh giá ñư c ưu, như c ñi m c a t ng mô hình nh m ñ xu t ñư c m t s hư ng c i ti n ñ có ñư c m t mô hình thích h p v i vi c trích ch n ñi m ñ c trưng. - Đ xu t các k thu t nâng c p nh vân tay trư c khi ñưa vào trích ch n ñi m ñ c trưng và ñ i sánh nh vân tay. - Đ xu t mô hình m ng nơron ba l p thích h p cho vi c trích ch n ñ c trưng nh vân tay. - Xây d ng m t b ñ i sánh nh vân tay tìm ki m v i các nh vân tay m u thu nh n ñư c.
- 10 - 8. K t qu ñ t ñư c - Xây d ng m ng nơron ñ trích ch n ñ c trưng c c b c a nh vân tay. - Xây d ng ph n m m nh n d ng nh vân tay. 9. B c c c a lu n văn Ngoài ph n m ñ u, k t lu n, tài li u tham kh o và ph l c trong lu n văn g m có các chương như sau : Chương 1: T ng quan v nh n d ng nh vân tay d a trên mô hình m ng nơron. Chương 2: Trích ch n ñi m ñ c trưng và ñ i sánh nh vân tay d a trên m ng nơron. Chương 3: Chương trình th nghi m h th ng trích ch n ñi m ñ c trưng và ñ i sánh nh vân tay.
- 11 - CHƯƠNG 1 - T NG QUAN V NH N D NG NH VÂN TAY D A TRÊN MÔ HÌNH M NG NƠRON 1.1. T ng quan v m ng nơron 1.1.1. C u trúc c a m t nơron M t nơron là m t ñơn v x lý thông tin và là thành ph n cơ b n c a m t m ng nơron [3]. C u trúc c a m t nơron ñư c mô t trên hình 1.1    Hàm kích  ho t Các tín   hi u vào  ∑ Đ u ra    Hàm  t ng   Các tr ng s liên k t Hình 1.1 : C u trúc c a m t nơron. Nhìn chung, m i nơron ñư c t o thành t nh ng thành ph n cơ b n sau [3]: T p các ñ u vào, t p các liên k t, m t b t ng (Summing function), m t giá tr ngư ng (còn g i là m t ñ l ch - bias), m t hàm kích ho t (Activation function), m t ñ u ra. 1.1.2. Các phương pháp hu n luy n m t m ng nơron Hai phương pháp máy h c ph bi n thư ng ñư c ñ c p ñ n trong lĩnh v c trí tu nhân t o ñó là: phương pháp h c có th y (còn g i là h c có giám sát - supervised learning) và phương pháp h c không có th y (h c không có giám sát - unsupervised learning) [3].
- 12 - 1.2. L ch s v qu n lý, nh n d ng vân tay và ng d ng c a h th ng nh n d ng nh vân tay 1.3. nh vân tay nh vân tay là m t m u g m các ñư ng vân và rãnh trên các ñ u ngón tay, nó ñư c s d ng ñ nh danh cá nhân m t con ngư i. 1.4. Tính cá nhân và b t bi n c a vân tay 1.4.1. Tính b t bi n 1.4.2. Tính ñ c nh t 1.5. Thu nh n và lưu tr nh vân tay 1.5.1. Thu nh n nh vân tay 1.5.2. Lưu tr nh và các thông tin ñ c trưng c a vân tay 1.6. Các ñ c trưng c a vân tay và trích ch n các ñ c trưng 1.7. Vai trò c a ñi m ñ c trưng và hư ng ñi m ñ c trưng trong nh n d ng nh vân tay 1.8. Phân l p 1.9. Đ i sánh nh vân tay 1.10. Ki n trúc c a h th ng nh n d ng nh vân tay 1.11. Phân l p 1.12. Đ i sánh nh vân tay 1.13. Ki n trúc c a h th ng nh n d ng nh vân tay Ki n trúc c a m t h th ng ñ nh danh d a vào nh vân tay thư ng có 4 ph n [13]: Giao di n ngư i dùng, h th ng cơ s d li u, modul k t n p và modul ñ nh danh t ñ ng. 1.14. M ng MLP và ng d ng trong nh n d ng nh vân tay M ng MLP - m ng nơron nhi u l p (MultiLayer Perceptrons) là mô hình m ng ph bi n nh t, thư ng ñư c s d ng trong nh n d ng [10], [20]. C u trúc m ng MLP là s k t h p c a nhi u l p nơron (ít
- 13 - nh t là hai l p), trong ñó m i l p noron ñư c t o thành t nhi u Perceptron và s liên k t gi a các nơron là liên k t ñ y ñ . 1.14.1. C u trúc m t Perceptron 1.14.2. Ki n trúc m ng nhi u l p truy n th ng (MLP) 1.14.3. Quá trình hu n luy n m ng MLP 1.14.4. Ưu, như c ñi m c a m ng MLP 1.15. K t lu n Trong chương này, ñ c p ñ n các bư c cơ b n c a m t quá trình nh n d ng nh vân tay. Có nhi u cách ti p c n ñ nh n d ng nh vân tay, trong ñó cách ti p c n nh n d ng nh vân tay d a trên mô hình m ng nơron ñang tr thành m t trong nh ng hư ng nghiên c u chính. Mô hình m ng ph bi n nh t thư ng ñư c s d ng trong nh n d ng nh vân tay là mô hình m ng MLP (3 l p). B ng vi c kh o sát chi ti t trên mô hình lý thuy t k t h p v i cài ñ t th c nghi m, lu n văn ñã rút ra ñư c nh ng ưu, như c ñi m chính c a m ng MLP v i thu t toán hu n lan truy n ngư c sai s . T ñó ñ xu t hư ng c i ti n nh m nâng cao ch t lư ng nh n d ng.
- 14 - CHƯƠNG 2 - TRÍCH CH N ĐI M Đ C TRƯNG VÀ Đ I SÁNH NH VÂN TAY D A TRÊN M NG NƠRON 2.1. Gi i thi u V i m c tiêu là Trích ch n ñ c trưng và ñ i sánh nh vân tay d a trên m ng nơron v n ñ ñ t ra như sau : Kh nhi u ñ u vào,trích ch n và tăng cư ng các ñ c tính trên nh vân tay, trích ch n ñi m ñ c trưng c c b theo mô hình m ng nơron, ñ i sánh các ñi m ñ c trưng c c b . 2.2. Nâng c p nh vân tay 2.2.1. Sơ lư c v nâng c p nh Nâng c p nh là k thu t làm n i b t các thu c tính nh như: sư n, ñư ng biên, ñ tương ph n v.v..ñ d dàng phân tích. 2.2.2. Các k thu t nh phân hoá nh 2.2.3. K thu t kéo dãn lư c ñ xám 2.2.4. Thu t toán nâng c p vân tay nhi u bư c M t thu t toán nâng c p nh vân tay làm vi c v i ñ u vào là m t nh vân tay (thư ng là ch t lư ng không t t), sau m t s bư c x lý trên b c nh, nh sau nâng c p s ñư c ñưa ñ u ra. . K t qu ñ t ñư c và th c nghi m: M c ñích c a m t thu t toán nâng c p vân tay là nh m c i thi n hơn ñ trong sáng gi a l n vân và thung lũng trong nh vân tay ñ u vào, hay nói cách khác là làm tách bi t rõ ràng gi a các l n vân. Thu t ng “tách bi t” ñây bao hàm c nâng cao ñ tương ph n bi n ñ i gi a l n vân - thung lũng vân và tăng ñ ñ ng ñ u ch y d c theo các l n. Chúng tôi ñã cài ñ t thành công phương pháp l c kh nhi u Gabor. Đây là m t cách làm h u hi u ñ lo i b các nhi u không mong ñ i, th c ch t là áp d ng m t ma tr n nhân ch p theo hư ng c a ñư ng vân và “vu t mư t” ñư ng vân theo m t d ng hình sin.
- 15 - T t c nh ng ñi m nhi u s b c t b n u chúng gây nh ng t n s không phù h p. K t qu ñ t ñư c sau khi l c h u h t nhi u ñã b c t b , nh l c theo hư ng nên thu t toán có th n i li n nh ng ñư ng vân b ñ t ño n ñ ng th i b o toàn các ñi m ñ c trưng. 2.3. Trích ch n ñi m ñ c trưng 2.3.1. Gi i thi u Trong ph m vi lu n văn này, chúng tôi ch kh o sát rút trích các ñi m ñ c trưng c c b t nh vân tay ñã ñư c làm m nh theo sơ ñ thu t toán ñư c ñ xu t theo hình 2.20 nh vân tay ñã ñư c nâng c p Làm m nh ñư ng vân Trích ch n ñ c trưng c c b theo phương pháp m ng nơron Vectơ hư ng các ñư ng vân Vectơ ñ c trưng c c b Hình 2.20 : Thu t toán trích ch n ñi m ñ c trưng c c b 2.3.2. Trích ch n ñi m ñ c trưng d a trên s bi n ñ i m c xám 2.3.3.Trích ch n ñi m ñ c trưng c c b trên nh ñã ñư c làm m nh
- 16 - 2.3.3.1. Làm m nh ñư ng vân c a nh vân tay Làm m nh ñư ng vân hay còn g i là xương hoá ñư ng vân là quá trình lo i b biên c a nh ñ thu ñư c nh có ñ r ng 1 pixel, nhưng không làm thay ñ i hình d ng c a nh. 2.3.3.2. Trích ch n ñi m ñ c trưng d a trên mô hình m ng nơron • Ki n trúc c a m ng : Đ trích ch n ñi m ñ c trưng c c b c a nh vân tay, chúng tôi s d ng mô hình m ng nơron MLP có ba l p ñư c hu n luy n ñ dò tìm các ñi m ñ c trưng trên nh vân tay ñã ñư c làm m nh (xem hình 2.28). M ng có c u trúc như sau : - L p vào có 9 nơron k t h p tr c ti p v i các thành ph n c a vectơ ñ u vào. (l p IN) - L p n có 5 nơron k t h p ñ y ñ v i l p vào và l p ra (L p H) - L p ra có 1 nơron k t h p ñ y ñ v i l p n (L p O) nh g c nh ñ u L p vào L p n L p Out vào 3x3 (L p IN) (L p O) (L p H) • W 1 • W 2 • • • • • (0,1) • • • • b2 Ti n x lý : • Xoá nhi u, • b1 n i nét , làm K t n i tr c ti p v i các K tn i K tn i m nh nh nơron ñ u vào ñ yñ ñ yñ M ng noron truy n th ng ba l p Hình 2.28 : MH m ng nơron truy n th ng nh n d ng ñ c trưng c c b
- 17 - Giá tr c a các nơron ñ u vào c a m ng là giá tr c a các ñi m nh ñư c l y m t cách tr c ti p t nh g c, ñưa vào m ng dư i d ng c a s 3x3 ñư c mã hoá dư i d ng véc tơ m t chi u (xem hình 2.29). các nơron ñ u vào c a m ng s nh n giá tr là các k t qu t ng h p ñư c trên t ng vùng ñ c trưng. X1 X2 X3 X4 X5 X6 X=(X1, X2,X3,X4,X5,X6,X7,X8,X9) X7 X8 X9 Hình 2.29 : T ch c mã hoá vectơ ñ u vào c a m ng nơron • Thu t toán hu n luy n m ng : Do mô hình m ng ba l p nh n d ng các ñ c trưng c c b ñư c phát tri n t m t m ng ba l p truy n th ng nên v cơ b n, ñây s d ng thu t toán lan truy n ngư c sai s . Trong ph n lu n văn chúng tôi S d ng tham s bư c ñà (Momentum) m t bi n th c a thu t toán lan truy n ngư c s d ng phương pháp h c c gói nh m vư t qua các như c ñi m này. Đây là m t phương pháp heuristic d a trên quan sát k t qu luy n m ng nh m làm tăng t c ñ h i t c a thu t toán lan truy n ngư c d a trên k thu t gi m nhanh nh t. Thu t toán lan truy n ngư c c p nh t các tham s c a m ng b ng cách c ng thêm vào m t lư ng thay ñ i là: ∆Wi(k+1) = βi(Wk- Wk-1) (2.67) ∆b (k+1) = β (bk- bk-1) i i (2.68) Trong ñó : β : là h s bư c ñà trên các l p i Trong quá trình th c hi n chúng tôi ñã ch ng t ñư c r ng khi s d ng tham s bư c ñà v i h s h c không thay ñ i so v i thu t toán lan truy n ngư c chu n không s d ng tham s bư c ñà thì v n gi ñư c ñ tin c y c a thu t toán và m t ñi m khác n a là khi s d ng tham s bư c ñà thì s h i t c a thu t toán s ñư c tăng t c n u như
- 18 - thu t toán ñang ñi theo m t hư ng b n v ng (ch ñi xu ng trong m t kho ng dài). Đ thu n ti n cho vi c trình bày, ph n sau ñây s nh c l i nh ng kí hi u ñã ñư c s d ng trong m ng: err_max: Sai s t i ña cho phép c a m ng. I: T ng s l n l p t i ña cho phép. p: s ñ u vào c a m ng (t ng s ph n t c a l p ñ u vào). W1, W2: l n lư t là các ma tr n tr ng s liên k t gi a m t ph ng H (l p n) v i m t ph ng ñ u vào IN, gi a m t ph ng H v i m t ph ng O (l p OUT) b1, b2: L n lư t là ñ l ch c a các l p IN, H và O. 1 2 , : L n lư t là các h s h c trên các l p IN, H và O. 1 2 β , β : L n lư t là các h s Momentum trên các l p IN, H và O f1, f2: L n lư t là các hàm chuy n trên các l p IN, H và O ( ñây các hàm f1, f2 là hàm Log-Sigmoid). n1, n2: L n lư t là t ng s ph n t c a các l p input, IN, H, O. v1, v2 : L n lư t là các vector t ng trên các l p IN, H và O. y1, y2: L n lư t là các vector giá tr ñ u ra c a các l p IN, H và O. Thu t toán hu n luy n m ng ñư c mô t m t cách c th như sau: INPUT: T p m u h c ñư c cung c p dư i d ng {(x = x1,..., xp) , (t = 0,1)} OUTPUT: Các ma tr n tr ng s W1 , W2 PROCESS: Bư c 1: Kh i t o: - Kh i t o các tham s m ng err_max, bi, i,βi, I...(i= 1→2). - Kh i t o các giá tr m t cách ng u nhiên cho các ma tr n tr ng s W1, W2. Bư c 2: Đưa m u hu n luy n vào m ng (thi t l p các ñ u vào và các giá tr m c tiêu cho m ng). Bư c 3:
- 19 - 3.1 Tính giá tr ñ u ra c a các nơron trên l p n H theo các công th c (1.9) và (1.10) 3.2 Tính giá tr các ñ u ra c a các l p O theo các công th c (1.9),(1.10) Bư c 4: 4.1 Tính sai s c a l p O theo công th c (1.29), (1.22) và (1.23) 4.2 N u sai s tính ñư c > sai s hi n th i c a m ng thì c p nh t l i sai s hi n th i c a m ng. 4.3 Áp d ng phương pháp lan truy n ngư c sai s ñ tính l n lư t sai s c a O và H theo các công th c (1.25) và (1.22) Bư c 5: C p nh t l i giá tr c a các ma tr n tr ng s Wi và ñ l ch bi (i=1→2) c a các l p H và O theo công th c (2.69) và (2.70) Bư c 6: L p l i các bư c 3, 4, 5 ñ i v i các m u hu n luy n m i cho ñ n khi các tham s t do c a m ng n ñ nh và Sai s m ng ≤ err_max ho c S l n l p > I. Bư c 7: return k t qu , n u quá trình hu n luy n thành công thì tr v các ma tr n tr ng s Wi (i=1→2), trư ng h p ngư c l i thì tr v thông báo l i. Sau khi hu n luy n m ng thành công, chúng ta s thu ñư c hai ma tr n tr ng s liên k t W1, W2 và các ngư ng b1, b2. Các d li u này sau ñó s ñư c lưu ra file ñ s d ng cho quá trình nh n d ng. • Thu t toán nh n d ng ñư c th hi n như sau: INPUT: - Các h s h c và các h s ñ l ch trên m i l p: αi, bi ,βi (i = 1→2). - Các ma tr n tr ng s : W1, W2 - nh m u c a kí t c n nh n d ng ñư c ñưa vào m ng dư i d ng vector P chi u, v i P là kích thư c c a nh. OUTPUT: Giá tr ñ u ra N (N=1 ñi m ñ c trưng, N=0 không là
- 20 - ñi m ñ c trưng) PROCESS: Bư c 1: Tính giá tr các ñ u ra c a các l p H, O theo các công th c (1.11), (1.12) và (1.25). Bư c 2: Output: giá tr ñ u ra c a l p O b ng 1 là ñi m ñ c trưng, b ng 0 không là ñi m ñ c trưng. Đ nh n d ng ñưa nh ñ u vào là nh c a vân tay ñã ñư c làm m nh, dùng c a s 3x3 ñi qua l n lư t các ñi m nh trên nh vân tay. Hình 2.30 cho th y t p m u hu n luy n ñ xác ñ nh các ñi m r nhánh tương ng v i các c a s 3x3. Trong t p m u này có 16 m u ñ i di n cho các ñi m r nhánh c a nh vân tay v i 8 hư ng khác nhau và 36 m u không ph i là ñi m r nhánh. M ng ñư c hu n luy n v i thu t toán trên v i h s Momentum β=0.9 và h s h c α=0.3. Các m u r nhánh Các m u không ph i ñi m r nhánh Hình 2.30 : T p m u hu n luy n