Tóm tắt Luận án Tiến sĩ Kỹ thuật điện tử: Phát triển một số phương pháp học trọng số cho mạng nơ ron tế bào bậc hai

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:26

Thêm vào BST

Báo xấu

42
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Tóm tắt Luận án Tiến sĩ Kỹ thuật điện tử "Phát triển một số phương pháp học trọng số cho mạng nơ ron tế bào bậc hai" được nghiên cứu với mục tiêu: Phát triển các luật học Perceptron hồi quy và thuật toán GA cho mạng nơ ron tế bào bậc cao; Đề xuất thuật toán lai GASORPLA để tính toán bộ trọng số cho mạng nơ ron tế bào bậc cao đảm bảo tối ưu toàn cục; Thử nghiệm kết quả các thuật toán trên mô phỏng và chương trình phần mềm.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tóm tắt Luận án Tiến sĩ Kỹ thuật điện tử: Phát triển một số phương pháp học trọng số cho mạng nơ ron tế bào bậc hai

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA ===***=== PHÁT TRIỂN MỘT SỐ PHƯƠNG PHÁP HỌC TRỌNG SỐ CHO MẠNG NƠ RON TẾ BÀO BẬC HAI TÓM TẮT LUẬN ÁN TIẾN SĨ Chuyên Ngành: Kỹ thuật điện tử Mã số: 9520203 HÀ NỘI – NĂM 2024
MỞ ĐẦU Thời đại số ở Việt Nam và trên thế giới đang sử dụng trí tuệ nhân tạo làm hạt nhân cho sự phát triển, trong đó mạng nơ ron phỏng theo não người đang nổi lên như một công cụ hiện đại. Hai lớp cấu trúc cơ bản của mạng nơ ron là mạng nơ ron truyền thẳng và mạng nơ ron hồi quy (phản hồi). Mạng nơ ron hồi quy là một hướng phát triển có thể cấy trên các phần sụn (chương trình phần mềm được ghi trên các chip phần cứng như bộ nhớ ROM) và đã được chế tạo thành máy tính nơ ron trên thế giới. Chiếc máy tính này được phát triển dựa trên cấu trúc mạng nơ ron tế bào (do L. Chua và L. Yang đề xuất năm 1988). Hướng phát triển của mạng nơ ron tế bào hiện nay bên cạnh về cấu trúc còn các luật học và khả năng ứng dụng thực tế. Trong luận án này, nghiên cứu sinh phát triển một số thuật toán học cho mạng nơ ron tế bào bậc cao (SOCeNNS) – dựa trên cấu trúc do Nguyễn Quang Hoan và cộng sự đề xuất. Các thuật toán SORPLA, GA đề xuất có khả năng tính toán đầy đủ bộ trọng số của SOCeNNs tuy nhiên để đảm bảo tính hội tụ của thuật toán, nghiên cứu sinh tiếp tục xây dựng một thuật toán lai GASORPLA để đảm bảo tính hội tụ toàn cục bộ trọng số tính toán cho mạng nơ ron tế bào bậc cao. 1. Đối tượng và phạm vi nghiên cứu ➢ Đối tượng nghiên cứu: Các luật học để xác định các bộ trọng số cho mạng nơ ron tế bào bậc hai với cấu trúc đã chọn trước. ➢ Phạm vi nghiên cứu: Luận án giới hạn nghiên cứu các thuật toán hồi quy và phát triển thành thuật toán dạng Perceptron (theo kiểu truyền thẳng) phù hợp cho mạng nơ ron tế bào bậc hai. Xây dựng giải thuật di truyền để xác định bộ trọng số SOCeNNs và phương pháp học kết hợp giữa GA và SORPLA để giảm thiểu các trường hợp tối ưu cục bộ của phương pháp SORPLA. Thử nghiệm cho bài toán xác định biên ảnh sử dụng kết quả các thuật toán đã phát triển trong luận án chỉ để chứng tỏ các bộ trọng số tìm được là đúng, đề xuất khả năng ứng dụng thực tế sau này. Trong nội dung nghiên cứu tại luân án, NCS không đi sâu vào đánh giá chất lượng xử lý ảnh so với các phương pháp khác; đây là một hướng nghiên cứu mà NCS sẽ định hướng vào giai đoạn tiếp theo. 2. Mục tiêu của luận án Mục tiêu tổng quát: phát triển các luật học để xác định các bộ trọng số cho mạng nơ ron tế bào bậc hai. Mục tiêu cụ thể: Phát triển các luật học Perceptron hồi quy và thuật toán GA cho mạng nơ ron tế bào bậc cao; Đề xuất thuật toán lai GASORPLA để tính toán bộ trọng số cho mạng nơ ron tế bào bậc cao đảm bảo tối ưu toàn cục; Thử nghiệm kết quả các thuật toán trên mô phỏng và chương trình phần mềm. 3. Phương pháp tiếp cận, nghiên cứu của luận án Phương pháp tiếp cận: từ các tài liệu đã công bố, tham khảo các chuyên gia, mô hình toán học và thực nghiệm; Phương pháp nghiên cứu: kết hợp giữa nghiên cứu lý thuyết, các mô hình toán học, tiến hành mô phỏng, thực nghiệm, đánh giá. 4. Nội dung nghiên cứu của Luận án Bố cục của Luận án gồm ba chương: Chương một. Trên cơ sở cấu trúc mạng nơ ron tế bào bậc hai, kết hợp với thuật toán Perceptron hồi quy của C. Gukzelis và cộng sự, NCS đề xuất và phát triển luật học áp dụng cho mạng nơ ron tế bào bậc hai để tính toán đầy đủ bộ trọng số SOCeNNs, chứng minh tính hội tụ của luật học đã đề xuất. Chương hai. Trên cơ sở cấu trúc mạng nơ ron tế bào bậc cao, kết hợp với thuật toán Perceptron hồi quy của C. GuKzelis và cộng sự, nghiên cứu sinh đề xuất và phát triển luật học áp dụng cho mạng nơ ron tế bào bậc cao để tính toán đầy đủ bộ trọng số SOCeNNs. Chương ba. Dựa theo phương pháp đề xuất ở chương hai, NCS tiếp tục sử dụng giải thuật di 1
truyền xác định bộ trọng số cho mạng nơ rơn tế bào bậc hai, tiếp đó xây dựng thuật toán học lai giữa GA kết hợp SORPLA để đảm bảo tính tối ưu toàn cục của thuật toán, đưa ra một số chứng minh về khả năng xử lý ảnh của mạng nơ ron tế bào bậc hai. Ở phần cuối đã trình bày một số kết luận về kết quả đạt được của luận án và kiến nghị hướng nghiên cứu tiếp theo. 5. Đóng góp của luận án Đóng góp thứ nhất: Phát triển luật học Perceptron hồi quy cho mạng nơ ron tế bào bậc hai (SOCeNNs). Đóng góp thứ hai: Chứng minh tính hội tụ của thuật toán SORPLA. Đóng góp thứ ba: Xây dựng thuật toán GA cho mạng nơ ron tế bào bậc hai, và hai thuật toán lai giữa GA với thuật toán RPLA và thuật toán SORPLA để cải thiện chất lượng học cho mạng nơ ron tế bào bậc hai. CHƯƠNG 1. TỔNG QUAN VỀ CẤU TRÚC VÀ LUẬT HỌC MẠNG NƠ RON 1.1. Cấu trúc và luật học trong mạng nơ ron truyền thống 1.1.1. Khái niệm và phân loại học trong mạng nơ ron truyền thống Học trong mạng nơ ron nhân tạo có thể chia làm hai loại: học cấu trúc và học tham số. Học cấu trúc: xác định số lớp kết nối, số các phần tử nơ ron trong mỗi lớp. Học tham số: xác định bộ giá trị trọng số trong mạng, được chia làm 03 loại: Học không giám sát: Học từ các cặp mẫu đầu vào/ ra; Học giám sát: Học từ các nhãn (gồm tín hiệu đầu vào, các đầu ra mong muốn). Nhãn đóng vai trò như giáo viên nhằm giám sát quá trình học; Học củng cố: Sử dụng các thông tin trái ngược nhau kết hợp các phản hồi thực tế để củng cố các tín hiệu khác nhau. 1.1.2. Cấu trúc và luật học của mạng nơ ron truyền thẳng 1.1.2.1. Mạng Perceptron Luật học Perceptron sử dụng phương pháp định tính : Thử - Sai – Chỉnh như trong học máy để xác định bộ trọng số cho mạng có nhiều đầu ra. ( ) wi , j  k  = wi , j  k + 1 − wi , j  k  =  eisu sj  k  =  dis − yis u sj  k    m  2 d i xi khi di  yi s (1.1) =   dis − sgn   wi , j u sj  k    u j  k  =     0 khi di = yi   j =1  1.1.2.2. Mạng Adaline Luật học Widrow-Hoff (hay luật học sai số bình phương tối thiểu: LMS) là luật học định lượng và có sở cứ khoa học từ phương pháp hạ Gradient (Decent Gradient) từ viện nghiên cứu Massachusetts (Hoa kỳ): E w α (1.2) ij w ij ( ) ( ) P wi , j =   dis − f xis  f ' xis u sj   (1.3) s =1 1.1.3. Cấu trúc và luật học mạng nơ ron bậc nhất hồi quy 1.1.3.1. Mạng Hopfield ❖ Cấu trúc mạng Hopfield Năm 1982, Hopfield đề xuất mạng Hopfield rời rạc. Phương trình trạng thái của mạng như sau: 2
n ui ( t ) =  wi , j y j ( t ) + I i với i, j = 1,2,…,n, I là ngưỡng (1.4) j=1 Hopfield (1984) đưa ra mô hình mạng Hopfield liên tục được mô tả bằng tập phương trình vi phân: dxi ( t ) x n Ci = − i +  wi, j y j + I i (1.5) dt Ri j=1 yj = f j (xj ) (1.6) xi = fi −1 ( yi ) (1.7) ❖ Ổn định mạng Hopfield Hopfield sử dụng hàm V(t) thỏa mãn hai điều kiện để hàm V(t) là hàm Lyapunov và khi đó hàm Lyapunov và mạng Hopfield liên tục ổn định theo tiêu chuẩn ổn định Lyapunov. ❖ Luật học mạng Hopfield Luật cập nhật trọng số mạng Hopfield dựa theo luật Hebb tức là học không giám sát. Khi hàm tương tác đầu ra là hàm dấu, trọng số của mạng Hopfiled được tính theo biểu thức như sau: P T W =  wi , j    =  Y Y  − PI   s s (1.8) nxn s =1 1.1.3.2. Mạng nơ ron tế bào chuẩn a. Cấu trúc mạng nơ ron tế bào chuẩn Năm 1998, L.O. Chua và L. Yang đề xuất mạng nơ ron tế bào (CeNNs). Bản chất của CeNNs là hai mạng nơ ron Hopfield (nêu tại mục 1.1.3.1) được đưa vào hai hướng trở thành một ma trận đầu vào (hay mảng). Khi đó, mạng nơ ron tế bào là một mảng các tế bào xử lý song song ở dạng tương tự. Mỗi tế bào bao gồm các điện trở, tụ điện, các nguồn nuôi tuyến tính và phi tuyến. Phương trình trạng thái của CeNNs: dxi , j ( t ) 1 C = − xi , j ( t ) +  A1 ( i, j; k , l ) yk ,l ( t ) +  B1 ( i, j; k , l ) uk ,l + I (1.9) dt Rx ( k ,l ) ( k ,l ) Phương trình đầu ra của mạng nơ ron tế bào như sau: yi , j ( t ) = 1 2 ( xi , j ( t ) + 1 − xi , j ( t ) − 1 ) (1.10) Phương trình đầu vào: ui , j = Ei , j (1.11) Các điều kiện ràng buộc: xi , j ( 0 )  1; ui , j  1 (1.12) Các điều kiện giả định (tính đối xứng): 1  i  M ;1  j  N A1 ( i, j;k,l ) = A1 ( k,l;i, j ) với (1.13) i − r  k  i + r; j − r  k  j + r 3
Ma trận điều Ngưỡng khiển đầu vào I Đầu vào Đầu ra u i,j x xi,j (t) yi,j (t) + Bộ tích phân f(x) -1/Rx Ma trận phản Đầu vào từ các lân cân hồi đầu ra Phản hồi từ các lân cận Hình 1.1. Sơ đồ cấu trúc mạng nơ ron tế bào chuẩn b. Tính ổn định của CeNNs: Định lý 1.1: Cho hàm V(t): 1 1 V ( t ) = −   A1 ( i, j; k , l ) yi , j ( t ) yk ,l ( t ) +  yi2, j (t ) 2 ( i , j ) ( k ,l ) 2 Rx (i , j ) (1.14) −   B1 ( i, j; k , l ) yi , j ( t ) uk ,l −  Iyi , j ( t ) ( i , j ) ( k ,l ) (i , j ) thỏa mãn hai điều kiện: 1) hàm V( t) xác định dương và âm hay: max | V ( t ) | Vmax (1.15) t 1  1  với: Vmax = | A1( i, j;k,l ) |+ | B1(i, j;k,l ) |+ MN  2R +| I |  0 (1.16) 2 (i, j ) ( k,l ) ( i, j ) ( k,l )  x  dV ( t ) 2) đạo hàm của hàm V(t ) không dương, hay 0 (1.17) dt thì hệ thống được mô tả theo các phương trình (1.9)-(1.13) ổn định đầy đủ. Định lý 1.2: Nếu mạch điện tương ứng CeNNs thỏa mãn điều kiện: 1 A i, j;i, j (1.18) Rx thì sau quá trình quá độ, mỗi tế bào của CeNNs ổn định tại một điểm cân bằng. Khi đó, độ lớn của điểm (trạng thái) cân bằng có giá trị tuyệt đối lớn hơn một, tức là: lim xi , j ( t ) = constant  1;lim yi , j ( t ) = 1 (1.19) t → t → c. Học trong mạng nơ ron tế bào: Trong công bố về mạng nơ ron tế bào chuẩn, L. O. Chua giả định các tham số của ma trận trọng số điều khiển B1( i, j; k , l ) và ngưỡng I là các hằng số; còn các giá trị của ma trận trọng số phản hồi A1( i, j; k , l ) được tính theo luật học Hebb. Để tổng quát, bộ ma trận trọng số B1( i, j; k , l ) và ngưỡng I cũng cần phải dùng luật để tính. Hiện nay, nhiều phương pháp học được công bố để tính các bộ trọng số A1( i, j; k , l ) , B1( i, j; k , l ) , và I. Một trong các phương pháp đó là biến đổi mạng nơ ron tế bào có phản hồi (hay hồi quy) sang cấu trúc mạng truyền thẳng (các ma trận A1, B1, I được ẩn bên trong và thay bằng một ma trận trọng số tổng W. Khi đó, mô hình cấu trúc mạng CeNNs tương đương mạng Perceptron và có thể sử dụng luật học Perceptron để tính W. Ý tưởng và thuật toán đó được C. Gukzelis đề xuất và gọi là thuật toán Perceptron hồi quy (RPLA). 4
Khi CeNNs chuẩn đạt trạng thái ổn định x t constant thì biểu thức (1.9) có vế trái bằng ij dxi , j t 0 , và được viết lại như sau: dt 1 xi,j t I A1 i, j;k ,l yk ,l t B1 i, j;k ,l uk ,l (1.20) Rx k ,l k ,l Đặt ma trận W: W [ A1T B1T I ] T (1.21) và đầu ra của CeNNs có dạng: T Y =   y is, j  uis, j  1 s T T (1.22) i, j        Thay (1.23) và (1.22) vào (1.21) dễ đạt được phương trình (1.24) tại trạng thái ổn định; khi đó CeNNs tương đương với mạng truyền thẳng Perceptron: xi , j (  ) =  Yis, j  * W =   y is, j  uis, j  1 * W 1 s T T       (1.23) Rx     Việc tính trọng số mạng Perceptron này được thực hiện dựa trên phương pháp định tính Thử– Sai–Chỉnh với bộ mẫu dữ liệu học cho trước. Các sai lệch được tính dựa theo tiêu chuẩn bình phương tối thiểu: 1 2 i , j ,s ( )  ( w  k ) =  yis, j (  ) * yis, j (  ) − dis, j =  yis, j (  ) −  yis, j (  ) (1.24) i , j , sD + i , j , sD − Khi sai số e w k emin cho trước, luật học Perceptron hồi quy tính giá trị cập nhật trọng số của CeNNs k lần và tiến tới ổn định: w  k + 1 = w  k  + w  k  (1.25) ( w  k  =  dis, j − yis, j (  )  Y  + ) Thuật toán: Trình tự thực hiện luật học Perceptron hồi quy được thể hiện theo lưu đồ như hình (Hình PL.1) và mô tả thuật toán theo bước như sau: Đầu vào (Input): Cho: i) Bộ mẫu huấn luyện CeNNs bao gồm uis, j , xis, j ( 0 ) , dis, j , (( ) ) ii) Tốc độ học 𝛼. iii) Cấu trúc mạng nơ ron tế bào chuẩn. iv) Chọn sai lệch cho phép tối thiểu emin. Đầu ra (Output): Bộ ma trận trọng số CeNNs Bước 1: Chọn bộ ma trận trọng số khởi tạo ban đầu cho mạng. - Ma trận trọng số phản hồi A1[0] kích thước 3x3, với toán hạng a5  0 thỏa mãn định lý 1.2. - Ma trận đầu vào B1[0] kích thước 3x3, có tính chất đối xứng tương tự ma trận A1[0]. - Ma trận I kích thước 1x1 ( ) Bước 2: Tính tổng sai lệch  w  n giữa tín hiệu đầu ra thực tế yis, j (  ) và tín hiệu đầu ra mong muốn đã biết d is, j . • ( ) Nếu sai lệch  w k   emin , chọn bộ trọng số kết quả đã tính toán. Chuyển sang Bước 6. • ( ) Nếu  w k   emin chuyển sang Bước 3. 5
Bước 3: Cập nhật giá trị bộ trọng số của CeNNs; Bước 4: Tính toán giá trị trạng thái x s ( k ) ; i, j Bước 5: Tính đầu ra mới CeNNs yis, j (  ) ; Quay lại bước 2; Bước 6. Dừng thuật toán. Như vậy, NCS nhận thấy phương án gộp các các ma trận phản hồi A1 ma trận đầu vào B1, và ma trận ngưỡng I thành ma trận trọng số tổng W theo thuật toán Perceptron hồi quy để thực hiện quá trình học cho mạng nơ ron tế bào chuẩn CeNNs là hoàn toàn có cơ sở. 1.1.4. Mạng nơ ron bậc hai dạng đa thức và ý nghĩa Như đã trình bày tại mục 1.1.3, mạng nơ ron tế bào chuẩn là mạng phản hồi, thường dùng luật học không giám sát Hebb. Trong khi đó, mạng Perceptron chuẩn là mạng truyền thẳng với luật học có giám sát Perceptron (nội dung 1.1.2). Mạng Perceptron chuẩn có trạng thái được tính theo phương trình tuyến tính, điều này tương tự với mạng nơ ron tế bào chuẩn là các thành phần trọng số của ma trận A1, B1, I cũng theo luật tuyến tính. Thực tế, các luật tuyến tính trong mạng nơ ron tạo nên một siêu phẳng phân cách phù hợp cho thực hiện các bài toán phân lớp. Đối với bài toán nhận dạng dựa trên phương pháp phân lớp tuyến tính cần tối thiểu ba siêu phẳng phân cách kiểu như vậy (hình 1.2). Theo hình 1.2a, khi trạng thái của nơ ron tại giá trị x=0, thay vào phương trình trạng thái (1.54) được quan hệ tuyến tính: w1 w u2 = − u1 + 0 (1.26) w2 w2 u2 u23 u20 -1 A u21 u1 w1 w0 y Recognition Point x 1 y 0 u1 u2 w2 0 a. Sơ đồ mạng nơ ron một lớp b. Sơ đồ nhận dạng sử dụng phân lớp Hình 1.2. Đặc tính phân lớp của mạng nơ ron bậc nhất Phương trình (1.26) cho thấy -1 một nơ ron tượng trưng cho mạng w0 nơ ron 1 lớp bậc nhất với hai đầu vào u1 w1 y x 1 y có đặc tính phân lớp, phụ thuộc vào 0 giá trị trọng số w1, w2, w0 để tạo ra u2 w2 các đường thẳng (tuyến tính); đường thẳng này (trong hình 1.2b thể hiện x w3 một trong ba đường như vậy) tạo thành hai lớp giá trị: một lớp ở trên x w4 (hoặc dưới) nhận giá trị “1”, lớp ở dưới (hoặc trên) nhận giá trị “0”. x w5 Nhiều công trình khoa học đã thay vì sử dụng mạng nơ ron Hình 1.3. Đặc tính phân lớp của mạng nơ ron bậc hai truyền thẳng ba lớp, chỉ cần sử dụng 6
mạng một lớp bậc hai đối với véc tơ đầu vào. Khi đó, quỹ đạo trạng thái của mạng tạo thành một elip nhằm bao quanh điểm cần nhận dạng. Để thấy rõ ý tưởng đó, chúng ta sử dụng một nơ ron để mô tả và thấy rõ ý nghĩa của nơ ron tương tác bậc hai dạng đa thức. Giả thuyết có hai đầu vào của một nơ ron như hình 1.3 thể hiện một mô hình nơ ron bậc hai. Khi đó trạng thái của nơ ron như sau: x = u1w1 + u1w1 + u12 w3 + u2 w4 + u1u2 w5 2 (1.27) Quỹ đạo của phương trình trạng thái đối với nơ ron u2 bậc hai 1 lớp phụ thuộc vào bộ trọng số ( w1 , w2 , w3 , w4 , w5 ) u23 thích hợp biểu diễn của sẽ là một đường elip. u20 Từ hình 1.4 cho thấy, để bao điểm A cần có quỹ đạo elip, tương đương với việc phải sử dụng ba đường thẳng để A bao điểm A. Điều này có nghĩa là, thay vì phải dùng mạng u21 Recognition Point nơ ron truyền thẳng ba lớp trọng số trở lên (hay mạng nơ ron truyền thẳng nhiều lớp), chỉ cần sử dụng một lớp mạng nơ ron tương tác đầu vào bậc hai dạng đa thức. Điều này u1 cũng giải thích khái niệm mạng nơ ron bậc hai hay bậc cao 0 (dạng đa thức) đối với đầu vào và ý nghĩa của nó. 1.2. Các nghiên cứu về mạng nơ ron tế bào và luật học Hình 1.4. Sơ đồ nhận dạng của 1.2.1. Các nghiên cứu về mạng nơ ron tế bào ở ngoài nước mạng nơ ron bậc hai Hiện nay trên thế giới đã có nhiều công bố nghiên cứu về mạng nơ ron tế bào nói riêng và mạng nơ ron hồi quy nói chung. Trong đó có thể chia ra làm ba hướng công bố chính: Các công bố về phát triển cấu trúc và tính ổn định, các công bố liên quan đến phát triển luật học và các công bố về phát triển ứng dụng cho mạng nơ ron tế bào. 1.2.2. Các nghiên cứu và công bố về mạng nơ ron tế bào tại Việt Nam Mạng nơ ron tế bào được PGS.TS. Phạm Thượng Cát là người đặt nền móng đầu tiên cho vấn đề nghiên cứu tại Việt Nam năm 2006. Đến năm 2022, nhóm nghiên cứu của PGS.TS. Nguyễn Quang Hoan đã phát triển mạng nơ ron tế bào bậc hai. Đại diện nhóm nghiên cứu, TS. Nguyễn Tài Tuyên đã bước đầu công bố, phát triển về mặt cấu trúc cũng như tiến hành thử nghiệm làm bộ nhớ liên kết bằng việc tính ma trận trọng số A1 của CeNNs theo luật học Hebb, bỏ qua ảnh hưởng của các ma trận trọng số B1, I. 1.3. Đặt vấn đề nghiên cứu 1.3.1. Phát biểu bài toán Từ những tổng quan và phân tích các công trình mới nhất về mạng nơ ron tế bào, nghiên cứu sinh đề xuất các vấn đề cần thực hiện 03 nội dung mới trong luận án như sau: ➢ Một là: phát triển thuật toán Perceptron hồi quy cho mạng nơ ron tế bào bậc cao (sử dụng mạng nơ ron bậc hai làm đại diện). ➢ Hai là: Chứng minh tính hội tụ của thuật toán Perceptron (kể cả bậc cao và bậc nhất) từ đó đưa ra những hạn chế có khả năng xảy ra đối với các thuật toán sử dụng theo phương pháp hạ Gradient và hướng khắc phục. ➢ Ba là: Căn cứ việc chứng minh tính hội tụ của SORPLA, nghiên cứu sinh đề xuất phương pháp sử dụng giải thuật di truyền (GA) để xác định bộ trọng số của mạng nơ ron tế bào bậc cao. Từ đó, nghiên cứu sinh đề xuất thuật toán lai giữa (GA) với thuật toán Perceptron hồi quy bậc hai (SORPLA). 7
1.3.2. Kết quả dự kiến ➢ Phát triển luật học Perceptron hồi quy cho mạng nơ ron tế bào bậc hai (SOCeNNs) và chứng minh sự hội tụ của luật học đề xuất. ➢ Xây dựng thuật toán di truyền cho mạng nơ ron tế bào, kết hợp giữa GA và thuật toán hạ Gradient để cải thiện chất lượng học cho mạng nơ ron tế bào bậc hai. ➢ Phát triển thuật toán tách biên ảnh sử dụng mạng nơ ron tế bào bậc hai. 1.4. Kết luận chương 1 Chương 1 của luận án đã phân tích tổng quan về cấu trúc và các luật học của một số mạng nơ ron kinh điển; phân tích về những công bố có nội dung liên quan đến mạng nơ ron tế bào chuẩn của L. O. Chua ở trong và ngoài nước; phát biểu bài toán, định hướng các nội dung nghiên cứu và dự kiến kết quả (đóng góp) của luận án. Trong phần tiếp theo (Chương 2), NCS sẽ trình bày cơ sở lý luận, khoa học để phát triển luật học Perceptron hồi quy cho mạng nơ ron tế bào bậc hai (SOCeNNs) và chứng minh sự hội tụ của luật học đề xuất. Cuối chương 2, NCS trình bày ví dụ về ứng dụng của SOCeNNs với các bộ trọng số tìm được theo thuật toán SORPLA cho bài toán xử lý ánh (xác định biên ảnh) để chứng minh ưu điểm của các bộ trọng số tìm được tức là tính đúng đắn của thuật toán SORPLA; CHƯƠNG 2. THUẬT TOÁN PERCEPTRON HỒI QUY CHO MẠNG NƠ RON TẾ BÀO BẬC HAI 2.1. Mạng nơ ron tế bào bậc hai 2.1.1. Cấu trúc mạng nơ ron tế bào bậc hai Năm 2020, NCS cùng cộng sự đã phát triển cấu trúc mạng nơ ron tế bào bậc cao và sử dụng đại diện là mạng nơ ron tế bào bậc hai (SOCeNNs). Cấu trúc mạng SOCeNNs được xây dựng dựa trên cấu trúc CeNNs, gồm bộ các trọng số B1, A1, B2, A2 và I. Khi đó, cấu trúc của SOCeNNS bao gồm: Phương trình động học SOCeNNs: dxij t 1 C xij t A1 i, j;k ,l ykl t B1 i, j;k ,l ukl I dt Rx k ,l k ,l (2.1) A2 i, j;k ,l;m,n ykl t ymn t B2 i, j;k ,l;m,n ukl umn k ,l , m,n k ,l , m,n Hàm tương tác đầu ra:  1 khi xi , j ( t )  1  yi , j ( t ) =  xi , j ( t ) khi −1  xi , j ( t )  1 (2.2)  −1 khi xi , j ( t )  −1  Các điều kiện ràng buộc ban đầu: xi , j ( 0 )  1; ui , j  1 (2.3) Các điều kiện giả định là ma trận A1, A2 đối xứng. A1 i, j;k ,l A1 k ,l;i, j 1 i,k ,m M ; A2 i, j;k ,l;m,n A2 i, j;m,n;k ,l; A2 k ,l;i, j;m,m với 1 j,l,n N (2.4) A2 k ,l;m,n;i, j A2 m,n;k ,l;i, j A2 m,n;i, j;k ,l R 0,C 0 x 8
I ui,j y (t) i,j ui-1,j B1(i,j; k,l) 1/C -1 1 1 -1 ui+1,j+1 B1 f(x) -1/Rx X y (t) i-1,j B2(i,j; k,l; m,n) A1(i,j; k,l) y i+1,j+1 (t) X B2 A1 A2 X ` W A2(i,j; k,l; m,n) X Hình 2.1. Cấu trúc tổng quát nơ ron tế bào bậc hai 2.1.2. Mô tả các thành phần của SOCeNNs Mục tiêu của luận án là phát triển luật học cho một cấu trúc mạng nơ ron tế bào mới – cấu trúc mạng nơ ron tế bào bậc hai. Nói cách khác, đơn giản hơn là tìm bộ trọng số cho SOCeNNs. Do đó, trong phần này, NCS trình bày một cách chi tiết các thành phần bậc hai trong mạng SOCeNNs. Thực tế, giống với tất cả các mạng nơ ron khác, một tế bào của mạng nơ ron bậc hai bao gồm 03 thành phần cốt lõi: i) Phần tín hiệu đầu vào (Đầu vào), ii) Phần xử lý tín hiệu, iii) Phần tín hiệu đầu ra (Đầu ra). 2.1.2.1. Đầu vào của mạng nơ ron tế bào bậc hai Đầu vào điều khiển của mạng nơ ron tế bào bậc hai được thể hiện ở bộ tổng tại hình 2.1 và vế phải của phương trình (2.1) và có thể chia làm hai nhóm: i) Tín hiệu đầu vào điều khiển gồm các đầu vào ngoài bậc nhất Uk,l, bậc hai Uk,l*Um,n, ii) đầu vào ngưỡng I. Định nghĩa 2.1: Đầu vào điều khiển bậc hai Đầu vào điều khiển bậc hai của một tế bào C(i,j) trong SOCeNNs là sự tương tác giữa từng tín hiệu lân cận uk,l với tất cả tín hiệu đầu vào lân cận um,n tức là uk ,l  um,n Số lượng đầu vào điều ( 2  r + 1)  ( 2  r + 1) 2 2 khiển bậc hai: . Bảng 2.1 minh họa giá trị đầu vào bậc hai của tế bào C(i,j) tại vị trí tế bào lân cận C(i-1,j-1), nó bao gồm đầu vào điều khiển lân cận bậc hai dạng đa thức của tế bào C(i,j) với bán kính r=1. Bảng 2.1. Đầu vào bậc hai của C(i,j) tại vị trí tế bào lân cận C(i-1,j-1) ui-1,j-1* ui-1,j-1 ui-1,j* ui-1,j-1 ui-1,j+1* ui-1,j-1 uij-1* ui-1,j-1 ui,j* ui-1,j-1 ui,j+1* ui-1,j-1 ui+1,j-1* ui-1,j-1 ui+1,j* ui-1,j-1 ui+1,j+1* ui-1,j-1 2.1.2.2. Xử lý tín hiệu của mạng nơ ron tế bào bậc hai Có thể nói bộ xử lý gồm hai khâu: khâu lấy tổng và khâu tích phân (hình 2.1). Tín hiệu cần đạt được của bộ xử lý là trạng thái xi,j(t). Tín hiệu cần đạt được của bộ xử lý là trạng thái xi,j(t). Để có 9
xi,j(t) từ dxi,j(t)/dt cần bộ tích phân để tính toán. Cấu trúc phần tử xử lý của nơ ron tế bào bậc hai hoàn toàn giống như bộ xử lý của nơ ron tế bào bậc nhất được thể hiện tại nội dung 1.1.3. 2.1.2.3. Đầu ra của mạng nơ ron tế bào bậc hai Các đầu ra của mạng nơ ron tế bào bậc hai cũng đưa phản hồi vào bộ tổng tại hình 2.1. Các đầu ra phản hồi của mạng nơ ron tế bào bậc hai được chia làm hai nhóm: i) Đầu ra phản hồi bậc nhất Yk,l và Ym,n, ii) đầu ra phản hồi bậc hai Yk,l*Ym,n. Định nghĩa 2.2: Đầu ra phản hồi bậc hai Đầu ra phản hồi bậc hai của một tế bào C(i,j) trong SOCeNNs là sự tương tác giữa tín hiệu lân cận yk,l với tất cả tín hiệu đầu ra lân cận ym,n, tức là yk ,l  ym,n . Số lượng đầu ra điều khiển bậc hai: ( 2  r + 1)  ( 2  r + 1) 2 2 . Bảng 2.2 minh họa giá trị đầu ra phản hồi bậc hai của tế bào C(i,j) tại vị trí tế bào lân cận C(i- 1,j-1), nó bao gồm 9 đầu ra phản hồi lân cận bậc hai dạng đa thức của tế bào C(i,j) với bán kính r=1. Bảng 2.2. Đầu ra phản hồi bậc hai của C(i,j) tại vị trí tế bào lân cận C(i-1,j-1) yi-1,j-1* yi-1,j-1 yi-1,j* yi-1,j-1 yi-1,j+1* yi-1,j-1 yi,j-1* yi-1,j-1 yi,j* yi-1,j-1 yi,j+1* yi-1,j-1 yi+1,j-1* yi-1,j-1 yi+1,j* yi-1,j-1 yi+1,j+1* yi-1,j-1 Với r=1, NCS ký hiệu bộ ma trận trọng số phản hồi bậc hai A2 (kích thước 9x9) thành 9 bộ ma trận A21→A29 (kích thước 3x3) tương ứng với 09 bảng tín hiệu đầu ra bậc hai; ma trận B2 (kích thước 9x9) thành 09 bộ B21→B29 (kích thước 3x3) tương ứng với 09 bảng giá trị tín hiệu đầu vào bậc hai. A21 ( i, j; k , l ) = A21 ( k , l ; i, j ) ; A22 ( i, j; k , l ) = A22 ( k , l ; i, j ) ; A23 ( i, j; k , l ) = A23 ( k , l ; i, j ) ; A24 ( i, j; k , l ) = A24 ( k , l ; i, j ) ; A25 ( i, j; k , l ) = A25 ( k , l ; i, j ) ; A26 ( i, j; k , l ) = A26 ( k , l ; i, j ) ; A27 ( i, j; k , l ) = A27 ( k , l ; i, j ) ; A28 ( i, j; k , l ) = A28 ( k , l ; i, j ) ; A29 ( i, j; k , l ) = A29 ( k , l ; i, j ) ; (2.5) 1  i  M ;1  j  N ;0  i − r  k  i + r ;0  i − r  l  i + r Với cách biến đổi đó, phương trình (2.1) viết lại như sau: dxi , j ( t ) 1 C =− xi , j ( t ) +  A1 ( i, j; k , l ) yk ,l ( t ) +  B1 ( i, j; k , l ) uk ,l + I + dt Rx ( k ,l ) ( k ,l ) +  A21 ( i, j; k , l ) yi −1, j −1 ( t ) yk ,l ( t ) + ... +  A29 ( i, j; k , l ) yi +1, j +1 ( t ) yk ,l ( t ) (2.6) ( k ,l ) ( k ,l ) +  B21 ( i, j; k , l ) ui −1, j −1uk ,l + ... +  B29 ( i, j; k , l ) ui −1, j −1uk ,l ( k ,l ) ( k ,l ) 2.1.3. Phân tích tính ổn định của mạng nơ ron tế bào bậc hai Định lý 2.1: Cho hàm: 1 V ( t ) = −   A1 ( i, j; k , l ) yi , j ( t ) yk ,l ( t ) −   B1 ( i, j; k , l ) yi , j ( t ) uk ,l 2 ( i , j ) ( k ,l ) ( i , j ) ( k ,l ) 1 −    A2 ( i, j; k , l; m, n ) yi, j ( t ) yk ,l (t ) ym,n (t ) −  Iyi, j (t ) 3 ( i , j ) ( k ,l ) ( m , n ) (2.7) (i , j ) 1 −   B2 ( i, j; k , l; m, n ) yi, j ( t ) uk ,l um,n + 2R  yi2, j (t ) ( i , j ) ( k ,l ) ( m ,n ) i, j x ( ) thỏa mãn hai điều kiện: 10
1) hàm V(t) xác định dương và âm, hay max V ( t ) = Vmax t với : 1  1  Vmax =   A1 ( i, j; k , l ) +   B1 ( i, j; k , l ) + MN  +I 2 ( i , j ) ( k ,l ) ( i , j ) ( k ,l )  2R   x  (2.8) 1 +    A2 ( i, j; k , l; m, n ) +    B2 (i, j; k , l; m, n )  0 3 ( i , j ) ( k ,l ) ( m , n ) ( i , j ) ( k ,l ) ( m ,n ) dV ( t ) 2) đạo hàm của hàm V(t) không dương, hay 0 dt thì hệ thống được mô tả theo các phương trình 2.1, 2.2 ổn định đầy đủ. Luận án sử dụng kết quả của định lý 2 trình bày tại mục 1.1.3.2, mạng SOCeNNs ổn định tại điểm cân bằng sau thời gian quá độ khi thỏa mãn điều kiện dưới đây: 1 A( i, j;i, j ) (2.9) R x khi đó: lim xij t 1 và lim yij t 1 t t 2.2. Phát triển luật học trong mạng nơ ron tế bào bậc hai 2.2.1. Thuật toán học có giám sát cho SOCeNNs - Luật học SORPLA Nghiên cứu sinh biến đổi mạng SOCeNNs có đặc tính hồi quy sang mạng truyền thẳng bằng cách đặt một ma trận trọng số tổng W chứa các trọng số A1, A2, B1, B2 và I như sau: T W = A1T A21T ... A29T B1T B21T .. B29T I (2.10) Khi SOCeNNs đạt trạng thái ổn định thì xi , j ( t ) tiến đến một giá trị hữu hạn, dẫn tới dxi , j ( t ) = 0 , khi đó phương trình (2.1) có thể được viết lại như sau: dt xi , j ( t ) =  A1 ( i, j; k , l ) yk ,l ( t ) +  B1 ( i, j; k , l ) uk ,l + ( k ,l ) ( k ,l ) +  A21 ( i, j; k , l ) yk ,l ( t ) yi −1, j −1 ( t ) + ... +  A29 ( i, j; k , l ) yk ,l ( t ) yi +1, j +1 ( t ) + (2.11) ( k ,l ) ( k ,l ) +  B21 ( i, j; k , l ; m, n ) uk ,l ui −1, j −1 + ... +  B29 ( i, j; k , l ) uk ,l ui +1, j +1 + I ( k ,l ) ( k ,l ) Đặt ma trận đầu vào tổng như sau: T Yis, j =   y is, j (  )   y k ,l (  )   y is, j (  ) 1 T T T T s uis, j  u k ,l  uis, j  s (2.12)              s ykl yis 1 j 1 yis 1 j .. yis 1j 1 s ukl uis 1 j 1 uis 1 j .. uis 1j 1 (2.13) Phương trình trạng thái của SOCeNNs ổn định được tính như sau: xis, j (  ) =  Yis, j   W T   (2.14) Hình 2. 2. Cấu trúc SOCeNNs quy đổi sang Perceptron 11
Từ phương trình (2.12), nhận thấy Y s i, j đóng vai trò đầu vào của mạng Perceptron quy đổi, khi đó Y s i, j bao gồm tín hiệu đầu vào bậc nhất, tín hiệu đầu vào bậc hai và tín hiệu đầu ra bậc nhất, tín hiệu đầu ra bậc hai của SOCeNNs. Đối với mạng bậc hai thành phần của Y s i, j bao gồm 101 toán hạng, trong đó thành phần bậc nhất có 11 toán hạng, thành phần đầu vào bậc hai có 90 toán hạng tương ứng với 101 toán hạng của ma trận trọng số tổng W. Nghiên cứu sinh xác định giá trị bộ trọng số W của SOCeNNs được thực hiện theo phương pháp định tính Thử–Sai–Chỉnh. Sai lệch giữa đầu ra thực tế và đầu ra mong muốn được tính như sau:   2 1 ( )   w  k  =  yis, j (  ) * yis, j (  ) − dis, j =  yis, j () −  yis, j (  ) + − (2.15) i , j ,s i , j , sD i , j , sD Luật cập nhật trọng số mạng Perceptron biến đổi được thực hiện như sau: ( ) wi , j  k  =  dis, j − yis, j  k  * Yi,sj    (2.16) 2.2.2. Tính hội tụ của thuật toán Perceptron hồi quy cho mạng nơ ron tế bào bậc hai Phần trên, luận án đã đề xuất luật học Perceptron hồi quy để tìm bộ trọng số A1, B1, I, A2, B2. Hai vấn đề đặt ra là: thuật toán có hội tụ không và nếu hội tụ thì các bộ ma trận trọng số này đã là phương án tối ưu toàn cục cho SOCeNNs chưa? Thực tế, sự hội tụ của thuật toán SORPLA là một điều kiện quan trọng để đảm bảo trong quá trình tính toán với một số lần lặp hữu hạn. Và phần này NCS chứng minh tính hội tụ của thuật toán Perceptron cho mạng nơ ron tế bào bậc hai, việc chứng minh được tiến hành theo các bước dưới đây: ➢ Bước 1: Sử dụng thuật toán Widrow-Hoff (hay phương pháp bình phương tối thiểu: LMS) để chứng minh luật học Perceptron là trường hợp riêng của phương pháp LMS khi sử dụng hàm tương tác đầu ra của CeNNs là hàm bão hòa tuyến tính từng đoạn. ➢ Bước 2: Sử dụng kết quả tính ổn định của mạng nơ ron tế bào bậc hai tại mục 2.2.3 để khẳng định tín hiệu đầu ra thực tế yi tại trạng thái ổn định tiệm cận tín hiệu đầu ra mong muốn d i tức là ( di − yi ) → 0 , từ đó dẫn tới giá trị cập nhật trọng số của luật học Perceptron tiến đến 0. Trong luận án sử dụng đối tượng là mạng nơ ron tế bào có hàm tương tác đầu ra là hàm bão hòa tuyến tính từng đoạn nên NCS dùng luật học hạ Gradient (hay còn gọi là luật học Widrow-Hoff) để suy ra nó tương đương với luật học Perceptron. Từ đó rút ra được quan hệ hai luật học theo hai Bổ đề như sau: Bổ đề 2.1: Luật học Perceptron (1.8) là trường hợp riêng của luật học bình phương tối thiểu (LMS) (1.2) khi hàm tương tác đầu ra của nơ ron tế bào là hàm bão hòa tuyến tính từng đoạn (1.10). Bổ đề 2.2: Luật học Perceptron hồi quy (RPLA) (1.26) sử dụng cho mạng nơ ron tế bào bậc nhất được mô tả bởi các phương trình (1.9) đến (1.13) đảm bảo hội tụ. Từ bổ đề 2.1 và 2.2 có thể đưa đến định lý 2.2 dùng cho mạng nơ ron tế bào bậc hai được nghiên cứu trong luận án như sau: Định lý 2.2: Khi mạng nơ ron tế bào bậc hai mô tả theo hệ các phương trình (2.1)-(2.5) ổn định đầy đủ thì luật học Perceptron hồi quy bậc hai (2.14) hội tụ. Từ những Bổ đề 2.1, Bổ đề 2.2 và Định lý 2.2, có thể khẳng định luật học Perceptron hồi quy áp dụng cho mạng nơ ron tế bào bậc nhất, và bậc hai đều hội tụ. Hạt nhân của thuật toán Perceptron hồi quy bậc hai là luật học học Perceptron tương ứng nên thuật toán đó hội tụ. 2.3. Thử nghiệm thuật toán SORPLA cho bài toán xử lý ảnh 2.3.1. Đánh giá các bộ trọng số của thuật toán SORPLA Trong phần này, NCS thử nghiệm các bộ ma trận tính toán từ phương pháp học SORPLA để áp dụng cho bài toán tách biên ảnh. Việc đánh giá kết quả tách biên, NCS sử dụng phương pháp đánh giá trực quan nhằm chứng minh kết quả của thuật toán có khả năng áp dụng cho một ví dụ cụ thể. 12
Tập huấn luyện bao gồm một số lượng mẫu học nhất định, trong đó mỗi mẫu học cho SOCeNNs có 02 thành phần: Một bộ ảnh đầu vào bao gồm ảnh tín hiệu đầu vào ui , j và một bộ ảnh trạng thái ban đầu xi , j ( 0 ) ; Một bộ ảnh đầu ra mong muốn d i , j . s uij xij (0) ❖ dij Hình 2.3. Tập mẫu huấn luyện SOCeNNs Nguyên tắc huấn luyện của các bộ mẫu được thực hiện từ mẫu đầu tiên cho đến mẫu cuối cùng, sau khi học xong tại tất cả các mẫu, tiến hành đánh giá sai số trung bình của tất cả mẫu học. Từ bộ ma trận tính toán qua thuật toán SORPLA, NCS tiến hành mô phỏng SOCeNNs trên Matlab với 02 trường hợp: - Sử dụng bộ ma trận khởi tạo ban đầu; - Sử dụng bộ ma trận trọng số tính toán bằng thuật toán SORPLA. Từ quá trình mô phỏng trên có thể khẳng định mạng SOCeNNs sử dụng bộ trọng số tính theo thuật toán SORPLA có đặc tính của quá trình quá độ có chất lượng cao hơn mạng SOCeNNs sử dụng bộ trọng số khởi tạo. 2.3.2. Xử lý ảnh dùng mạng nơ ron tế bào Xử lý hình ảnh bằng mạng nơ ron tế bào là một phương pháp tính toán Hình 2. 4. Mô phỏng trạng thái SOCeNNs sử dụng một lưới các tế bào kết nối với nhau để trên Matlab thực hiện nhiệm vụ nào đó theo yêu cầu. Trình tự xử lý hình ảnh bằng cách sử dụng nơ ron tế bào: đòi hỏi một loạt các bước để biến đổi và tăng cường hình ảnh. Tùy thuộc vào các ứng dụng cụ thể, việc tiến hành các bước cho xử lý 13
ảnh sử dụng CeNNs cũng khác nhau. Hiệu suất của việc xử lý ảnh bằng CeNNs phụ thuộc vào cách thiết kế của mạng, cách ảnh lựa chọn tham số và nhiệm vụ cụ thể. 2.3.3. Thuật toán PySOCeNNs xác định biên ảnh NCS xây dựng thuật toán xác định biên ảnh bằng cách hoàn thiện phần mềm sử dụng ngôn ngữ mở PyCeNNs được công bố trên Github. Thông qua cách bổ sung các ma trận thành phần đầu vào, đầu ra bậc hai của SOCeNNs, NCS tạo ra thuật toán tách biên riêng và được đặt tên PySOCeNNs. Thuật toán này được sử dụng bằng ngôn ngữ Python trên trình soạn thảo mã nguồn Visual Studio Code. Input: SOCeNNs mô tả bằng bộ phương trình từ (2.1) đến (2.4); bộ ảnh cần nhận dạng kích thước MxN, bộ ma trận trọng số đã được học theo luật SORPLA. Output: Xác định biên ảnh đối tượng. Bước 1: Khởi tạo SOCeNNs gồm: Bước 1.1: Khai báo cấu trúc mạng SOCeNNs Bước 1.2: Cập nhật bộ trọng số xử lý xác định biên ảnh Bước 1.3: Chu kỳ cập nhật dữ liệu và điều kiện dừng thuật toán Bước 2: Đọc ảnh đầu vào cần nhận dạng Bước 3: Xử lý ảnh cần xác định biên. Bước 3.1: Tính toán thành phần bậc hai của mạng uk ,l um,n ; sau đó tính giá trị của B1(i, j; k , l )uk ,l , B2(i, j; k , l ; m, n)uk ,l um,n Bước 3.2: Tính toán thành phần bậc hai của mạng yk ,l ( t ) ym,n ( t ) sau đó tính giá trị của A1(i, j; k , l ) yk ,l ( t ) , A2(i, j; k , l; m, n) yk ,l ( t ) ym,n ( t ) . dxi , j ( t ) Bước 3.3: Tính giá trị . dt dxi , j ( t ) Bước 3.4: Tính giá trị xi , j ( t ) bằng cách tính tích phân đại lượng đã tính tại bước 3.3, dt tính giá trị yi , j ( t ) . Bước 3.5: Sau mỗi chu kỳ τ, quay lại bước 2 Bước 4: Kiểm tra điều kiện dừng thuật toán: ✓ Nếu thời gian thực hiện bằng T (s), chuyển sang bước 5, hiển thị ảnh sau tách biên ✓ Nếu Thời gian thực hiện nhỏ hơn T(s), quay lại bước 2 Bước 5: Hiển thị hình ảnh sau quá trình tách biên Bước 6: Dừng thuật toán 2.3.4. Kết quả thử nghiệm i) Sử dụng một cấu trúc mạng nơ ron tế bào bậc hai, thực hiện xác định biên ảnh với hai bộ trọng số của mạng khác nhau (Hình 2.5) a. Ảnh ban đầu b. Ảnh biên với trọng số khởi c. Ảnh biên với trọng số tạo SORPLA Hình 2.5. So sánh kết quả xác định biên ảnh giữa hai bộ trọng số của SOCeNNs 14
ii) Sử dụng so sánh việc xác định biên ảnh của đối tượng giữa hai cấu trúc mạng CeNNs và SOCeNNs với các bộ ma trận tính toán tương ứng. a. Ảnh ban đầu b. Ảnh biên CeNNs c. Ảnh biên SOCeNNs Hình 2.6. So sánh kết quả xác định biên ảnh giữa cấu trúc CeNNs và SOCeNNs Qua các thử nghiệm trên cho thấy đối với ảnh đen trắng có kích thước 256x256, khi sử dụng mạng nơ ron tế bào bậc hai với bộ trọng số tính toán theo SORPLA cho kết quả tốt nhất, hiển thị rõ đường biên của đối tượng. Trong khi đó, đối với ảnh sử dụng ma trận trọng số khởi tạo được lấy từ mô hình thực hiện tại [A.1] (Hình 2.6.b) cho kết quả biên ảnh chưa rõ ràng và nhiều nét đứt. 2.4. Kết luận chương 2 Trong chương hai, NCS đã trình bày một số nội dung chủ yếu như sau: ➢ Xây dựng luật học và thuật toán SORPLA cho mạng nơ ron tế bào bậc hai tương đương cấu trúc mạng nơ ron truyền thẳng Perceptron bằng việc đặt một ma trận trọng số tổng W chứa các trọng số điều khiển đầu vào bậc nhất B1, bậc hai B2; ma trận phản hồi bậc nhất A1, bậc hai A2 và ma trận ngưỡng I. Luật học SORPLA có độ tính toán phức tạp hơn RPLA rất nhiều do ảnh hưởng của các thành phần bậc hai của mạng. Thuật toán đề xuất đã tính toán đầy đủ các bộ trọng số A1, A2, B1, B2, I cho mạng nơ ron tế bào bậc hai. ➢ Về mặt lý thuyết, NCS đã đưa ra cách chứng minh mới về tính hội tụ cho luật học Perceptron (bổ đề 2.1), luật học Perceptron hồi quy (bổ đề 2.2) khi nơ ron tế bào sử dụng hàm tương tác đầu ra là hàm bão hòa với công bố tại [A.7]. Từ các bổ đề 2.1 và 2.2, NCS đã đưa ra và chứng minh định lý 2.2 về sự hội tụ của thuật toán SORPLA. Đây là đóng góp số hai của luận án. ➢ Về mặt thực nghiệm, NCS thử nghiệm 02 vấn đề: Vấn đề thứ nhất: đánh giá sự đúng đắn của thuật toán SORPLA bằng cách mô phỏng mạng nơ ron tế bào bậc hai với 02 bộ trọng số khác nhau trên phần mềm MATLAB. Bộ ma trận trọng số thứ nhất chọn một cách ngẫu nhiên làm giá trị khởi tạo (thỏa mãn các điều kiện rằng buộc tại phương trình (2.5)) được dùng trong công bố [A.1]. Bộ ma trận trọng số thứ hai được lấy từ kết quả tính toán khi thực hiện giải thuật SORPLA. Từ kết quả mô phỏng, NCS nhận thấy SOCeNNs sử dụng bộ trọng số tính toán từ SORPLA hội tụ nhanh hơn, độ quá điều chỉnh nhỏ hơn so với bộ trọng số lựa chọn ngẫu nhiên. Vấn đề thứ hai: NCS xây dựng thuật toán PySOCeNNs để tách biên ảnh, dùng các bộ ma trận trọng số đã được học từ thuật toán SORPLA. Bằng trực quan, NCS nhận thấy bộ trọng số được tính từ SORPLA do tác giả đề xuất cho mạng nơ ron tế bào bậc hai có khả năng tách biên chính xác cao hơn so với RPLA dùng cho mạng nơ ron tế bào bậc nhất. Trong nhiều trường hợp, khi sử dụng RPLA cho mạng nơ ron tế bào bậc nhất (chuẩn) không tách được đủ các đường biên đối tượng, trong khi đó đối với SORPLA cho mạng nơ ron tế bào bậc hai của NCS đề xuất gần như toàn bộ các đối tượng đều tách biên thành công. Như vậy, trong chương hai, NCS đã xây dựng thuật toán SORPLA cho mạng nơ ron tế bào bậc hai và phân tích tính hội tụ của thuật toán đã đề xuất. Thuật toán SORPLA đã đề xuất có thể coi là một trường hợp riêng của luật học hạ gradient nên có thể không tối ưu toàn cục. Để có tối ưu toàn cục thường sử dụng giải thuật di truyền do đó trong nội dung nghiên cứu tiếp theo tại chương ba, NCS sẽ trình bày về giải thuật di truyền- một phương pháp tiệm cận khác để xác định bộ trọng số cho 15
mạng nơ ron tế bào đồng thời tiến hành lai giữa giải thuật di truyền và thuật toán SORPLA nhằm đảm bảo sự tối ưu toàn cục trong quá trình học cho mạng nơ ron tế bào bậc hai. CHƯƠNG 3. GIẢI THUẬT DI TRUYỀN CHO MẠNG NƠ RON TẾ BÀO 3.1. Giải thuật di truyền Giải thuật di truyền là một thuật toán tối ưu hóa được lấy cảm ứng từ quá trình chọn lọc và tiến hóa tự nhiên. Nguyên tắc thực hiện của giải thuật di truyền đối với các bài toán tối ưu phi tuyến là duy trì và xử lý một tập (quần thể) các giải pháp (nhiễm sắc thể), thông qua các bước tiến hóa, tạo ra một số thế hệ sau có NST tốt hơn. Các ưu điểm của giải thuật di truyền có thể được tóm tắt như sau: ➢ Phù hợp cho các bài toán phức tạp, không gian nhiều chiều hay bài toán phi tuyến.. ➢ Có khả năng giải quyết các bài toán ngẫu nhiên, hoặc nhiễu. ➢ Tối ưu hóa: GA sử dụng cho việc xác định cực trị của các hàm toán học, đặc biệt hiệu quả trong các hàm có độ phức tạp. ➢ Không cần mô hình cụ thể: Giải thuật di truyền có khả năng giải các bài toán chưa rõ mô hình toán học hay khó xây dựng các mô hình toán học Từ những ưu điểm của giải thuật di truyền đối với các bài toán tối ưu phức tạp, tối ưu phi tuyến, NCS nhận thấy việc phát triển thuật toán GA cho mạng nơ ron tế bào là hoàn toàn phù hợp. Để tiến hành xây dựng một thuật toán lai GASORPLA, NCS sẽ thực hiện theo độ phức tạp từ thấp đến cao của mạng nơ ron tế bào như dưới đây. 3.2. Giải thuật di truyền cho mạng nơ ron tế bào 3.2.1. Giải thuật di truyền để tính trọng số cho mạng nơ ron tế bào chuẩn 3.2.1.1. Thuật toán GACeNNs Tại nội dung này, với thuật toán giải thuật di truyền, NCS thực hiện phương pháp học có giám sát với một chuỗi các mẫu huấn luyện tức là cặp mẫu đầu vào và mẫu đầu ra mong muốn nhằm tính ra sai số trung bình. NCS lựa chọn hàm mục tiêu làm điều kiện cho bài toán, lựa chọn bộ Gen phù hợp. Khi giá trị hàm mục tiêu tính toán đủ nhỏ thì kết thúc quá trình huấn luyện và khi đó mạng nơ ron tế bào có thể sử dụng. Input: Cho i) Cấu trúc mạng CeNNs theo công thức (1.9) đến (1.13). ii) Sai số tối thiểu emin iii) Chọn bộ ma trận trọng số tổng khởi tạo. iv) Chọn quần thể gồm 11 NST cha mẹ tương ứng bộ trọng số trong W, mỗi quần thể cha mẹ gồm 10 cặp, được lựa chọn ngẫu nhiên trong đoạn [-9,99;+9,99]. Việc lựa chọn giá trị bộ giá trị cha mẹ ban đầu được dựa trên két quả tính toán của C. Gukzelis sử dụng RPLA. v) Chọn gen số thực có giá trị [0,9] vi) Chọn tỷ lệ lai tạo cho thuật toán, và phương thức lai tạo Output: Bộ ma trận trọng số của CeNNs. Bước 1: Khởi tạo Khởi tạo các điều kiện ban đầu của thuật toán theo các dữ liệu đã cung cấp tại Input. Bước 2: Tính giá trị hàm mục tiêu: ( 1 s ) 2 E= di , j − yis, j → Emin 2 s Thay yi , j được tính theo công thức (1.10), từ đó tính giá trị sai lệch E. 16
Bước 2.1: Nếu E  Emin thì giá trị trọng số thỏa mãn bài toán. Chuyển sang bước 6 (dừng). Bước 2.2: Nếu E  Emin thì chuyển sang bước 3. Bước 3: Tính giá trị trạng thái mới xi , j ( t ) của mạng dựa theo bộ trọng số ban đầu và giá trị trạng thái ban đầu của mạng, từ đó tính giá trị đầu ra thực tế yi , j ( t ) của CeNNs. Bước 4: Lai tạo ➢ Tiến hành lai tạo từng quần thể cha mẹ đối với mỗi trọng số của CeNNs, lựa chọn giải pháp tối ưu tương ứng với mỗi NST trong ma trận trọng số bằng cách tính hàm mục tiêu được tạo ra bởi mỗi NST mới. NST mới nào tạo ra hàm mục tiêu nhỏ nhất sẽ được lựa chọn để thay thế vào NST ban đầu của CeNNs. Thực hiện phép lai tạo theo nguyên tắc từ trái qua phải của ma trận W tức là từ a11 đến I. 1 s ( ) 2 Bước 4.1: Nếu E = di , j − yis, j  Emin thì chuyển sang bước 6; 2 1 s ( ) 2 Bước 4.2: Nếu E = di , j − yi , j  Emin thì chuyển sang bước 5. s 2 Bước 5: Thực hiện phép đột biến cho một số trọng số trong mạng. Quay lại bước 2 để xác định ma trận trọng số cho các vòng tiếp theo. Bước 6: Dừng thuật toán. 3.2.1.2. Thử nghiệm thuật toán GACeNNs NCS tiến hành thử nghiệm thuật toán GA đối với một bài toán cụ thể như sau: ➢ Sử dụng một bộ mẫu huấn luyện ((u s i, j ) ) , xi , j ( 0 ) , dis, j bao gồm 05 bộ ảnh mẫu dạng nhị phân, kích thước 8x8, bộ mẫu dạng nhị phân nên các ô đen có giá trị +1, các ô trắng có giá trị -1. ➢ Sử dụng cấu trúc mạng nơ ron tế bào chuẩn của Leon Chua đề xuất theo các biểu thức từ (1.9) đến (1.13); ➢ Chọn giá trị sai lệch cho phép emin = 10 ; ➢ Chọn bộ ma trận trọng số ban đầu của CeNNs; ➢ Lựa chọn ngẫu nhiên bộ NST cha mẹ ban đầu cho 11 NST trong mạng CeNNs, giới hạn giá trị của các bộ NST cha mẹ từ -9,99 đến +9,99. ➢ Chọn GEN cho bộ NST cần tính toán sử dụng cơ số 10 (0, 1, ..,9) ➢ Chọn 11 quần thể cha mẹ tương ứng với 11 NST trong ma trận trọng số cần tính toán. Mỗi quần thể cha mẹ bao gồm 5 cá thể. Kết quả tính toán các giá trị NST được NCS thực hiện trên chương trình phần mềm sử dụng ngôn ngữ Python. Kết quả cuối cùng sau 44 vòng lặp, tổng sai lệch của bộ mẫu huấn luyện E ( w) = emin = 10 . Từ kết quả ma trận trọng số tính toán, NCS thử nghiệm cho bài toán tách biên ảnh, với ảnh cần tách biên đã được sử dụng tại chương hai. Thực tế, bằng phương pháp trực quan, NCS nhận thấy kết quả tách biên này chưa thể hiện rõ ràng các đường biên đối tượng trong ảnh. Tuy nhiên, từ nội dung này cho thấy việc tách biên sử dụng CeNNs là hoàn toàn có triển vọng, kết quả tách biên có khả Hình 3.1. Xác định đường biên năng cải thiện bằng cách thay đổi số lượng mẫu học học phù hợp đối tượng sử dụng GA cho CeNNs 17
(như tăng số lượng mẫu học hay tăng số lượng điểm ảnh tại mỗi mẫu học) từ đó lựa chọn bộ trọng số phù hợp hơn cho CeNNs. Đây cũng là cơ sở ban đầu để NCS thực hiện các nghiên cứu tiếp theo trong nội dung luận án. 3.2.2. Giải thuật di truyền để tính trọng số cho mạng nơ ron tế bào bậc hai 3.2.2.1. Thuật toán GASOCeNNs Tương tự như mạng nơ ron tế bào chuẩn, đối với bài toán xác định bộ trọng số cho mạng nơ ron tế bào bậc hai, NCS lựa chọn Gen, Nhiễm sắc thể, quần thể phù hợp cấu trúc mạng nơ ron tế bào bậc hai, và các bộ ma trận trọng số tương ứng. Input: Cho i) Cấu trúc mạng nơ ron tế bào bậc hai thỏa mãn hệ phương trình (2.1) đến (2.5) ii) Bộ mẫu huấn luyện ban đầu ((u s i, j ) , xi , j ( 0 ) , dis, j ) iii) Giá trị sai lệch emin iv) Chọn bộ ma trận tổng W[0] ban đầu v) Chọn 101 quần thể cha mẹ ban đầu, mỗi cặp cha mẹ trong quần thể lai tạo sẽ sinh ra một NST con sử dụng cho thế hệ tiếp theo, tức là thế hệ tiếp theo có 101 NST mới tương ứng với 101 trọng số của mạng SOCeNNs. Số lượng cá thể cha mẹ trong quần thể bằng nhau. vi) Lựa chọn Gen cơ số 10, mỗi NST cha mẹ có 5 Gen (xx.xx). vii) Chọn tỷ lệ lai tạo và đột biến Output: Bộ trọng số W của SoCeNNs Bước 1: Khởi tạo Khởi tạo các điều kiện ban đầu của thuật toán theo các dữ liệu đã cung cấp tại Input. Bước 2: Đánh giá hàm mục tiêu: E ( w) = 1 (  dis, j − yis, j ) 2 → emin 2 i , j ,s Bước 2.1.: Nếu E ( w)  emin chuyển sang bước 3. Bước 2.2: Nếu E ( w)  emin giá trị trọng số thỏa mãn bài toán. Chuyển sang bước 7. Bước 3: Tính giá trị trạng thái xi , j ( t ) đầu ra thực tế yi , j ( t ) của SOCeNNs. Bước 4: Tính các giá trị đầu vào bậc hai uk ,l * um,n , đầu ra bậc hai yk ,l ( t ) * ym,n ( t ) của SOCeNNs. Bước 5: Lai tạo ➢ Tiến hành lai tạo từng quần thể cha mẹ đối với mỗi trọng số của SOCeNNs, lựa chọn NST tối ưu trong quần thể NST mới sinh ra trong quá trình lai tạo (tương ứng với từng trọng số trong ma trận W) bằng cách tính giá trị hàm mục tiêu của mỗi NST mới. NST mới nào tạo ra giá trị hàm mục tiêu nhỏ nhất sẽ được lựa chọn để thay thế vào NST ban đầu của SOCeNNs. Thực hiện phép lai tạo theo nguyên tắc từ trái qua phải của ma trận W tức là từ a11 đến I. Bước 5.1: Khi E ( w) = ( 1 s ) 2 di , j − yis, j  emin chuyển sang bước 7 2 Bước 5.2: Khi E ( w) = 1  ( dis, j − yis, j )  emin chuyển sang bước 6 2 2 i, j ,s 18
Bước 6: Thực hiện phép đột biến cho một số trọng số trong mạng. Quay lại bước 2 để xác định ma trận trọng số cho các vòng tiếp theo. Bước 7: Dừng thuật toán. 3.2.2.2. Thử nghiệm thuật toán GASOCeNNs Tương tự đối với thuật toán GACeNNs, để kiểm nghiệm thuật toán GA cho mạng nơ ron tế bào bậc hai, NCS chọn một mẫu huấn luyện bao gồm 5 mẫu ( ( ui , j , xi , j ( 0 ) ) , di , j ) có kích thước 8x8 được thể hiện tại nội dung 2.3.1. ➢ Chọn cấu trúc mạng bậc hai được mô tả theo hệ các biểu thức (2.1) đến (2.5) ➢ Chọn giá trị emin = 10 ➢ Chọn bộ ma trận trọng số ban đầu của SOCeNNs. ➢ Khi đó ma trận trọng số tổng W áp dụng cho SOCeNNs có 101 toán hạng, tương ứng 101 NST của thuật toán GA cần tìm. Hình 3.2. Kết quả tách biên sử dụng ➢ Chọn GEN sử dụng cho các bộ NST có cơ số 10, tức là GASOCeNNs (0, 1, .., 9) ➢ Chọn 101 quần thể cha mẹ, mỗi quần thể bao gồm 05 cặp cá thể cha, mẹ để phục vụ quá trình lai tạo, với khoảng giá trị của bộ NST là [-99,99; +99,99]. Kết quả thử nghiệm thể hiện tại hình 3.3 dưới đây. Trong đó, mạng nơ ron tế bào bậc hai sử dụng bộ trọng số tính toán từ GASOCeNNs đã xác định được đường biên và ranh giới của các đối tượng trong ảnh. Kết quả tách biên cho thấy giới hạn của các đối tượng trong bức ảnh rõ ràng, không bị nhiễu như kết quả tách biên sử dụng thuật toán GACeNNs đối với mạng nơ ro tế bào bậc nhất. Tuy nhiên biên của đối tượng trong ảnh hiển thị có nét đứt và chưa liên tục. 3.3. Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy 3.3.1. Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy cho mạng nơ ron tế bào chuẩn 3.3.1.1. Thuật toán GARPLA Trong quá trình tiến hành thử nghiệm thuật toán, NCS nhận thấy đối với một số trường hợp, không tính được bộ trọng số tối ưu cho CeNNs do giá trị sai số trung bình thực tế không đạt sai số mong muốn của quá trình học nói cách khác thuật toán chưa hội tụ đến điểm tối ưu toàn cục. Chính vì vậy, tại nội dung này, NCS đưa ra thuật toán lai giữa RPLA với GA để hạn chế vấn đề hội tụ cục bộ của thuật toán RPLA. Bản chất của thuật toán lai này là sử dụng kết hợp hai thuật toán kinh điển đã được áp dụng cho mạng nơ ron tế bào bậc nhất trước đây, trong đó giải thuật di truyền để tìm miền giá trị của bộ trọng số (gần tối ưu) cho quá trình học mạng nơ ron tế bào chuẩn, tiếp theo sử dụng thuật toán RPLA cho quá trình xác định giá trị (điểm) cực trị, tức là sai lệch giữa đầu ra mong muốn và đầu ra tính toán là nhỏ nhất. 3.3.1.2. Thử nghiệm thuật toán lai GARPLA Do nội dung của luận án nghiên cứu tập trung vào phát triển một số thuật toán cho mạng nơ ron tế bào bậc hai, nên NCS không đề cập chi tiết việc thử nghiệm và phương pháp tính toán cụ thể của thuật toán lai GARPLA tại đây. Toàn bộ nội dung liên quan đến thuật toán lai GARPLA, NCS đã công bố trên tạp chí [A.7]. 3.3.2. Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy cho mạng nơ ron tế bào bậc hai 3.3.2.1. Thuật toán lai GASORPLA Thuật toán GASORPLA sử dụng những ưu điểm của thuật toán GA và SORPLA, trong đó GA có nhiệm vụ xác định miền giá trị tối ưu đảm bảo tính hội tụ của thuật toán lai; SORPLA có 19