Bộ nhớ liên kết sử dụng mạng nơron tế bào tương tác bậc hai

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:6

Thêm vào BST

Báo xấu

15
lượt xem 5
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết Bộ nhớ liên kết sử dụng mạng nơron tế bào tương tác bậc hai trình bày về hướng nghiên cứu mới ứng dụng mạng nơron tế bào tương tác bậc hai (Cellular order Cellular Neural Networks - SoCNN) làm bộ nhớ liên kết. Nhóm tác giả đã nghiên cứu phát triển cấu trúc mạng nơron tế bào tương tác bậc hai và chuyển đổi cấu trúc mạng CNN bậc nhất (Cellular Neural Networks – CNN) thành cấu trúc mạng mới chỉ chứa ma trận A dựa theo luật Hebb để xây dựng công thức tính tham số.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bộ nhớ liên kết sử dụng mạng nơron tế bào tương tác bậc hai

Nguyễn Tài Tuyên, Dương Đức Anh, Nguyễn Quang Hoan BỘ NHỚ LIÊN KẾT SỬ DỤNG MẠNG NƠRON TẾ BÀO TƯƠNG TÁC BẬC HAI Nguyễn Tài Tuyên*, Nguyễn Quang Hoan*, Dương Đức Anh+ * Học viện Công nghệ Bưu chính Viễn thông + Viện nghiên cứu Điện tử, Tin học, Tự động hoá Tóm tắt: Bài báo trình bày về hướng nghiên cứu mới ứng báo, với mục đích mở rộng khả năng ứng dụng của dụng mạng nơron tế bào tương tác bậc hai (Cellular order SoCNN làm bộ nhớ liên kết, nhóm tác giả xác định A Cellular Neural Networks - SoCNN) làm bộ nhớ liên kết. Nhóm bằng luật học Hebb [3], luật học không có tín hiệu chỉ tác giả đã nghiên cứu phát triển cấu trúc mạng nơron tế bào đạo. Hai ma trận điều khiển B và ma trận ngưỡng I được tương tác bậc hai và chuyển đổi cấu trúc mạng CNN bậc nhất cho bằng 0. Với giả thiết trên thì mô hình của CNN trong [1] trở thành dạng như sau: (Cellular Neural Networks – CNN) thành cấu trúc mạng mới chỉ chứa ma trận A dựa theo luật Hebb để xây dựng công thức tính dx (t ) 1 =− xij (t ) +  A(i, j; k,l)ykl (t ) ij tham số. Trong mô hình thiết kế được đề xuất ở đây có ma trận C (1) dt Rx ( k,l ) bộ tham số A là bộ nhớ liên kết (bộ nhớ liên kết sử dụng mạng nơron tế bào tương tác bậc hai - SoCBAM) và được tính toán Cho Rx =1 (một đơn vị nào đó). Khi xij (t ) được xác định (học) theo luật học không có tín hiệu chỉ đạo Hebb. một giá trị, nó trở thành hằng số. Lúc này, đạo hàm của Để khẳng định tính đúng đắn của mô hình mạng được đề xuất, hằng số bằng 0, và phương trình (1) có dạng: nhóm tác giả đã sử dụng ba mẫu được gán cho ba mẫu người (Men Pattern) gọi tắt là mẫu gồm Y1, Y2, Y3, mỗi mẫu với 81 C.0 = − xij (t ) +  A(i, j;k,l)ykl (t ) (2) ( k,l ) đặc điểm để nhận dạng như: Mắt hai mí, mũi cao, tay dài, chân từ (2), có thể viết lại: dài, giọng nói trong, mặt trái xoan, môi trái tim, tóc đen, da vàng ..., các mẫu được mã hóa bằng 1. Ngược lại (Ví dụ: Mũi không xij (t ) =  A(i, j;k,l)ykl (t ) (3) cao là -1, …, và có 81 đặc trưng kiểu như vậy cho mạng nơron ( k,l ) được đề xuất và kết quả thử nghiệm đã cho thấy khả năng chịu xij (t ) =  A(i, j;k,l)ykl (t )  lỗi tốt và khả năng nhớ cao hơn nhiều so với các mô hình mạng trước đó.  ( k,l ) (4a)  yij (t ) = f ( xij (t ))  Từ khóa: SoCNN, SCBAM, CNN Giả sử xij (t ) ổn định, tức là xij (t ) tiến tới giá trị nào I. MỞ ĐẦU đó, ví dụ: xij (t ) tiến tới 0 thì yij (t ) tiến tới 1. Lúc này, Một câu hỏi đặt ra là, mạng nơron nhân tạo có khả năng nhớ như người được không? Câu trả lời là có. Mạng hàm tương tác đầu ra (quan hệ giữa xij (t ) và yij (t ) ở truyền thẳng cũng có khả năng nhớ, nhưng thể hiện rõ nhất khả năng nhớ là mạng nơron hồi quy. Trong mạng (2b) trong [1] trở thành hàm dấu. Khi CNN ổn định, yij nơron hồi quy tồn tại một loại bộ nhớ gọi là bộ nhớ liên chỉ nhận giá trị ( +1 và −1 ), do đó có thể thay công kết [5, 6]. Bộ nhớ liên kết có thể nhớ các đặc trưng của thức (2b) trong [1] bằng công thức 4b: những mẫu được học theo cách địa chỉ hoá nội dung; khác với bộ nhớ dùng trong máy tính số hiện nay là địa chỉ hoá +1 khi xij (t )  0  theo địa chỉ. Khi một hệ thống có khả năng nhớ mẫu, nảy ( ) yij (t ) = f xij (t ) = sgn xij (t ) =  ( ) (4b) sinh vấn đề áp dụng khả năng nhớ của nó để nhận dạng −1 khi xij (t )  0  (giống khả năng con người). Từ khả năng nhớ theo mô hình liên kết của CNN chuẩn [1], nhóm tác giả nghiên cứu khả năng nhớ và nhận dạng của SoCNN (đại diện cho II. MẠNG NƠRON TẾ BÀO TƯƠNG TÁC BẬC HAI mạng nơ ron tế bào tương tác bậc cao). Cấu trúc của mạng nơron tế bào đa tương tác bậc hai A. Bộ nhớ liên kết của CNN chuẩn [7] có thể được mô tả bằng phương trình sau: Trong CNN, học là tìm bộ tham số của các mảng phản - Phương trình trạng thái hồi A, mảng điều khiển B và mảng ngưỡng I. Bài toán dxij (t ) 1 tìm bộ tham số A, B, I khá phức tạp, hiện nay đã và đang C =− xij (t ) +  A(i, j; k , l ) ykl (t ) +  B(i, j; k , l )ukl + I dt Rx ( k ,l ) ( k ,l ) có nhiều công trình nghiên cứu [4]. Trong phạm vi bài +   A(i, j; k , l; m, n) ykl (t ) ymn (t ) +   B(i, j; k , l; m, n)uklumn ( k ,l ) ( m,n ) ( k ,l ) ( m, n) Tác giả liên hệ: Nguyễn Tài Tuyên, Email: tuyennt@ptit.edu.vn; nttuyenhn@gmail.com 1 ≤ i, k, m ≤ M ; 1 ≤ j, l, n ≤ N (5a) Đến tòa soạn: 10/2022, chỉnh sửa: 11/2022, chấp nhận đăng: trong đó: C là tụ điện, C >0; Rx là điện trở, Rx >0; I là 12/2022. ngưỡng; C (k , l ) là tế bào nơron ở vị trí ( k , l ) ; C (m, n) SOÁ 04 (CS.01) 2022 TAÏP CHÍ KHOA HOÏC COÂNG NGHEÄ THOÂNG TIN VAØ TRUYEÀN THOÂNG 116
BỘ NHỚ LIÊN KẾT SỬ DỤNG MẠNG NƠRON TẾ BÀO TƯƠNG TÁC BẬC HAI là tế bào nơron ở vị trí (m, n) ; Nr (i, j ) là láng giềng của xij (t) =  A(i, j; k , l ) ykl (t ) +  A(i, j; k , l; m, n) ykl (t ) ymn (t ) (8) ( k ,l ) ( k ,l ; m, n ) C (k , l ) , C (m, n) với bán kính r; xij (t ) trạng thái của tế và mô hình hình học có dạng như hình 2, theo sơ đồ của bào (i , j ) ; A(i, j; k , l ; m, n) và B(i, j; k , l ; m, n) là các CNN như hình 1, ta có: hệ số phản hồi và hệ số điều khiển một cách tương ứng, liên kết tế bào trung tâm (i,j) với các tế bào láng giềng ở vị trí (k,l), (m,n); ykl (t ), ymn (t ) và ukl , umn là các tín hiệu phản hồi và điều khiển (đầu vào ngoài) tương ứng ở vị trí (k,l); (m,n). - Phương trình đầu ra: như phương trình (2b) và (Hình 4) trong [1] có thể viết (2b) ở dạng khác: Hình 1. Minh họa cấu trúc mạng liên kết hai chiều 1 khi xij (t )  1 xij =  A(i, j; k,l; k,l ) ykl (t ) ymn (t )   yij (t ) = x khi −1  xij (t )  1 (5b)  ( k,l;m,n ) (9a) −1 khi x (t )  −1  yij = f ( xij )   ij - Phương trình đầu vào: giống phương trình (2c) [1] ta có: u =E (5c) +1  xij > 0 ij ij yij = f ( xij ) = sgn( xij ) =  (9b) - Điều kiện ràng buộc -1  xij  0 | x (0)|  1 1 ≤ i ≤ M ; 1 ≤ j ≤ N với x (0) (5d) ij ij u 1 1 ≤ i ≤ M ; 1 ≤ j≤ N (5e) ij (ở đây “1” được chọn với nghĩa chuẩn hóa về đơn vị). - Tham số giả định (điều kiện để đảm bảo CNN bậc 2 ổn định): Điều kiện đối với các mảng phản hồi cần đảm bảo đối xứng: A(i, j; k , l ) = A(k , l ; i, j ) Hình 2. Sơ đồ khối SoCNN sử dụng làm bộ nhớ liên kết A(k , l ; i, j; m, n) = A(k , l; m, n; i, j ) = A(m, n; i, j; k , l ) = Giải sử x ổn định, tức là tiến tới giá trị nào đó, ví dụ: khi x → 0 thì y → 1 lúc này hàm tương tác đầu ra (quan = A(m, n; k , l; i, j ) = A(i, j; k , l ; m, n) = A(i, j; m, n; k , l ; ) hệ giữa x và y) ở (2b) [1] trở thành hàm dấu và hoạt động 1 ≤ i,k,m ≤ M; 1 ≤ j,l,n ≤ N (5f) của nơron tế bào Cij được mô tả như trong (4b): C  0 và Rx  0 (5g) +1 khi xij (t )  0  III. CẤU TRÚC CỦA BỘ NHỚ LIÊN KẾT BẬC HAI ( ) ( yij (t ) = f xij (t ) = sgn xij (t ) =  ) (4b) A. Mô hình toán học cấu trúc bộ nhớ liên kết bậc hai −1 khi xij (t )  0  Từ (5a) và tính tham số A(i, j; k, l) được coi là học B. Mô hình bộ nhớ liên kết tương tác bậc hai không có tín hiệu chỉ đạo (6). Để xây dựng bộ nhớ liên kết cho SoCNN, tác giả dựa theo luật Hebb [3] được trình bày trong (6) để xây dựng ( ) p T A(i, j; k,l ) =  Ykl Ykl s s (6) công thức tính tham số A(i, j; k,l; m,n) . s =1 Ma trận bộ tham số A, là bộ nhớ liên kết và được tính Ở đây, A(i, j; k, l ) là trọng số, p là số lượng mẫu, s= 1, toán (học) theo luật học không có tín hiệu chỉ đạo Hebb s 2, 3, … , p; vectơ Ykl là mẫu đầu ra thứ s, T là chuyển vị. như (10).  ( )  Y  (Y )  (10) T A(i, j; k,l; m,n) =  Ykl  Ymn   p T T A(i, j;k,l ) = [ A11 + A12 + A13 + A21 + A22 + A23 + A31 + A32 + A33 ] s s s s  s =1  kl mn A(i, j; k,l; m,n) là ma trận các phần tử nhớ, (Y ) và xij (t ) =  A(i, j;k,l ) ykl (t ) , nhóm tác giả đề xuất s ( k,l ) kl phương trình áp dụng CNN tương tác bậc hai cho bộ nhớ liên kết gồm hai thành phần như sau: (Y ) là đầu ra, (Y ) và (Y ) được coi như là (Y ) . s mn s kl T s mn T ij s xij (t)=  A(i, j; k , l ) ykl (t ) +   A(i, j; k, l; m, n) ykl (t ) ymn (t ) (7) Vì A(i, j; k,l; m,n) là ma trận kết nối giữa đầu vào ij và (k ,l ) (k ,l ) (m,n) đầu ra kl; mn. Trong phương trình (7) có các thành phần: Từ (10), xây dựng mô hình toán chuyển - Bậc nhất xij (t) =  A(i, j; k , l ) ykl (t ) và A(i, j; k,l) sử A(i, j; k , l; m, n) hai chiều thành một chiều. Trong đó ( k ,l ) ( )  Y s  (Y s )T  T A(i, j ) =  A(i, j;k,l;m,n) =  Ykl  Ymn p T s s dụng làm bộ nhớ liên kết CNN chuẩn (6). - Bậc hai sử dụng làm bộ nhớ liên kết cho SoCNN, từ (7) s =1     kl mn    được viết lại như sau (8) với i, j; k , l; m, n = 1, 3 SOÁ 04 (CS.01) 2022 TAÏP CHÍ KHOA HOÏC COÂNG NGHEÄ THOÂNG TIN VAØ TRUYEÀN THOÂNG 117
Nguyễn Tài Tuyên, Nguyễn Quang Hoan, Dương Đức Anh A(i,j) =[A11,11 A11,12 A11,13 … A81,79 A81,80 A81,81] 1 1 1 2 2 Ykl = Ymn = Yb2 ,Ykl = Ymn = Yb2 ,Ykl = Ymn = Yb2 2 3 3 3 xij (t ) =   A(i, j;k,l;m,n) ykl (t ) ymn (t ) trong đó b2 là ký hiệu cho mẫu được sử dụng trong bộ ( k ,l ) ( m,n ) nhớ CNN tương tác bậc hai. Mỗi mẫu có 81 giá trị tương Theo (8) để tính cho A(i, j; k,l; m,n) trong (Hình 2) lúc ứng với y11,11 ,..., y81,81 này A(i, j; k,l; m,n) có độ rộng (9  9)  (9  9) = ((3 Cho mẫu 1 (Pattern)  3)  (3  3)  (3  3)  (3  3)) = 6561 phần tử, Yb2 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 lớn hơn 81 lần so với bộ nhớ liên kết sử dụng CNN bậc nhất được tính theo (6), (trang 71 [8]). 111111111111111111111111111 Bảng 1 Ma trận A(i, j;k,l;m,n) của bộ nhớ liên kết sử 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T dụng CoCNN. Cho mẫu 2 (Pattern 2) Yb 2 = -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 T Cho mẫu 3 (Pattern 3) Yb 2 = -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 3 a) Tính trạng thái X -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 xij = A(i, j; k , l; m, n) ykl ymn ( ykl và ymn là mẫu được sử -1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 dụng cho CNN học). 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T Bảng 2 Pha học của CNN tương tác bậc hai cho bộ nhớ liên kết Theo (10) ta có: ( )  Y (Y )  T A(i, j; k , l; m, n) = Yk l Ymn T T + 1 1 1 1       kl mn ( )  Y (Y )  ( )  ( )  T T + Yk l Ymn + Yk l Ymn  Yk l Ymn  T T T T 2 2 2 2 3 3 3 3      k l mn     Các bước thực hiện trên Matlab: Bước 1. Nhập giá trị các mẫu (các mẫu được lý hiệu tương ứng là Y1, Y2, Y3) Y1 = Mẫu 1 = [1 … 1] Y2 = Mẫu 2 = [-1 … -1] X= A  Y Y3 = Mẫu 3 = [-1 … 1] Bước 2. Tính ma giá trị của các mẫu Bảng 3 Tính vectơ trạng thái của bộ nhớ liên kết SoCNN Đặt Y 1  (Y 1 )T  = M 1 ; Y 2  (Y 2 )T  = M 2 ;         Y 3  (Y 3 )  = M 3 T     Bước 3. Tính A( j , j; k , l ; m, n) theo (10) ( ) ( ) ( ) T T T A(i, j; k , l; m, n) = M  M +M  M +M  M 1 1 2 2 3 3 Bước 4. In kết quả A(i, j; k , l ; m, n) Theo yêu cầu bài toán đã cho A( j , j; k , l ; m, n) cho thấy 3 mẫu A(i, j; k , l ; m, n) có độ rộng là (9  9)  (9  9) = x11= A11,11y11 + A11,12y12 +A11,13y13 + A11,21y21 + A11,22y22 + A11,23y23 + …+A11,79y79 + A11,80y80 + A11,81y81 = ((3  3)  (3x3)  (3  3)  (3  3)) = 6561 phần tử ……………………………………… như hình 3. x81= A81,11y11 + A81,12y12 + A81,13y13 + A81,21y21 + A81,22y22 + A81,23y23 + …+ A81,79y81 + A81,80y81 + A81,81y81 b) Tính đầu ra Y Theo (4b) và (9a), với i = 1...N (N=9); với j = 1...M (M=9) ta có: Y =  y11 y12 y81  = F ( X ) T y13 y21 ... y79 y80 =  f(x11 ) f(x12 ) f(x13 ) f(x21 ) ... f(x79 ) f(x80 ) f(x81 ) Hình 3. SoCNN làm bộ nhớ liên kết T Tính bộ nhớ liên kết: Các mẫu được cho tương ứng với SOÁ 04 (CS.01) 2022 TAÏP CHÍ KHOA HOÏC COÂNG NGHEÄ THOÂNG TIN VAØ TRUYEÀN THOÂNG 118
BỘ NHỚ LIÊN KẾT SỬ DỤNG MẠNG NƠRON TẾ BÀO TƯƠNG TÁC BẬC HAI Trong hình 3, nhóm tác giả xây dựng bộ nhớ liên kết Yb 2 = -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 2 cho SoCNN từ (8) với v1 là đầu vào mẫu cho mạng học, -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 v2 là đầu ra phản hồi từ yij và y kl và ymn , A(i,j;k,l;m,n) -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 là ma trận nhớ mẫu của CNN, xij là trạng thái của CNN, -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 T f ( xij ) là hàm đầu ra. Mẫu 3 (Pattern 3) Pha học cho SoCNN được thực hiện các bước sau: Yb3 = -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1-1 -1 3 Bước 1. Nối v1 và v2 trên (Hình 3) để kích hoạt cho mạng, ứng với t=0. -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 1 1 1 1 1 1 1 1 1 Bước 2. Ngắt v1 và v2 để đưa nội dung thực hiện pha học 1111111 1111111111111 111111111111 T vào ma trận A(i,j;k,l;m,n). Bước 3. Kiểm tra kết quả đầu ra ykl , mn B. Bài toán đặt ra Pha gọi lại (thử nhận dạng), Trường hợp 1. Thể hiện 3 mẫu đó được nhớ trong ma Bước 4. Đưa mẫu cần gọi lại (thử nhận dạng) vào ma trận trận trọng số A(i,j;k,l;m,n). A(i,j;k,l;m,n) Trường hợp 2. Giả sử có 1 trong 3 người có các đặc điểm như các mẫu hoặc Y1 hoặc Y2 hoặc Y3 được đưa vào CNN Bước 5. Nhận kết quả ở đầu ra của ykl , mn tương tác bậc hai. Nếu quả thực A(i, j; k , l ; m, n) là bộ nhớ thì CNN tương tác bậc hai sẽ gọi ra được người đó đã được nhớ trong A(i,j;k,l;m,n). Đây là quá trình gọi lại (Recall). Trường hợp 3. Thử nghiệm 1 mẫu nào đó sai 1 bit, 2 bit, 3 bit tức là đối tượng người đó biến dạng từ 1 sang -1 (Ví dụ: Mũi cao do bị thay đổi thành mũi thấp vì lý do nào đó) thì CNN có nhận ra người đó không? C. Giải bài toán Trường hợp 1. Tính bộ nhớ A(i,j;k,l,m,n) theo cách tính trong (III, B). Trường hợp 2. Theo (10), ta có: ( )  Y  (Y )  T A(i, j;k,l;m,n) =  Ykl  Ymn p T T s s s s s =1     kl   mn Bước 1. Khởi tạo giá trị Hình 4. Sơ đồ ghép nối của SoCNN làm bộ nhớ liên kết Bước 2. Nhập giá các đặc điểm của mẫu Y1 vào bộ nhớ Từ kết quả tính được ở trên và phương trình (10), nhóm CNN tương tác bậc hai được tính theo công thức tác giả xây dựng sơ đồ chi tiết của SoCNN làm bộ nhớ X 1 = AY 1 liên kết (Hình 4), trong đó các ký hiệu ij là đầu ra được Bước 3. Gọi giá trị được lưu trữ trong ma trận nhớ đưa về đầu vào kl,mn. A(i, j; k , l ; m, n) CNN Bước 4. Tính giá trị trạng thái X1 IV. THỬ NGHIỆM VÀ ĐÁNH GIÁ Bước 5. Tính Y1* theo hàm đầu ra của CNN Bài toán nhận dạng mẫu sử dụng CNN tương tác bậc Bước 6. In kết quả hai làm bộ nhớ liên kết X kl ,mn = A( j , j; k , l ; m, n)  Y1 = 1 Trong bài toán này, tác giả sử dụng SoCNN làm bộ nhớ liên kết. Các mạng bậc cao hơn cũng có thế áp dụng =[13041 13041 13041 13041 13041 13041 13041 tương tự. 13041 13041 13041 13041 13041 A. Phát biểu bài toán 13041 13041 13041 13041 13041 13041 13041 - Giả sử có 3 mẫu người (Men Pattern) gọi tắt là mẫu 13041 13041 13041 13041 13041 gồm Y1, Y2, Y3 mỗi mẫu với 81 đặc điểm để nhận dạng 13041 13041 13041 13041 13041 13041 13041 như: Mắt hai mí, mũi cao, tay dài, chân dài, giọng nói 13041 13041 13041 13041 13041 trong, mặt trái xoan, môi trái tim, tóc đen, da vàng ..., các 13041 13041 13041 13041 13203 13203 13203 mẫu được mã hóa bằng 1. Ngược lại (Ví dụ: Mũi không 13203 13203 13203 13203 13203 cao là -1, …, và có 81 đặc trưng kiểu như vậy cho mạng 13203 13203 13203 13203 13203 13203 13203 nơron được mô tả như sau: 13203 13203 13203 13203 13203 - Cho 3 mẫu tương ứng với 13203 13203 13203 13203 13203 13203 13203 Y =  y11 y12 y13 ... y79 y80 y81  13203 13203 13203 13203 13203 13203 13203 13203 13203 13203 13203 13203 Mẫu 1 (Pattern 1) 13203 13203]T Yb1 =  1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Trong đó A(i, j; k , l ; m, n) là ma trận trọng số được CNN 1 bậc 2 nhớ sau mỗi lần học = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T 1* 1 Tính Y hay Ykl , mn , ta có: Mẫu 2 (Pattern 2) +1  khi xij  0 yij = f ( xij ) = sgn( xij ) =  −1  khi xij  0 SOÁ 04 (CS.01) 2022 TAÏP CHÍ KHOA HOÏC COÂNG NGHEÄ THOÂNG TIN VAØ TRUYEÀN THOÂNG 119
Nguyễn Tài Tuyên, Nguyễn Quang Hoan, Dương Đức Anh 1 12879 12879 12879 12879 12879 12879 12879 12879 Từ kết quả trên cho thấy các kết quả X kl , mn đều dương 12879 12879 12879 12879 12879 12879 12879 12879 do đó các giá trị của x thu được giá trị 1, tương ứng với 12879]T 2* Tính Ybt , ta có: Y (kq) = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T +1  khi xij  0 yij = f ( xij ) = sgn( xij ) =  cho kết quả nhận dạng đúng. −1  khi xij  0 1 2 3 Trường hợp 3. Giả sử có 3 mẫu tương ứng với Ybt , Ybt , Ybt Từ kết quả trên cho thấy các kết quả X kl , mn đều dương 2 Mẫu 1 (Pattern 1) do đó các giá trị của x thu được sẽ là 1, tương ứng với: Ybt = -1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Y 1 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T T Mẫu 2 (Pattern 2) cho kết quả nhận dạng đúng với mẫu 1 đã được học. Ybt = -1 -1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 3 Kết quả mẫu 3 có X kl , mn = = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T = [11583 11583 11583 11583 11583 11583 11583 11583 11583 11583 11583 Mẫu 3 (Pattern 3) 11583 11583 11583 11583 11583 11583 11583 Ybt = -1 -1 -1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 3 11583 11583 11583 11583 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T 11583 11583 11583 11583 11583 11583 11583 11583 11583 11583 11583 Tính với sai số 1 bit: Theo phương trình (10) 11583 11583 11583 11583 11583 11583 11583 Bước 1. Khởi tạo giá trị 12717 12717 12717 12717 1 12717 12717 12717 12717 12717 12717 12717 Bước 2. Nhập giá các đặc điểm của mẫu Y , vào bộ nhớ 12717 12717 12717 12717 CNN tương tác bậc hai được tính theo công thức 12717 12717 12717 12717 12717 12717 12717 X kl ,mn = A(i, j;k,l;m,n)Ybt 1 1 12717 12717 12717 12717 12717 12717 12717 12717 12717 12717 12717 Bước 3. Gọi giá trị được lưu trữ trong ma trận nhớ 12717 12717 12717 12717 A( j, j; k , l; n, n) của CNN bậc hai 12717 12717 12717 12717]T Bước 4. Tính giá trị trạng thái X kl , mn 1 Trong đó A( j , j; k , l ; m, n) là ma trận trọng số của 1* SoCNN. Bước 5. Tính Ykl theo hàm dấu đầu ra của CNN 3* Tính Ybt , ta có: Bước 6. In kết quả Theo các bước tính được thực hiện trên Matlab cho kết +1  khi xij  0 quả như sau: yij = f ( xij ) = sgn( xij ) =  1 −1  khi xij  0 Kết quả mẫu 1 có X kl , mn = Từ kết quả trên cho thấy các kết quả X kl , mn đều dương 3* =[12555 12555 12555 12555 12555 12555 12555 12555 12555 12555 12555 12555 (>0) do đó các giá trị của x thu được sẽ là 1, tương ứng 12555 12555 12555 12555 12555 12555 12555 12555 với 12555 12555 12555 12555 Y 1 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 12555 12555 12555 13041 13041 13041 13041 13041 = 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T 13041 13041 13041 13041 13041 13041 13041 13041 13041 13041 13041 13041 cho kết quả nhận dạng đúng với mẫu 1 đã được học. 13041 13041 13041 13041 13041 13041 13041 13041 13041 13041 13041 13041 IV. KẾT LUẬN 13041 13041 13041 13041 Sau các thử nghiệm, nhóm tác giả nhận thấy CNN 13041 13041 13041 13041 13041 13041 13041 13041 tương tác hai có khả năng nhớ giống như bộ nhớ của con 13041 13041 13041 13041 1 2 3 13041 13041 13041 13041 13041 13041 13041 13041 người. Chỉ với ba mẫu Y , Y , Y bộ nhớ được thực hiện 13041] T và lưu trữ trong ma trận A(i,j;k,l;m,n) tương đương với ma Tương tự cách tính ở trên, tác giả tính được kết quả trận trọng số. Do đó ma trận trọng số trong mạng nơron tương ứng với mẫu 2 và mẫu 3: được coi là rất quan trọng. Khi một mẫu (ứng với một đối Kết quả mẫu 2 có X kl , mn = 2 tượng được cho) được đưa vào SoCNN, mạng sẽ so sánh với các mẫu đã nhớ trong ma trận A(i,j;k,l;m,n) và gọi ra = [12069 12069 12069 12069 12069 12069 12069 12069 đối tượng đó. tác giả đã tiến hành thử với các mẫu vào sai 12069 12069 12069 12069 12069 12069 12069 12069 1, 2 và 3 bit. Mẫu thử có số bit sai đến 44% nhưng bộ nhớ 12069 12069 12069 12069 12069 12069 12069 12069 liên kết dựa trên CNN tương tác bậc cao vẫn có khả năng 12069 12069 12069 12879 12879 12879 12879 12879 nhận đúng mẫu. Như vậy, khả năng chịu lỗi của mạng 12879 12879 12879 12879 12879 12879 12879 12879 CNN là khá cao. 12879 12879 12879 12879 12879 12879 12879 12879 12879 12879 12879 12879 12879 12879 12879 12879 Mạng có khả năng xử lý lỗi (chịu lỗi tốt). Kết quả cho 12879 12879 12879 12879 12879 12879 12879 12879 thấy khả năng nhận mẫu cao hơn nhiều so với các mô SOÁ 04 (CS.01) 2022 TAÏP CHÍ KHOA HOÏC COÂNG NGHEÄ THOÂNG TIN VAØ TRUYEÀN THOÂNG 120
BỘ NHỚ LIÊN KẾT SỬ DỤNG MẠNG NƠRON TẾ BÀO TƯƠNG TÁC BẬC HAI hình bộ nhớ liên kết trước đó. Theo Michael Negnevitsky ASSOCIATIVE MEMORY USING SECOND (trang 196) [2] dung lượng nhớ liên kết tối đa là: ORDER CELLULAR NEURAL NETWORKS Hopfiel n M max = , trong đó n là số phần tử nơron. Abstract: This paper presents a new research direction 4lnn that applies second-order interactive cellular neural Với bộ nhớ liên kết CNN do sử dụng đầu vào là 2 chiều networks (SoCNNs) as associative memory. The authors nên số bộ nhớ có thể đạt tới: have researched and developed the structure of the 2 second-order interactive cellular neural network and  n  converted the CoCNN network structure into a new = CNNChua M max   4 ln n  network structure that does not contain the A matrix. The Như vậy, số mẫu nhớ mạng liên kết tăng ở dạng hàm author follows Hebb's law [3] to build the formula for mũ. Nếu chúng ta sử dụng CNN bậc 2 số liên kết có thể parameter calculation. In the design model proposed here, đạt tới: the parameter set matrix A is associative memory and is 2 computed (learned) according to the jurisprudence   n 2  without the Hebb directing signal. =    4 ln n   CNNbac 2 M In order to confirm the correctness of the proposed   max   network model, the author used three samples assigned to three human patterns (Men Pattern) for short, namely LỜI CẢM ƠN samples Y1, Y2, Y3, each with 81 characteristics to Kết quả nghiên cứu được tài trợ từ nguồn kinh phí receive the forms such as: double eyelids, high nose, long nghiên cứu khoa học của Học viện Công nghệ Bưu chính arms, long legs, clear voice, oval face, heart lips, black Viễn thông đã tạo điều kiện cho nhóm tác giả hoàn thành hair, yellow skin ..., the samples are coded with 1. kết quả nghiên cứu. Tác giả xin chân thành cảm ơn lãnh Otherwise (For example: The nose is not high is -1, …, đạo Học viện Công nghệ Bưu chính Viễn thông, viện and there are 81 such type features for the proposed nghiên cứu Điện tử, Tin học, Tự động hoá đã tạo điều neural network, and the test results have shown good kiện về tài chính và trang thiết bị trong quá trình nghiên fault tolerance and much higher memory capacity than cứu thử nghiệm. Tác giả mong muốn tiếp tục nhận được the previous network models. kinh phí tài trợ và tạo điều kiện trang thiết bị để nhóm Keywords: SoCNN; BAM; MiCNN, BSoCNN. nghiên cứu thử nghiệm và phát triển ứng dụng mạng nơron tế bào trên các module phần cứng. Nguyễn Tài Tuyên, hiện là giảng viên tại Học viện Công nghệ Bưu chính Viễn thông. TÀI LIỆU THAM KHẢO Ông bảo vệ luận văn thạc sĩ chuyên ngành khoa học máy tính tại học viện Kỹ thuật [1] Chua L. O., Yang. (1988), “Cellular Neural Network Quân sự năm 2005; Nhận học vị Tiến Sĩ Kỹ Theory”, IEEE, Transactions on Circuits and Systems (35), thuật năm 2022. Lĩnh vực nghiên cứu chính pp. 1259 - 1266. của ông là Mạng máy tính, Kiến trúc Máy tính, Vi xử lý, Xử lý tiếng nói, An toàn bảo [2] Negnevitsky. M. (2005), “Artificial Intelligence: A mật thông tin, Mạng Nơron nhân tạo, Hệ Guide to Intelligent Systems”. Pearson Education thống nhúng, Điều khiển Thông minh, IoT, Limited, Edinburgh Gate, Harlow, Essex CM20 2JE, Năng lượng tái tạo. England, Seconds edition published, (196), 2005. Nguyen Quang Hoan, sinh năm 1950, [3] Jankovic. M., Martinez. P., Chen. Z., Cichocki. (2008), nhận học vị Tiến Sĩ năm 1997 và nhận học “Modified Modulated Hebb-Oja Learning Rule: A Method hàm PGS năm 2002. Lĩnh vực nghiên cứu for Biologically Plausible Principal Component Analysis”, chính của ông là Vi Xử lý, Kiến trúc Máy International Conference on Neural Information tính, Xử lý ảnh, Học máy, Mạng Nơron Processing, pp. 527–536. Nhân tạo, Học sâu, Lý thuyết Điều khiển, Điều khiển Tối ưu. Hiện nay, ông là giảng [4] GuKzelis C., Karamamut. S., Genc. I. (1998), “A viên kiêm chuyên gia, cố vấn chiến lược Recurrent Perceptron Learning Algorithm for Cellular phát triển và xây dựng các chương trình Neural Networks”, An International Journal for Physical đào tạo đại học, thạc sỹ, tiến sỹ cho một số trường đại học, viện nghiên cứu ngành and Engineering Sciences volume (51), pp. 296–309. CNTT và Điều khiển, Tự động hóa. Ông là [5] Itoh. M., Chua L. O. (2004), “Star Cellular Neural một trong 50 nhà khoa học tiêu biểu năm Networks for Associative and Dynamic Memories”, 2018 được UNESCO Việt Nam bình chọn để giới thiệu với bạn bè quốc tế, chủ đề International Journal of Bifurcation and Chaos, 14(5), pp. “Cuộc hành trình “ngàn dặm” để trở thành 1725–1772. chuyên gia của Mạng Nơron Nhân tạo. [6] Zeng. Z., Wang. J. (2009), “Analysis and Design of Dương Đức Anh, hiện là Giám đốc Trung Associative Memories Based On Cellular Neural Networks tâm Công nghệ Cao, Viện Điện tử, Tin học, with Space-invariant Cloning Templates” Proceedings of Tự động hóa, bộ Công Thương. Ông bảo International Joint Conference on Neural Networks, vệ luận năm thạc sĩ ngành Tự động hóa và Điều khiển năm 2009 tại Đại học Bách Atlanta, Georgia, USA, Jun, pp. 14-19. Khoa Hà Nội. Hiện ông đang làm nghiên [7] Nguyen Tai Tuyen (2016), On A Structure Of High Order cứu sinh về mạng nơron tế bào. Lĩnh vực Multi-Interaction Cellular Neural Network, International nghiên cứu: Học máy, Mạng nơron, Điều khiển Tự động hóa công nghiệp. Journal of Advanced Computational Engineering and Networking, pp.24-26, Volume-4, Issue-2, Feb.-2016. [8] https://www.vielina.com/Uploads/Researchs/LA-TUYEN- NOP-THU-VIEN-QG_23_7.pdf SOÁ 04 (CS.01) 2022 TAÏP CHÍ KHOA HOÏC COÂNG NGHEÄ THOÂNG TIN VAØ TRUYEÀN THOÂNG 121