Tóm tắt Luận án Tiến sĩ Kỹ thuật: Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:27

Thêm vào BST

Báo xấu

10
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu nghiên cứu của tóm tắt luận án "Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng" là tìm hiểu quá trình phát triển mạng nơron nhân tạo, phân loại mạng nơron; Kết quả thử nghiệm CNN bậc cao cho bộ nhớ liên kết, thử nghiệm CNN đa tương tác trên nền tảng STM32 và FPGA.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tóm tắt Luận án Tiến sĩ Kỹ thuật: Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng

1 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG Ngành: Kỹ thuật Điện tử Mã số ngành: 9520203 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2022
2 Công trình được hoàn thành tại: Viện nghiên cứu Điện tử, Tin học, Tự động hóa Người hướng dẫn khoa học: 1. PGS.TS. Nguyễn 1. PGS. Quang Quang TS. Nguyễn Hoan Hoan 2. TS.2.Ngô TS.Văn NgôSỹVăn Sỹ Phản biện 1: PGS.TS. Ngô Quốc Tạo Phản biện 2: PGS.TS. Nguyễn Quang Hùng Phản biện 3: PGS.TS. Trần Đức Thuận Luận án được bảo vệ tại hội đồng đánh giá luận án cấp viện Nghiên cứu Điện tử, Tin học, Tự động hóa họp tại hội trường vào hồi 9 giờ 00 ngày 21 tháng 5 năm 2022 Có thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam - Thư viện Viện nghiên cứu Điện tử, Tin học, Tự động hóa
1 PHẦN MỞ ĐẦU 1. Tính cấp thiết của luận án a) Những ưu điểm nổi bật của mạng nơron tế bào Mạng nơron tế bào (CNN) được Leon O. Chua và Tamas Roska chế tạo thành máy tính nơron mảng tương tự đầu tiên trên thế giới, hiện thực hoá mong muốn thiết kế chế tạo máy tính phỏng theo hoạt động giống bộ não con người. b) Những vấn đề mà CNN chưa được quan tâm Cấu trúc CNN có độ phức tạp lớn; bộ nhớ liên kết dùng CNN ít được nghiên cứu. Cấu trúc của CNN có nhiều lớp với liên kết tuyến tính cho đầu vào và cho phản hồi, thiếu các nghiên cứu về liên kết đầu vào và phản hồi dạng đa thức bậc 2, bậc 3 v.v… Trong thực tế, khi áp dụng CNN để giải hệ phương trình vi phân cho thấy không chỉ có mảng đầu vào và mảng phản hồi tuyến tính, mà có cả những trường hợp các đầu vào và phản hồi ở dạng đa thức bậc cao. c) Lý do chọn đề tài Căn cứ vào những vấn đề còn tồn tại về CNN nêu trên, tác giả luận án kế thừa và phát triển CNN chuẩn thành CNN tương tác bậc cao (đa tương tác đầu vào và đa tương tác phản hồi). 2. Mục tiêu nghiên cứu của luận án a) Kế thừa cấu trúc CNN chuẩn của Leon O. Chua, tác giả phát triển thành cấu trúc CNN tương tác bậc cao (đa tương tác đầu vào và đa tương tác phản hồi). b) Xây dựng và chứng minh các điều kiện đảm bảo cho CNN tương tác bậc cao ổn định, sử dụng tiêu chuẩn ổn định đầy đủ. c) Thử nghiệm cấu trúc CNN đa tương tác dùng làm bộ nhớ liên kết và một vài khả năng ứng dụng khác. 3. Đối tượng và phạm vi nghiên cứu
2 a) Về lý thuyết: Tác giả xây dựng mô hình và chứng minh tính ổn định cho CNN tương tác bậc hai sau đó suy diễn cho CNN tương tác bậc cao. b) Về ứng dụng: Sử dụng phần mềm Matlab và Java để mô phỏng và kiểm chứng tính ổn định của CNN tương tác bậc cao; sử dụng CNN bậc cao làm bộ nhớ liên kết; kiểm chứng khả năng thực hiện CNN trên FPGA và các ứng dụng khác. 4. Phương pháp nghiên cứu a) Kế thừa mô hình chuẩn của Leon O. Chua và tiêu chuẩn ổn định đầy đủ. Phát triển mô hình tuyến tính thành mô hình liên kết dạng đa thức bậc cao và tìm điều kiện để CNN tương tác bậc cao ổn định. b) Mô phỏng, thử nghiệm một số ứng dụng. 5. Đóng góp của luận án Luận án đặt ra ba vấn đề cần phải giải quyết bao gồm: a) Thứ nhất, đề xuất được mô hình CNN tương tác bậc cao; b) Thứ hai, tìm hàm E(t) (tương tự hàm Lyapunov) và chứng minh mạng ổn định đầy đủ; c) Thứ ba, chứng minh khả năng ứng dụng CNN tương tác bậc cao. 6. Cấu trúc của luận án Toàn bộ luận án gồm 113 trang trình bày trong 3 chương, 39 hình vẽ, 10 bảng biểu được chia thành các chương, mục bố cục như sau: Mở đầu. Chương 1, trình bày quá trình phát triển mạnmg nơron nhân tạo; phân loại mạng nơron; học và xấp xỉ mạng nơron; một số ứng dụng mạng nơron…; trình bày các khái niệm về CNN chuẩn của Leon O. Chua. Trên cơ sở nghiên cứu tổng quan, tác giả đưa ra hướng nghiên cứu CNN tương tác bậc cao. Chương 2, trên cơ sở mạng chuẩn của Leon O. Chua, tác giả đề xuất mô hình CNN tương tác bậc cao; đề xuất hàm E(t); chứng minh tính ổn định của CNN tương tác bậc cao; mô phỏng CNN bậc hai trên môi trường Matlab. Chương 3, trình bày kết quả thử nghiệm CNN bậc cao cho bộ nhớ liên
3 kết; thử nghiệm CNN đa tương tác trên nền tảng STM32 và FPGA. Kết quả thử nghiệm trên môi trường Matlab và một số khả năng ứng dụng khác. Kết luận và hướng phát triển của luận án Chương 1 TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 1.1 Tổng quan về mạng nơron nhân tạo CNN có những đặc điểm chung và riêng so với các cấu trúc, luật học và có tính kế thừa từ mạng nơron khác. Do vậy, tác giả điểm qua các cấu trúc, luật học và ổn định của mạng nơron. 1.1.1 Mô hình cấu trúc mạng nơron nhân tạo 1.1.1.1 Mô hình một nơron Mc.Culloch Pitts's Năm 1943, McCulloch và Pitts đề xuất mô hình một nơron nhân tạo và sau này McCulloch-Pitts được sử dụng đặt tên cho nơron. Nơron McCulloch-Pitts còn được gọi là đơn vị (phần tử) xử lý (Processing Element: PE), một nút (Node) hay một tế bào (tên được dùng trong CNN) là mô hình đánh dấu mốc khởi đầu cho sự phát triển của các thế hệ mạng nơron nhân tạo. 1.1.1.2 Phân loại mạng nơron nhân tạo Các nơron kết nối với nhau tạo thành mạng nơron. Về tổng thể, cấu trúc mạng nơron được chia thành hai loại chính: - Dựa vào cách kết nối, mạng được phân thành mạng một lớp hoặc mạng nhiều lớp (Layer). Cấu trúc của mạng khi đó được xác định bằng số lớp và số phần tử nơron trong mỗi lớp. - Dựa vào hướng truyền tín hiệu, mạng có thể được phân thành mạng truyền thẳng và mạng hồi quy. Khởi điểm của mạng phản hồi là mạng Hopfield, có hai loại: mạng rời rạc và liên tục là những mạng cơ sở của CNN. 1.1.2 Học trong mạng nơron nhân tạo Học (Learning) về nguyên tắc chung là xác định (tìm) các hàm phản
4 ảnh quan hệ vào/ra (học cấu trúc) hoặc tham số (học tham số) nào đó chưa biết. Theo nghĩa như vậy, học xác định giá trị của tham số được gọi là học tham số. Học tham số bao hàm ba loại: Học có tín hiệu chỉ đạo (Supervised Learning) hay học có thầy; học không có tín hiệu chỉ đạo (Unsupervised Learning); học củng cố (Reinforcement Learning). 1.2 Mạng nơron tế bào chuẩn của Leon O. Chua Hình 1.1 cho thấy một CNN hai chiều có kích thước (M x N) tế bào đặt trong toạ độ Đề các, trong đó Cij là một tế bào của mạng. Hình 1.1 Mạng nơron tế bào có kích thước M  N với i=1…N; j=1…M. Mỗi một tế bào Cij đều có các tế bào láng giềng r. 1.2.1 Láng giềng r Định nghĩa 1: láng giềng của một tế bào C(i,j). Láng giềng r (hình 1.1) của một tế bào C(i,j) trong một CNN được định nghĩa như sau: Nr (i, j) = {C (k, l)| max {| k - i |,| l - j|} ≤ r ; 1 ≤ k ≤ M ; 1 ≤ l ≤N trong đó r là một số nguyên dương 1.2.2 Sơ đồ nguyên lý hoạt động Leon O. Chua đề xuất sơ đồ nguyên lý của một nơron tế bào C(i,j) dựa trên mô hình mạch điện (Hình 1.2). Các giá trị uij , xij , yij lần lượt là các tín hiệu đầu vào, trạng thái, đầu ra của nơron (i, j). Trong mạnh điện, trạng thái xij chuẩn hoá với giá trị trong khoảng 0 ≤ xij ≤ 1. Điện áp đầu vào uij được giả định là hằng số với giá trị 0 ≤ uij ≤ 1. Mỗi một tế bào C(i,j) chứa một nguồn điện áp E(ij), nguồn dòng I, tụ điện C, điện trở Rx ở mạch trạng thái và Ry ở mạch ra. I xu (i , j ; k , l ) và I xy (i , j ; k , l ) là các nguồn dòng đầu
5 vào và nguồn dòng đầu ra, dòng điện được điều khiển bằng điện áp tuyến tính ở mạch ra, được xác định như sau: I xu (i, j; k , l ) = B(i, j; k , l )vukl (1.30a)(1.1) Hình 1.2 Sơ đồ nguyên lý của một nơron tế bào Ở đây, độ đo của B(i,j;k,l) và A(i,j;k,l) trong (1.30a) có v là điện áp được mặc định. Vì vậy, vukl = Ekl , với Ekl là nguồn áp một chiều (là hằng số). 1.2.3 Mô hình toán học của mạng nơron tế bào CNN được mô tả bởi phương trình (1.2a - 1.ag); trong đó C ( k , l ) là tế bào của ô giao bởi hàng k và cột l; C là tụ điện và Rx điện trở tương ứng với trạng thái x: - Phương trình trạng thái: dx (t ) ij 1 C =− xij (t ) +  A(i, j;k,l ) ykl (t ) +  B(i, j;k,l )ukl + I dt Rx C ( k,l )∈ Nr (i, j ) C ( k,l )∈ Nr (i, j ) 1 ≤ i,k ≤ M; 1 ≤ j,l ≤ N (1.2a) Đặt   ;    và    C (k,l) Nr (i, j) (k ,l ) C (m,n) Nr (i, j) ( m,n ) C (...,...) Nr (i, j) (...,...) 1 - Phương trình đầu ra: y (t ) = (| x (t ) +1| - | x (t ) - 1|) = f ( x ) 2 ij ij ij ij 1 ≤ i,k ≤ M ; 1 ≤ j,l ≤ N (1.2b) - Phương trình đầu vào: u = Eij 1≤ i,k ≤ M; 1 ≤ j,l ≤ N (1.2c) ij - Phương trình các tham số giả định (ở đây các véctơ được chuẩn hoá). | x (0 )|  1 ; 1 ≤ i,k ≤ M ; 1 ≤ j,l ≤ N (1.2d) ij
6 | u |  1 1 ≤ i,k ≤ M ; 1 ≤ j,l ≤ N (1.2e) ij - Các điều kiện ràng buộc (đảm bảo CNN ổn định) A(i,j;k,l)=A(k,l;i,j) 1 ≤ i ≤ M ; 1 ≤ j ≤ N (1.2f); C > 0 Rx  0 (1.2g) 1.2.4 Mạch điện của một nơron tế bào CNN có thể được mô phỏng bằng mạch điện phi tuyến từ việc ghép nối các liên kết cục bộ theo không gian bởi các khối mạch điện giống nhau, mỗi khối mạch điện được gọi là một nơron tế bào có kích thước (M  N) 1.2.5 Mô hình hình học của nơron tế bào chuẩn CNN được tạo thành với nhiều kiểu lưới liên kết khác nhau, các kiểu liên kết có dạng lưới hình vuông với (M  N) chiều được mô tả bởi các đặc tính (1.2a - 1.2g) ở các dạng hình tam giác, hình lục giác, hình ngũ giác,... 1.2.6 Động học của mạng nơron tế bào 1.2.6.1 Giới hạn trạng thái xij của CNN chuẩn Định lý 1: giới hạn trạng thái xij của CNN chuẩn của Leo O. Chua Tất cả các trạng thái xij trong CNN đều bị giới hạn với mọi t >0 và điều kiện ràng buộc liên kết xmax được tính theo công thức (1.3). xmax = 1 + Rx I + Rx max   ( i , j ) ( k ,l ) ( A(i, j; k , l ) + B(i, j; k , l ) ) (1.3) 1.2.6.2 Hàm Lyapunov của CNN chuẩn Định lý 2: hàm Lyapunov của CNN chuẩn là hàm có giới hạn (theo Leo O. Chua), là hàm vô hướng E(t) (1.4). 1 1 2 E(t) = -   A(i, j; k,l)yij (t)ykl (t)+  yij (t) - 2 (i, j) ( k,l) 2Rx (i, j) -   B(i, j;k,l)yij (t)ukl -  Iyij (t) (1.4) (i, j ) ( k,l) (i, j ) 1.2.6.3 Phương pháp xây dựng hàm E(t) Từ phương trình trạng thái (1.2a), xác định hàm E (t ) (1.4) để CNN có thể ứng dụng được, chúng ta thực hiện các bước: B.1. Đổi dấu vế phải của phương trình (1.2a); B.2. Nhân kết quả của B.1 với  yij (t ) ; B.3. Thay (i, j )
7 xij = yij ; Bước 4. Thêm 1 cho  yij2 . 2 (i, j ) 1.2.6.4 Chứng minh đạo hàm của hàm E(t) không dương Định lý 3: đạo hàm của hàm E(t) không dương. Hàm vô hướng E(t) được cho trong (1.4) là một hàm đơn điệu giảm, nghĩa là đạo hàm của nó dE (t ) không dương (1.5), tức là: 0 (1.5) dt 1.2.5.5 Xác định của hàm E(t) Định lý 4: hàm E (t ) tiến tới một hằng số và đạo hàm của nó bằng 0. Cho vectơ đầu vào u, vectơ trạng thái ban đầu x bất kỳ của CNN được mô tả theo công thức (1.2a -1.2g), chúng ta có E(t) hội tụ về một hằng số dương hoặc âm và đạo hàm của nó hội tụ về 0 khi t →  , tức là: dE (t ) lim E (t ) = const (1.6a); và lim =0 (1.6b) t → t → dt Định lý 4a: ổn định đầy đủ Sau quá trình quá độ của CNN được mô tả đảm bảo các điều kiện trong phương trình (1.2a - 1.2g), CNN suy giảm về 0, chúng ta luôn thu được đầu ra của CNN yij(t) là một hằng số: Khi lim E (t ) = const, 1 i  M, 1 j  M (1.7) t → Loại ổn định này được gọi là ổn định đầy đủ. 1.3 Tình hình nghiên cứu CNN trên thế giới và Việt Nam 1.3.1 Nghiên cứu cấu trúc của mạng nơron tế bào Trong những năm gần đây, CNN được tập trung xem xét các mô hình có độ trễ thay đổi theo thời gian, độ trễ hỗn hợp, mạng nhiều lớp, CNN khuếch tán mờ; CNN bậc cao có trễ, bậc cao mờ, bậc cao đa biến. 1.3.2 Ổn định của mạng nơron tế bào Ổn định của CNN thường được đề cập đến: ổn định Lyapunov và ổn định đầy đủ. Hai loại ổn định này về cơ bản giống nhau: Cùng dùng cho hệ phi tuyến; Cùng tìm một hàm. Ổn định đầy đủ có E(t) xác định âm và dương. 1.3.3 Học trong mạng nơron tế bào
8 Các nghiên cứu khảo sát về lớp mạng CNN có độ trễ thay đổi theo thời gian và xem xét một số điều kiện đủ để mạng ổn định theo cấp số nhân, thiết lập điều kiện đủ cho mạng ổn định. 1.3.4 Nghiên cứu và ứng dụng mạng nơron tế bào Các nghiên cứu về CNN đã đạt được các kết quả như nghiên cứu chế tạo máy tính vạn năng CNN, ứng dụng trong nhận dạng và xử lý ảnh, ứng dụng làm bộ nhớ liên kết. Các nghiên cứu về CNN bậc cao đa biến, bậc cao trễ có thời gian thay đổi. Tại Việt Nam, năm 2006, có dự án hợp tác nghiên cứu CNN giữa Viện Công nghệ Thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam với Viện Nghiên cứu Máy tính và Tự động, Viện Hàn lâm Khoa học Hungary (MTA SzTAKI). Dự án này đã nhập máy tính vạn năng CNN cho đào tạo thạc sĩ, nghiên cứu sinh về: giải phương trình vi phân, xử lý đo đếm ảnh của các đối tượng chuyển động tốc độ cao. CNN được các trường đại học Bách khoa Hà Nội, Học viện Công nghệ Bưu chính Viễn thông, Trường đại học Thái Nguyên, Viện Điện tử Tin học Tự động hóa (Bộ Công Thương)… nghiên cứu phát triển cấu trúc, luật học và ứng dụng. 1.3.5 Nhận xét Qua các nghiên cứu được trình bày ở các mục (1.3.1 - 1.3.4) cho thấy CNN đã có nhiều công trình nghiên cứu, phát triển cả về cấu trúc, luật học, ổn định và ứng dụng chế tạo máy tính nơron, giải các bài toán nhận dạng, xử lý ảnh tốc độ cao, bộ nhớ liên kết. Tuy nhiên, còn nhiều vấn đề cần được tiếp tục nghiên cứu, trong đó có CNN bậc đa thức (tương tác bậc cao) hiện chưa được đề cập. 1.4 Phát biểu bài toán nghiên cứu a) CNN chuẩn của Leon O. Chua có đầu vào tuyến tính (bậc nhất) uij như (1.8) và phản hồi cũng tuyến tính (bậc nhất) đối với yij như (1.9).  B(i, j; k , l )ukl (1.8);  A(i, j; k , l ) ykl (t ) (1.9) ( k ,l ) ( k ,l )
9 b) Vấn đề đặt ra: Điều gì sẽ xảy ra khi đầu vào và phản hồi không phải là đơn (tuyến tính) mà là dạng đa tương tác (dạng đa thức hay bậc cao) đối với đầu vào và phản hồi tương ứng như (1.10) và (1.11).  B(i, j; k , l )ukl umn ;...; uqz (1.10);  A(i, j; k , l ) ykl ymn ;...; yqz (t ) (1.11) ( k ,l ) ( k ,l ) Bậc tương tác trong luận án được ký hiệu là h, với h = ykl ymn ;...; yqz . 1.5 Kết luận chương 1 Từ nghiên cứu tổng quan, tác giả nhận thấy CNN tương tác bậc cao đang là hướng mở và chưa có người làm. Vì vậy, tác giả đề xuất phát triển CNN chuẩn của Leon O. Chua thành CNN tương tác bậc cao với các nội dung: i) Phát triển cấu trúc; ii) Tìm một dạng hàm giống Lyapunov nhằm khẳng định khả năng ổn định của mạng; iii) Xác định bộ nhớ liên kết và một vài khả năng ứng dụng khác. Chương 2 PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠRON TẾ BÀO BẬC CAO Chương hai kế thừa kết quả từ CNN chuẩn để phát triển thành CNN tương tác bậc cao. Đầu tiên, tác giả phát triển từ CNN chuẩn thành CNN bậc hai và đề xuất hàm E(t), chứng minh mạng đó ổn định. Sau khi có kết quả, tác giả sử dụng phương pháp quy nạp với cùng các nội dung đó cho mạng bậc cao tổng quát. Cuối cùng, mô phỏng và kiểm chứng tính ổn định CNN bậc hai để kiểm chứng kết quả nghiên cứu. 2.1 Mạng nơron tế bào bậc hai Định nghĩa 3. Mạng nơron tế bào tương tác bậc hai CNN tương tác bậc hai có các đầu vào kết nối và các đầu ra phản hồi bậc hai theo kiểu đa thức bậc hai (tương tác bậc hai). Ngoài các số hạng bậc nhất như (1.2a) còn có tổng các tích bậc hai của các tín hiệu đầu ra yij với mảng A(i,j;k,l) và tổng các tích bậc hai của các tín hiệu điều khiển uij với mảng đầu vào B(i,j;k,l); trong đó (k, l) và (m,n) là lân cận điểm (i,j).
10 2.1.1 Mô hình toán học của mạng nơron tế bào tương tác bậc hai Cấu trúc của CNN tương tác bậc hai được mô tả bằng phương trình: - Phương trình trạng thái dxij (t ) 1 C =− xij (t ) +  A(i, j; k , l ) ykl (t ) +  B(i, j; k , l )ukl + I dt Rx ( k ,l ) ( k ,l ) +   A(i, j; k , l , m, n) ykl (t ) ymn (t ) +   B(i, j; k , l , m, n)ukl umn ( k ,l ) ( m,n) ( k ,l ) ( m,n) 1≤i≤M;1≤j≤N (2.1a) - Phương trình đầu ra, đầu vào, điều kiện ràng buộc: giống phương trình (1.2b – 1.2e). - Tham số giả định (điều kiện đảm bảo CNN bậc 2 ổn định) A(i , j ;k ,l ) = A( k ,l ;i , j ) ; A(k ,l ;i , j ;m,n ) = A(k ,l ;m,n;i , j ) = = A( m,n;i , j ;k ,l ) = A( m,n;k ,l ;i, j ) = A(i, j;k ,l ;m,n) = A(i, j;m,n;k ,l ) 1 ≤ i,k,m ≤ M; 1 ≤ j,l,n ≤ N C  0 và Rx  0 (2.1b); (2.1c) 2.1.2 Ổn định mạng nơron tế bào tương tác bậc hai Định nghĩa 4: định nghĩa ổn định đầy đủ của CNN bậc hai Cho một hàm năng lượng E(t): 1 E (t ) = −   A(i, j; k , l ) yij (t ) ykl (t ) −   B(i, j; k , l ) yij (t )ukl −  Iyij (t ) 2 (i , j ) ( k ,l ) (i , j ) ( k ,l ) (i , j ) 1  1 2 +  yij (t ) +  −    A(i, j; k , l ; m, n) yij (t ) ykl (t ) ymn (t ) − 2 Rx (i , j )  3 (i, j ) ( k ,l ) ( m,n)  −    B (i, j; k , l ; m, n) yij (t )ukl umn  (i , j ) ( k ,l ) ( m,n )    1 i,k,m M ; 1 j,l,n N   (2.2) Mạng CNN bậc 2 được mô tả bởi các phương trình (2.1a - 2.1c) là ổn định đầy đủ khi tìm được hàm E(t) đảm bảo hai điều kiện: dE (t ) lim E ( t ) = Const (có thể dương hoặc âm); lim 0 t→ t → dt 2.1.3 Chứng minh hàm E(t) là hàm bị chặn Bổ đề 2.1: hàm E(t) theo (2.2) của CNN tương tác bậc hai là hàm xác định âm hoặc dương (điều kiện thứ nhất) Cho CNN tương tác bậc hai theo (2.1a-2.1c) và hàm E(t) theo (2.2);
11 khi đó, trị tuyệt đối lớn nhất của E(t) nhỏ hơn hoặc bằng một giá trị Emax tức là: max E (t )  Emax (2.3) (t ) 1  1  Với Emax =   A ( i, j; k, l ) +   B ( i, j; k, l ) + MN  + I + 2 (i, j ) ( k, l ) (i, j ) ( k, l )  2 Rx  1 +    A(i, j; k, l; m, n) +    B(i, j; k, l; m, n) 3 (i, j ) ( k, l ) ( m, n) (i, j ) ( k, l ) ( m, n) 1  i, k, m  M ; 1  j, l, n  N (2.4) 2.1.4 Chứng minh đạo hàm của hàm E(t) không dương Bổ đề 2.2: đạo hàm của của hàm E(t) không dương (điều kiện thứ 2) Cho CNN tương tác bậc được mô tả trong phương trình (2.1a - 2.1c) và hàm vô hướng E(t) được xác định trong phương trình (2.2) là một hàm dE (t ) đơn điệu giảm, do đó: lim 0 (2.5) t → dt 2.1.5 Tính ổn định trạng thái xij (t ) và đầu ra yij (t ) của CNN bậc hai Bổ đề 2.3: Tất cả các trạng thái xij (t ) trong CNN đa tương tác bậc hai là giới hạn với mọi t > 0 và xmax giới hạn được xác định bởi:  ( xmax = 1+ Rx I + Rx max   A(i, j; k,l) + B(i, j; k,l) + (i, j )  ( k,l ) ) + ( A(i, j; k , l; m, n) + B(i, j; k , l; m, n) ) (2.6) ( k ,l ) 2.1.6. Mô hình hình học của mạng nơron tế bào tương tác bậc hai Mô hình CNN tương tác bậc hai 2 trên Matlab với bán kính r=1, và M = N =3, sơ đồ cấu trúc CNN tương tác bậc 2 trên Matlab ghép theo mảng A và B của tế bào có kích thước (4  4). 2.2 Mạng nơron tế bào tương tác bậc cao 2.2.1 Mô hình của mạng nơron tế bào tương tác bậc cao Từ CNN bậc 2 trong (2.1a), tác giả theo phương pháp quy nạp để phát triển thành CNN tương tác bậc cao như sau: - Phương trình trạng thái:
12 dxij (t ) 1 C =  A(i, j; k , l ) ykl (t ) +  B(i, j; k , l )ukl + I − xij (t ) dt ( k ,l ) ( k ,l ) Rx +   A(i, j; k , l; m, n) ykl (t ) ymn (t ) +   B(i, j; k , l; m, n)ukl umn + ( k ,l ) ( m,n) ( k ,l ) ( m,n) +   ...  A(i, j; k , l; m, n;...; q, z ) ykl (t ) ymn (t )... yqz (t ) ( k ,l ) ( m,n) ( q, z ) +   ...  B(i, j; k , l ; m, n;...; q, z )ukl umn ...uqz (k ,l ) ( m,n) ( q, z ) 1 ≤ i, k, m,…,q ≤ M ; 1 ≤ j, l, n,…,z ≤ N (2.7a) Phương trình đầu vào, đầu ra, các điều kiện ràng buộc giống mạng bậc hai. Các thông số giả định: A(ij; kl) = A(kl;ij) ; A(ij; kl; mn) = A(ij; mn; kl ) = A(kl;ij; mn) = A(kl; mn;ij) = A(mn;ij; kl) = A(mn; kl;ij) = ... = A(kl ; ij; mn;...; qz ) = A(kl ; mn; ij ;...; qz ) = A(mn; ij ; kl ;...; qz ) = A(mn; kl ; ij ;...; qz ) = ... = A( qz;...; kl ; ij; mn) = A(qz;...; kl ; mn; ij ) = A(qz;...; mn; ij ; kl ) = A(qz ;...; mn; kl ; ij ) 1 ≤ i,k,m,…,q ≤ M; 1≤ j,l,n,…,z ≤ N (2.7b); C  0 Rx  0 (2.7c) 2.2.2 Ổn định mạng nơron tế bào tương tác bậc cao Định nghĩa 5. Cho một hàm vô hướng E(t) được xác định tương ứng với CNN bậc cao trong (2.8). Các điều kiện để đảm bảo CNN bậc cao được cho tương tự như CNN bậc 2 [A.2, A.5]. 2.2.3 Chứng minh hàm E(t) cho CNN bậc cao là hàm bị chặn Bổ đề 2.4. Từ phương trình cho thấy E(t) là một hàm bị chặn dựa trên các điều kiện 1  i, k, m  M ; 1  j, l, n  N cho CNN bậc hai. Sử dụng phương pháp quy nạp cho mạng bậc cao. max E (t )  Emax (2.8) 1 1 trong đó Emax =   A(i, j; k , l ) +   B(i, j; k , l ) + MN ( )+ I 2 (i, j ) ( k ,l ) (i , j ) ( k ,l ) 2R 1 +    A(i, j; k , l ; m, n) +    B(i, j; k , l ; m, n) + 3 (i , j ) ( k ,l ) ( m,n) (i , j ) ( k ,l ) ( m, n) 1 + ... +    ...  A(i, j; k , l ; m, n...q, z ) + h + 1 (i , j ) ( k ,l ) ( m,n) ( q, z ) +    ...  B(i, j; k , l ; m, n...q, z ) (i , j ) ( k ,l ) ( m,n) ( q, z ) 1  i, k, m,…,q  M ; 1  j, l, n,…, z  N. Ở đây, h là bậc đa thức của CNN.
13 2.2.4 Chứng minh đạo hàm hàm E(t) cho CNN đa tương tác không dương Bổ đề 2.5. Hàm vô hướng E(t) được xác định là hàm liên tục, đơn điệu dE (t ) giảm, đảm bảo điều kiện: 0 (2.34) dt 2.2.5. Ổn định trạng thái xij (t) và ổn định đầu ra yij (t) của CNN bậc cao Bổ đề 2.6. Tất cả trạng thái xij (t ) trong CNN đa tương tác (bậc h) là bị chặn với mọi t > 0 và xmax có thể tính được cho CNN bậc h bất kỳ.  ( xmax = 1+ Rx I + Rx max   A(i, j; k,l) + B(i, j; k,l) + (i , j )  ( k,l ) ) +  ( k ,l ) ( m,n ) ( A(i, j; k , l; m, n) + B(i, j; k , l; m, n) ) + ...  +  ...  ( A(i, j; k , l ; m, n;...; q, z ) + B (i, j; k , l ; m, n;...; q, z ) )  ( k ,l ) ( m,n ) ( q, z )  2.3 Mô phỏng cấu trúc và xác định tính ổn định của CNN đa tương tác Trong phạm vi của luận án, tác giả chọn bậc 2 đại diện cho CNN tương tác bậc cao (đa tương tác) để mô phỏng. 2.3.1 Bài toán mô phỏng: Cho đầu vào (Input) - CNN được mô phỏng với các giá trị ban đầu gồm các mảng phản hồi A, các mảng điều khiển B, mảng trạng thái ban đầu u, ngưỡng I với bán kính r =1: Kích thước mạng M  N= 4  4; k,l =m,n=3  3; bán kính r=1; tụ điện C=10-9F; Điện trở R=10 Ω 3; Các hệ số: A(i, j; k, l)=[0 1.0 0; 1.0 2.0 1.0; 0 1.0 0]; B(i, j; k, l)=[0 0 0; 0 0 0; 0 0 0]; Các hệ số A(i,j; k,l; m,n) B(i, j; k, l;m,n); Mảng tín hiệu đầu vào (u) = [0 0 0 0; 0 0 0 0; 0 0 0 0; 0 0 0 0]; Mảng khởi tạo trạng thái (x) = [0.8 0.7 1.0 -0.1; 1.0 1.0 1.0 1.0; 1.0 0.9 0.7 0.8; -0.1 1.0 0.8 1.0]; - Thời gian: 20 bước (t=20µs); kết quả: xác định x(t); y(t). 2.3.2 Kịch bản mô phỏng a) Kịch bản một: Mảng đẩu vào B(i,j;k,l)=B(k,l;i,j)=0, trường hợp này tham số đầu vào bằng 0 có nghĩa không có đầu vào. A(i,j;k,l) = A(i,j;k,l;m,n) = [0 1.0 0; 1.0 2.0 1.0; 0 1.0 0]
14 b) Kịch bản hai: Mảng đầu vào B: [0.5 0.5 0.5; 0.5 0.5 0.5; 0.5 0.5 0.5]; u = [1 1 1; 1 1 1; 1 1 1] c) Kịch bản ba : Mảng đầu vào B: [0.5 0.5 0.5; 0.5 0.5 0.5; 0.5 0.5 0.5]; u = [-1 -1 -1; -1 -1 -1; -1 -1 -1]. 2.3.3 Kết quả mô phỏng mạng nơron tế bào a. Kết quả theo kịch bản 1 ta có: Hình 2.3 Kết quả đầu ra x11, x12 theo (kịch bản 1) trên Matlab Hình 2.4 Kết quả đầu ra y11, y12 theo (kịch bản 1) trên Matlab b) Kết quả theo giả định tại 2.3.2 b (kịch bản 2) ta có Hình 2.5 Kết quả đầu ra x11, x12 theo (kịch bản 2) trên Matlab
15 Hình 2.6 Kết quả đầu ra y11, y12 theo (kịch bản 2) trên Matlab c) Kết quả theo giả định tại 2.3.2 c (kịch bản 3) ta có Hình 2.7 Kết quả đầu ra x11, x12 theo (kịch bản 3) trên Matlab Hình 2.8 Kết quả đầu ra y11, y12 theo (kịch bản 3) trên Matlab Kết quả đầu ra y(t) và x(t) với thời gian 20µs tương ứng 20 bước tại các vị trí C11 (tế bào đầu tiên) và C22 (trung tâm) làm đại diện của mảng CNN tương ứng với A22, B22, u22 cho thấy trạng với mạng bậc cao giảm được thời gian quá độ, sớm đi vào ổn định và ổn định toàn mạng sớm hơn. 2.3.4 Nhận xét
16 Với ba kịch bản được sử dụng để mô phỏng cho thấy kết quả mô phỏng của CNN tương tác bậc hai cho đầu ra y(t) liên tục (quá trình quá độ là đường dốc), không xuất hiện thời gian quá độ và hội tụ toàn cục sớm hơn so với CNN chuẩn của Leon O. Chua. 2.4 Kết luận chương 2 Ý nghĩa và mục đích lớn nhất của chương này là phát triển cấu trúc CNN chuẩn thành CNN tương tác bậc cao. Do cấu trúc của CNN là mạng có phản hồi từ đầu ra về đầu vào dễ gây dao động tự kích gây mất ổn định và không sử dụng được. Như vậy việc tìm điều kiện để mạng phát triển được ổn định. Ngoài các bổ đề và hệ quả được chứng minh để đảm bảo tính khoa học của việc phát triển CNN tương tác bậc cao, tác giả đã tiến hành kiểm chứng bằng phương pháp mô phỏng với số lượng lớn các tế bào. Kết quả cho thấy hệ bậc cao có chất lượng ổn định tốt hơn. Chương 3 BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 3.1 Bộ nhớ liên kết Một câu hỏi đặt ra là, mạng nơron nhân tạo có khả năng nhớ như người được không? Câu trả lời là có. Mạng truyền thẳng cũng có khả năng nhớ, nhưng thể hiện rõ nhất khả năng nhớ là mạng nơron hồi quy. Trong mạng nơron hồi quy tồn tại một loại bộ nhớ gọi là bộ nhớ liên kết. Bộ nhớ liên kết có thể nhớ các đặc trưng của những mẫu được học. Từ đó, nảy sinh vấn đề áp dụng khả năng nhớ của CNN để giải bài toán nhận dạng. Đầu tiên tác giả sẽ làm rõ khả năng nhớ theo kiểu liên kết của CNN chuẩn, sau đó nghiên cứu khả năng nhớ và nhận dạng của CNN bậc hai (đại diện cho CNN bậc cao). 3.2 Bộ nhớ liên kết 3.2.1 Bộ nhớ liên kết của CNN chuẩn 3.2.1.1 Mô hình toán học cấu trúc bộ nhớ liên kết
17 Trong phạm vi của luận án, với mục đích làm rõ khả năng ứng dụng của CNN, tác giả giới hạn xác định ma trận A (temp A) bằng luật Hebb, luật học không có tín hiệu chỉ đạo, ứng với các giá trị của ma trận điều khiển B và ma trận ngưỡng I bằng 0. Với giả thiết đó thì mô hình của CNN (1.2a) trong chương 1 trở thành dạng như sau: dx (t ) ij 1 C =− xij (t ) +  A(i, j; k,l)ykl (t ) (3.1) dt Rx ( k,l ) Cho Rx =1 (một). Khi xij (t ) được xác định 1 giá trị, nó trở thành hằng số, lúc này đạo hàm của hằng số bằng 0, và phương trình (3.1) có dạng: C.0 = − xij (t) +  A(i, j; k,l)ykl (t) (3.2) ( k,l ) từ (3.2), có thể viết lại như sau: xij (t ) =  A(i, j;k,l)ykl (t ) (3.3) ( k,l ) và mô hình hình học có dạng như (Hình 3.1): Hình 3.1 Bộ nhớ liên kết của CNN chuẩn có B và I bằng 0 3.2.1.2 Bộ nhớ lên kết A(i, j; k,l) Để xây dựng bộ nhớ liên kết cho CNN, tác giả dựa vào luật Hebb được cho wij = yi y j ta xây dựng công thức tính tham số A(i, j;k,l) như sau: p ( ) T A(i, j;k,l) =  Ykls Ykls (3.4) s=1 a) Tính vectơ trạng thái: X = A( j , j; k , l )Ykl ( Ykl là mẫu huấn luyện) b) Tính đầu ra Yij 3.2.1.3 Bài toán nhận dạng mẫu sử dụng CNN chuẩn làm bộ nhớ liên kết a) Phát biểu bài toán: Cho 3 mẫu người với các đặc trưng
18 Y =  y11 y12 y13 y21 y22 y23 y31 y32 y33  ; Mẫu 1 = Ykl1 = 1 1 1 1 1 1 1 1 1 T T Mẫu 2 = Ykl = -1 -1 -1 -1 -1 -1 -1 -1 -1 ; Mẫu 3 = Ykl3 = 1 1 1 1 1 -1 -1 -1 -1T 2 T b) Bài toán đặt ra Trường hợp 1: Thể hiện 3 mẫu đó được nhớ trong ma trận trọng số A(i,j;k,l); Trường hợp 2. Giả sử có 1 trong 3 người có các đặc điểm như các mẫu hoặc Y1 hoặc Y2 hoặc Y3 được đưa vào CNN. Nếu quả thực A(i,j;k,l) là bộ nhớ thì CNN phải gọi ra được người đó đã được nhớ trong A(i,j;k,l). Đây là quá trình gọi lại; Trường hợp 3. Thử nghiệm 1 mẫu nào đó sai 1 bit, 2 bit, 3 bit tức là người đó (đối tượng) thay đổi từ 1 sang -1 thì CNN có nhận ra người đó không? c) Giải bài toán - Trường hợp 1: Tính bộ nhớ A(i,j;k,l) theo (3.2.1.2). p ( ) T - Trường hợp 2 và 3: Theo (3.5), A(i, j;k,l ) =  Ykls Ykls s=1 - Trong 3 trường hợp sai 1 bit, 2 bit, 3 bit mạng đều cho kết quả đúng. 3.2.2 Bộ nhớ liên kết sử dụng CNN tương tác bậc hai 3.2.2.1 Mô hình toán học cấu trúc bộ nhớ liên kết bậc cao Theo các điều kiện được áp dụng ở CNN chuẩn cho bộ nhớ liên kết được trình bày trong mục (3.2.1), tác giả tiến hành xây dựng bộ nhớ liên kết sử dụng CNN bậc cao (sử dụng CNN bậc 2 làm đại diện). Từ (2.1a) và (3.4), tác giả đề xuất phương trình áp dụng CNN bậc hai cho bộ nhớ liên kết gồm hai thành phần như sau: xij (t) =  A(i, j; k , l ) ykl (t ) +   A(i, j; k , l ; m, n) ykl (t ) ymn (t ) (3.5) ( k ,l ) ( k ,l ) ( m,n ) Trong phương trình (3.5) bao gồm hai thành phần: - Bậc nhất xij (t) =  A(i, j; k , l ) ykl (t ) và A(i, j; k,l) được tính cho ( k ,l ) - bộ nhớ liên kết CNN chuẩn được tác giả trình bày trong (3.4). - Bậc hai được sử dụng làm bộ nhớ liên kết cho CNN bậc hai, từ (3.5) được viết lại như sau: