Mạng nơron phản hồi và tính ổn định của mạng nơron phản hồi

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:3

Thêm vào BST

Báo xấu

10
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết Mạng nơron phản hồi và tính ổn định của mạng nơron phản hồi trình bày cấu trúc mô hình mạng nơron Cohen-Grossberg, mạng nơron Hopfield liên tục cùng các mối liên hệ giữa hai mô hình này và giới thiệu về cách xây dựng hàm Lyapunov để phân tích GAS phụ thuộc vào trễ của RNNs.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Mạng nơron phản hồi và tính ổn định của mạng nơron phản hồi

KHOA HỌC CÔNG NGHỆ MẠNG NƠRON PHẢN HỒI VÀ TÍNH ỔN ĐỊNH CỦA MẠNG NƠRON PHẢN HỒI Lê Đào Hải An* ABSTRACT The article describes the recurrent neural network model, which is the Cohen-Grossberg neural network and the Hopfield neural network, and the relationships between these two models. These are two neural network models that have proven to have far-reaching applications in practice. Up to now, the study of the stability of the recurrent neural networks is still a matter of interest to scientists. In which, building a suitable Lyapunov function and finding less conservative conditions is a very important issue to study the stability of the recurrent neural networks. Keywords: Recurrent neural networks (RNNs), Hopfield neural networks, Cohen-Grossberg neural networks. Received: 16/3/2023; Accepted: 10/04/2023; Published: 28/05/2023 1. Đặt vấn đề đề phân tích, nhận dạng giọng nói và giải quyết các Mạng nơron phản hồi (RNNs) lần đầu tiên được bài toán tối ưu hóa. Tiếp nối Hopfield, đối với các Kohonen, Anderson và Nakano đề ra từ những năm mạng trong kĩ thuật, năm 1983, lần đầu tiên, hai nhà 1972. Mục đích đưa phản hồi ngược vào cấu trúc khoa học là Cohen và Grossberg đã đề xuất một mô mạng nơron để tạo ra mô hình động lực học với một hình nổi tiếng về mạng nơron phản hồi tổng quát và số điểm cố định, còn gọi là điểm cân bằng. Trong chứng minh được tính ổn định của nó, đánh dấu bước trường hợp tổng quát, mô hình động lực học của ứng dụng mạnh mẽ của mạng nơron vào các ngành mạng nơron phản hồi được mô tả như sau: khoa học-kĩ thuật phục vụ con người. Vấn đề ổn định của mạng nơron phản hồi (RNNs) liên tục đã được nghiên cứu rất sâu rộng trong ba thập kỷ qua và có rất nhiều bài báo đã được công bố trong x(t) là biến trạng thái, I(t) là đầu vào từ bên ngoài, k là các tài liệu hiện có. Ta biết rằng, cách tiếp cận dựa tham số, F(.) là hàm mô tả cấu trúc mạng nơron, G(.) là trên mạng nơron phản hồi mục đích là để giải quyết hàm mô tả quan hệ giữa biến trạng thái và đầu ra y(t). các vấn đề tối ưu hóa, sử dụng các tính toán tương Mạng nơron phản hồi là một mạng lưới với các tự được thực hiện trên các thiết bị điện tử để thay thế nút giống nơron, trong đó mỗi nơron được nối trực tính toán số được thực hiện bởi các thuật toán toán tiếp với các nơron khác. Các nơron trong mạng được học, điều này đã thu hút sự chú ý của các nhà khoa chia thành các nơron đầu vào (nhận dữ liệu từ bên học trong suốt 3 thập kỷ qua. Một vấn đề đặt ra là ngoài), các nơron đầu ra (kết quả mang lại) và các do sự tồn tại của nhiều điểm cân bằng trong RNNs, nơron ẩn (sửa đổi dữ liệu trên đường từ đầu vào tới trong đó sẽ có các nghiệm tối ưu giả, điều này hạn đầu ra). Mỗi nơron có một kích hoạt giá trị thực biến chế các ứng dụng của mạng nơron phản hồi. Do đó, thiên theo thời gian (hàm số kích hoạt) và mỗi khớp vấn đề ổn định tiệm cận toàn cục (GAS) hay ổn định nối synap có trọng số thực có thể thay đổi. Năm 1982, mũ toàn cục (GES) của một điểm cân bằng duy nhất lần đầu tiên Hopfield đã thiết kế một mạng nơron trong RNNs có tầm quan trọng rất lớn trên cả hai lĩnh phản hồi đặc biệt, là mạng nơron một lớp dạng rời vực lý thuyết và ứng dụng. rạc với hàm kích hoạt phi tuyến dạng bước nhảy và Nghiên cứu ban đầu về tính ổn định toàn cục của tất cả các kết nối giữa các nơron là đối xứng. Công RNNs dựa trên một số phương pháp phân tích đại bố này đã chỉ ra được tính năng đặc biệt của mạng số, chẳng hạn như M-ma trận, bất đẳng thức đại số, nơron phản hồi là nó có thể sử dụng bộ nhớ trong để chuẩn ma trận, độ đo ma trận và bán kính phổ. Thông xử lý các chuỗi đầu vào tùy ý, tính năng này làm cho thường, các tiêu chí ổn định toàn cục có được từ các mạng nơron Hopfield có thể ứng dụng trong các vấn phương pháp này là các tiêu chí độc lập với trễ do *Trường Đại học Hàng hải Việt Nam 70 TẠP CHÍ KHOA HỌC QUẢN LÝ VÀ CÔNG NGHỆ - SỐ 25 QUÝ II/2023
KHOA HỌC CÔNG NGHỆ không bao gồm thông tin về độ trễ thời gian. Các tiêu (2). Trong mạng nơron ở [4], do ảnh hưởng của độ trễ chí này có thể xây dựng một số mối quan hệ nhất tín hiệu, ta được mô hình mở rộng của mạng nơron định giữa các tham số hệ thống, do đó chúng có ý Hopfield sau: nghĩa cả trong thực tế và lý thuyết [1]. Nếu không biết thông tin về trễ thì các tiêu chí ổn định độc lập với (3) trễ thực sự hữu ích để kiểm tra tính ổn định toàn cục của RNNs với trễ. Bài báo trình bày cấu trúc mô hình w1ij là hệ số trọng số kết nối liên kết với số hạng có trễ. mạng nơron Cohen-Grossberg, mạng nơron Hopfield Ta thấy rằng, trong các mạng nơron sinh học và mạng liên tục cùng các mối liên hệ giữa hai mô hình này và nơron thực tế, cả truyền tín hiệu tức thời và truyền tín giới thiệu về cách xây dựng hàm Lyapunov để phân hiệu trễ thường xuyên xảy ra đồng thời và tạo ra các hiện tích GAS phụ thuộc vào trễ của RNNs. tượng phức tạp hơn. Do đó, tương tự mô hình (2), các 2. Nội dung nghiên cứu mô hình mạng nơron phản hồi liên quan đến các hành 2.1. Cấu trúc mô hình mạng nơron phản hồi động trạng thái tức thời và bị trì hoãn đã trở thành dạng Trong công bố [2], Cohen và Grossberg đã đề xuất mô hình trọng điểm và được các nhà khoa học quan một mô hình mạng nơron phản hồi: tâm nghiên cứu sâu rộng trong suốt hai thập kỉ qua. Trong nhiều áp dụng thực tế, tín hiệu được truyền (1) từ điểm này sang điểm khác có thể gặp một vài phân đoạn mạng, điều này gây ra sự chậm trễ liên tiếp với trong đó n là số nơron trong mạng, xi(t) là biến trạng các thuộc tính khác nhau do các điều kiện truyền mạng thái của nơron thứ i tại thời điểm t, di(xi(t)) là một khác nhau. Điều này dẫn đến phải kết hợp chúng lại hàm khuếch đại, ai(xi(t)) là một hàm được xác định rõ với nhau, được mô tả trong mô hình sau: để đảm bảo sự tồn tại nghiệm của (1), gj(xj(t)) là một hàm kích hoạt mô tả cách mà nơron thứ j phản ứng (4) với đầu vào xi(t) và wij=wji là hệ số trọng lượng kết nối của các nơron. Nghiên cứu này đã chỉ ra rằng, hệ Hệ (4) đã mở rộng trễ đơn duy nhất cổ điển đến (1) bao gồm một số mô hình từ sinh học, dân số và lý trường hợp trễ đơn liên tiếp. Loại trễ này không thể thuyết tiến hóa. được mô hình hóa thành trễ rời rạc, mà nó là trung Trong mô hình (1), các nơron giao tiếp nhau và gian giữa trễ rời rạc và trễ phân bố. Trong mạng nơron phản ứng tức thì, tuy nhiên, trong các mạng kĩ thuật thường có phạm vi không gian do sự hiện diện của vô (điện tử), thời gian trễ thường xuyên xuất hiện do tốc số đường dẫn song song với nhiều kích thước và độ độ chuyển đổi hữu hạn của các bộ khuếch đại, đây sẽ dài của sợi trục. Điều này sẽ dẫn đến một sự phân bố là một nguồn không ổn định. Hơn nữa, nhiều hiện về trễ lan truyền. Trong trường hợp này, việc truyền tượng liên quan đến chuyển động được diễn ra và mô tín hiệu không còn tức thời và không thể được mô hình hóa bởi mạng nơron kiểu bị trễ, làm cho các hình hóa với độ trễ rời rạc. Người ta mong muốn mô mạng nơron tổng quát có phản hồi và các khớp nơron hình hóa chúng bằng cách đưa ra các độ trễ phân bố kiểu trễ trở nên quan trọng hơn để có thể áp dụng vào liên tục. Ngày nay, có hai loại trễ phân bố liên tục thực tế. Trong công bố [3], đã đưa vào các trễ hằng, trong các mô hình mạng nơron phản hồi, trễ phân bố cho bởi mô hình sau: hữu hạn, được mô tả trong mô hình sau: (2 (5) ở đó tk là trễ hằng số dương bị chặn, di(xi(t)) là hàm số Mô hình (5) và các biến thể của nó đã được ng- dương và bị chặn, wkij là hệ số trọng số kết nối, hiên cứu trong một số công bố, hai là trễ phân bố 0
KHOA HỌC CÔNG NGHỆ x(t)=(x1(t),...xn(t))T, yi=gi(x-i(t)), g-1i(s) là hàm nghịch (6) đảo của gi(s) và wij=wji. Đạo hàm của (9) dọc theo quỹ đạo của (8) là: Nhân trễ Kij(s) là một hàm liên tục không âm có giá trị thực. (10). Nếu nhân trễ Kij(s) có các dạng khác thì các mô hình có trễ trên cũng có thể được phục hồi từ mô hình Nếu g-1i(s) là một hàm tăng đơn điệu, thì (6). Do đó, trễ rời rạc và trễ phân bố hữu hạn có thể được bao gồm trong mô hình (6) bằng cách chọn hàm hạt nhân phù hợp. Từ nghiên cứu trên, cho thấy điều kiện hàm kích hoạt Một mô hình mạng nơron phản hồi với các trễ thông thường là hàm đơn điệu và cách chứng minh phân bố liên tục ở dạng tổng quát đã được đề xuất tính ổn định của hệ (8) đã dựa trên nguyên tắc bất và nghiên cứu trong một số công trình như [5] ... có biến LaSalle. dạng sau đây: (7) 3. Kết luận Trong các mô hình mạng nơron, nhiều nghiên cứu đã chỉ ra, có nhiều các yếu tố dJij(s) và dKij(s) là các độ đo Lebesgue-Stieltjes với khác nhau được xem xét để mỗi i, j=1, 2, …, n. sát với các mô hình trong thực tế, chẳng hạn, hành động 2.2. Cách xây dựng hàm Lyapunov ngẫu nhiên, hành động phản ứng-khuếch tán, tương tác Lý thuyết Lyapunov rất quan trọng khi nghiên cứu bậc cao, hiệu ứng xung và hiệu ứng chuyển đổi... Các tính ổn định của mạng nơron phản hồi, đặc biệt là tính hiệu ứng này đều được áp dụng cho các mạng nơron ổn định của nghiệm gần đến một điểm cân bằng. Tuy Hopfield cơ bản hoặc mạng nơron Cohen-Grossberg, nhiên, các tiêu chí ổn định nhận được có một mức độ dẫn đến nhiều mô hình mạng nơron phức tạp trong các bảo thủ nhất định. Giảm tính bảo thủ trong các tiêu chí ứng dụng khác nhau. Có nhiều hiệu ứng bên trong và ổn định là chủ đề nghiên cứu của nhiều nhà toán học bên ngoài đã được xem xét trong các mạng thực tế bên trong và ngoài nước. Với lý thuyết ổn định Lyapunov, cạnh nhiều loại trễ khác nhau, chẳng hạn như trễ biến để thu được tiêu chí ổn định hiệu quả, cần chọn hàm thiên không đồng nhất hay trễ tỉ lệ, trễ phân bố... Lyapunov phù hợp và ước tính đạo hàm của nó. Sự lựa chọn hàm Lyapunov là rất quan trọng để có được Tài liệu tham khảo các tiêu chí ít bảo thủ hơn. Cho đến nay, các loại hàm 1. H. Zhang, Z. Wang, D. Liu (2014), “A compre- Lyapunov và phương pháp ước tính khác nhau trên hensive review of stability analysis of continuous-time đạo hàm của hàm Lyapunov đã được xây dựng và cải recurrent neural networks”, IEEE Tran. Neural Netw. tiến để nghiên cứu sự ổn định của RNNs. Learn. Syst, 25, 1229-1262. Có thể kể đến đầu tiên là mạng nơron Hopfield 2. M. Cohen, S. Grossberg (1983), “Absolute sta- liên tục trong [6] với giả thiết đối xứng của các trọng bility of global pattern formation and parallel memory số kết nối. Hopfield đã đề xuất một mô hình mạng storage by competitive neural networks”, IEEE Trans. nơron phản hồi với thời gian liên tục: Syst., Man, Cybern.-B:Cybern, 13, 815-826. (8) 3. H. Ye, A.N. Michel, K. Wang (1995), “Qualita- tive analysis of Cohen-Grossberg neural networks with multiple delays”, Phys. Rev., 15, 2611-2618. Với mô hình (8), hàm Lyapunov được xây dựng như sau: 4. J.J. Hopfield (1982), “Neural networks and phys- ical system with emergent collective computational abilities”, In:Proc. National Acad. Sci. USA, 79, 2554- (9 2558. 72 TẠP CHÍ KHOA HỌC QUẢN LÝ VÀ CÔNG NGHỆ - SỐ 25 QUÝ II/2023