Tóm tắt Luận án Tiến sĩ Công nghệ thông tin: Mô phỏng quá trình ghi nhớ của hệ thống nơron sinh học

Nông Thị Hoa

MÔ PHỎNG QUÁ TRÌNH GHI NHỚ

CỦA H TH Ơ O S C

Chuyên ngành: Khoa học máy tính

Mã số: 62.48.01.01

TÓM TẮT LUẬN ÁN TIẾ SĨ THÔNG TIN

Hà Nội –2014

Công trình được hoàn thành tại: Trường Đại học Công nghệ - Đại học Quốc gia

Hà Nội.

Người hướng dẫn khoa học: PGS.TS. Bùi Thế Duy

Phản biện 1:

Phản biện 2:

Phản biện 3

Luận án tiến sĩ sẽ được bảo vệ trước hội đồng cấp Đại học Quốc gia chấm luận án

tiến sĩ họp tại…………………………………………………………

Vào hồi giờ ngày tháng năm

Có thể tìm hiểu luận án tại:

-Thư viện Quốc gia Việt Nam

-Trung tâm Thông tin – Thư viện, Đại học Quốc gia Hà Nội

MỞ ĐẦU

1. Tính cấp thiết của luận án

Con người được xem là động vật cao cấp nhất nhờ vào khả năng hoạt động đặc biệt của bộ não. Não người phát triển mạnh mẽ và hoàn thiện cho các chức năng như tự điều khiển, lập kế hoạch, lập luận, và suy nghĩ trừu tượng. Các mô hình mô phỏng hoạt động của não người được phát triển để tạo ra các phần mềm máy tính ngày càng thông minh và xử lý thông tin nhanh hơn.

Mạng nơ-ron nhân tạo (ANN) là mô hình toán học mô phỏng hiệu quả hoạt động của các nơ-ron sinh học. Trong đó, Bộ nhớ liên kết hai chiều (BAM), Bộ nhớ liên kết mờ (FAM), và Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART) là ba mạng nơ-ron điển hình mô phỏng quá trình ghi nhớ thông tin. Quá trình học của ba mô hình này chưa tối ưu do hai nguyên nhân: (i) việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hợp lý và (ii) luật học lưu trữ chưa triệt để các thông tin học được từ dữ liệu huấn luyện. Hơn nữa, kết quả của quá trình học có ảnh hưởng lớn đến quá trình nhớ lại các mẫu đã lưu. Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng được các yêu cầu ngày càng phức tạp của các ứng dụng thực.

2. Các đóng góp của luận án

1. Đề xuất thuật toán học mới cho BAM để cho quá trình huấn luyện diễn ra nhanh hơn và linh động hơn. Đồng thời, thuật toán hỗ trợ việc cải thiện khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao.

2. Cải tiến luật học của FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết của các cặp mẫu huấn luyện. Việc cải tiến này giúp nâng cao khả năng nhớ lại từ các mẫu vào có dạng nhiễu phức tạp.

3. Đề xuất hai luật học hiệu quả cho Fuzzy ART với hai ưu điểm gồm học mọi mẫu huấn

luyện và giảm ảnh hưởng của các mẫu huấn luyện dị thường.

Các kết quả của luận án đã được công bố và chấp nhận công bố trong 2 bài báo ở tạp chí ISI quốc tế, 7 báo cáo trong kỷ yếu có phản biện của hội nghị quốc tế được xuất bản bởi IEEE và Springer, và 2 bài báo ở tạp chí trong nước.

3. Bố cục của luận án

Ngoài phần mở đầu và kết luận, luận án được tổ chức như sau.

1

Chương 1 trình bày về bài toán mô phỏng quá trình ghi nhớ thông tin của hệ thống nơ- ron sinh học. Đầu tiên, chúng tôi trình bày các hiểu biết cơ bản nhất về não người và nơ-ron sinh học. Sau đó, các kiến thức quan trọng về luật học của ANN được tổng hợp .

Chương 2 cung cấp các kiến thức cơ bản để mô tả các mô hình đã nghiên cứu và cải tiến. Đầu chương, các thao tác của logic mờ và toán học hình thái được trình bày. Tiếp theo, các mô hình thuộc hai nhóm Bộ nhớ liên kết (AM) và Lý thuyết cộng hưởng thích nghi (ART) được thể hiện theo thứ tự phát triển các mô hình.

Chương 3 đề xuất một thuật toán học mới để BAM học nhanh và linh động hơn. Các thử nghiệm với các nhiệm vụ nhận dạng mẫu cho thấy BAM cải tiến nhớ lại tốt hơn các BAM khác.

Chương 4 thể hiện hai luật học hiệu quả mọi mẫu huấn luyện và một thủ tục tìm giá trị tối ưu cho tham số tốc độ học của Fuzzy ART. Các thực nghiệm trên các bộ dữ liệu chuẩn cho thấy Fuzzy ART với luật học cải tiến nhớ lại các cụm tốt hơn các mô hình khác.

Chương 5 trình bày một luật học cải tiến cho FAM để lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết giữa các cặp mẫu. Các thử nghiệm với nhiệm vụ nhận dạng các chữ số và các ảnh từ cơ sở dữ liệu ảnh của hãng Corel cho thấy FAM cải tiến nhớ lại tốt hơn các FAM khác.

2

CHƯƠNG 1. BÀI TOÁN MÔ PHỎNG QUÁ TRÌNH GHI NHỚ

THÔNG TIN CỦA HỆ THỐNG NƠ-RON SINH HỌC

1.1 Não người và nơ-ron sinh học

1.1.1 Não người

Vỏ não của người là một tầng dày chứa các nơ-ron mà bao phủ hầu hết bộ não. Vỏ não được chia thành bốn "thùy". Mỗi thùy có các vùng vỏ não lớn gắn với một chức năng cụ thể như nhìn, điều khiển chuyển động, ngôn ngữ,.... Một số vùng được mở rộng rất mạnh đặc biệt là vùng chứa ngôn ngữ.

1.1.2 Mạng nơ-ron sinh học

Một mạng nơ-ron sinh học là một chuỗi các nơ-ron có kết nối bên trong mà sự kích hoạt của các nơ-ron tạo thành sự truyền tín hiệu giữa các nơ-ron. Nếu tổng các tín hiệu vào trên một nơ-ron vượt quá một ngưỡng nhất định thì nơ-ron gửi đi một tiềm năng hoạt động ở phần gò sợi trục và truyền các tín hiệu điện tử này theo các sợi trục đến các nơ-ron khác.

1.2 Nơ-ron nhân tạo và mạng nơ-ron nhân tạo

McCulloch và Pitts đã đề xuất một mô hình tính toán cho một nơ-ron sinh học. Nơ-ron nhân tạo tính tổng trọng số của các tín hiệu vào và tạo ra một tín hiệu ra là 1 nếu tổng trọng số cao hơn một ngưỡng nhất định. Ngược lại, tín hiệu ra là 0. Theo toán học,

(1.1)

với θ() là một hàm đầu ra, wj là trọng số của tín hiệu vào thứ j, là ngưỡng, và n là số tín hiệu vào.

Các nơ-ron nhân tạo đã được tổng quát hóa theo các hàm kích hoạt. Hàm sigmoid được

sử dụng thường xuyên nhất có dạng:

(1.2)

với β là tham số lặp

Các nơ-ron nhân tạo kết nối với nhau tạo thành các mạng nơ-ron nhân tạo.

1.3 Mô phỏng quá trình ghi nhớ thông tin của các mạng nơ-ron nhân tạo

Một ANN có hai quá trình gồm quá trình học và quá trình nhớ lại. Ba lược đồ học của ANN là học có giám sát, học không giám sát, và lai giữa hai lược đồ học giám sát và học không giám sát.

3

Có bốn kiểu luật học gồm: luật lỗi-làm đúng (error-correction), luật của Boltzmann, luật của Hebb, và luật học cạnh tranh. Đối với luật lỗi-làm đúng, mô hình học có giám sát theo nguyên tắc sau: dùng lỗi do sự chênh lệnh giữa tín hiệu ra thực và tín hiệu ra mong đợi để thay đổi trọng số kết nối sao cho giảm dần được lỗi. Luật học Boltman là một quy tắc học tập ngẫu nhiên mà điều chỉnh trọng số kết nối để trạng thái của các nơ-ron đáp ứng một phân phối xác suất mong đợi. Luật học của Hebb được phát biểu: Nếu tế bào thần kinh ở hai khớp thần kinh được kích hoạt đồng thời và liên tục thì sự liên kết của hai khớp thần kinh sẽ được tăng lên. Luật học cạnh tranh chỉ cho phép một nơ-ron được kích hoạt cung cấp tín hiệu ra ở một thời điểm.

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

2.1 Logic mờ

2.1.1 Định nghĩa

Cho X là tập khác rỗng. Một tập mờ A trên X được đặc trưng bằng một hàm thuộcviên

với µA(x) thể hiện mức độ thành viên của phần tử x vào tập mờ A đối với mọi x X.

2.1.2 Các phép toán với tập mờ

Cho A, B là hai tập mờ trên X. Với mọi x X,

Phép giao của hai tập A, B được định nghĩa:

(2.1)

Phép hợp của hai tập A, B được định nghĩa:

(2.2)

Phép bù một tập mờ A được định nghĩa:

(2.3)

Phép nối mờ của A, B là một ánh xạ:

(2.4)

thỏa mãn C(0, 0) = C(0, 1) = C(1, 0) = 0 và C(1, 1) = 1.

Một kết nối mờ

(2.5)

thỏa mãn T(x, 1) = x với x [0,1] được gọi là triangular norm hay t-norm.

4

Một phân tách mờ là một ánh xạ

(2.9)

thỏa mãn D(0, 0) = 0 và D(0, 1) = D(1, 0) = D(1, 1) = 1.

Một phân tách mờ

(2.10)

thỏa mãn S(1, x) = x với x [0,1] được gọi là triangular co-norm hay short s-norm.

Một thao tác

(2.14)

được gọi là gợi ý mờ nếu I mở rộng suy diễn thông thường [0, 1] x [0, 1] với I(0, 0) = I(0, 1) = I(1, 1) = 1 và I(1, 0) = 0.

2.2 Toán học hình thái

2.2.1 Lưới đầy đủ

Lưới đầy đủ là một tập có thứ tự, từng phần L trong đó mỗi tập con có một chặn trên và

chặn dưới trong L. Lớp các tập mờ kế thừa cấu trúc lưới đầy đủ của chu kỳ đơn [0, 1].

2.2.2 Các thao tác cơ bản của hình thái toán học

Phép co rút là một ánh xạ từ một lưới đầy đủ L đến một lưới đầy đủ M thỏa mãn công

thức sau:

(2.18)

Phép giãn nở : L M thỏa mãn công thức sau:

(2.19)

2.3 Mô hình AM

2.3.1 Khái niệm về AM

AM là một cấu trúc nội dung-địa chỉ mà ánh xạ các mẫu dữ liệu vào sang các mẫu dữ liệu ra. Một cấu trúc nội dung-địa chỉ là một dạng bộ nhớ mà cho phép nhớ lại dữ liệu dựa vào mức độ tương tự giữa mẫu dữ liệu vào và các mẫu đã lưu trong bộ nhớ.

2.3.2 Hoạt động của AM

AM hoạt động ở hai dạng gồm tự liên kết và liên kết khác loại. Bộ nhớ ở dạng tự liên kết đưa ra một mẫu đã lưu mà giống nhất với mẫu vào hiện tại. Ở dạng liên kết khác loại,

5

mẫu đưa ra khác hoàn toàn mẫu vào về nội dung, kiểu và định dạng nhưng có liên quan với mẫu đưa vào.

AM có hai quá trình là học các cặp mẫu và nhớ lại một mẫu đã lưu từ một mẫu vào.

2.3.2 Một số đặc điểm của AM

- Các lỗi và nhiễu chỉ gây ra giảm độ chính xác của MẪU RA

- Nếu các mẫu vào trực giao thì nhớ lại đúng

- Mẫu dữ liệu thường được biểu diễn ở dạng 2 cực.

2.4 Mô hình BAM

2.4.1 Khái niệm về BAM

Hình 2.1: Cấu trúc tổng quát của mô hình BAM

BAM là một dạng ANN điển hình thể hiện cấu trúc bộ nhớ liên kết với khả năng nhớ lại theo cả hai hướng. BAM là ANN có 2 tầng và có các kết nối 2 chiều. Hình 2.3 mô tả cấu trúc tổng quát của mô hình BAM.

2.4.2 Quá trình học của BAM

Quá trình này học và lưu trữ các liên kết giữa các cặp mẫu

Đầu tiên, ma trận trọng số Wk lưu cặp mẫu (Ak,Bk ) theo công thức:

(2.20)

với Ak là véc tơ có m phần tử và Bk là véc tơ có n phần tử.

Tổng quát hóa sự liên kết của p cặp mẫu và lưu trong ma trận trọng số W.

(2.21)

với α là một hằng số.

6

2.4.3 Quá trình nhớ lại của BAM

Cho một mẫu vào X, quá trình nhớ lại diễn ra như sau:

Đầu tiên, tổng hợp dữ liệu vào của mỗi nơ-ron theo công thức sau:

(2.22)

với m là số chiều của X, Inputj là tổng trọng số của các dữ liệu vào của nơ-ron j, Xi là thành phần thứ i của mẫu dữ liệu vào X.

Sau đó, xác định dữ liệu ra cho nơ-ron bằng cách dùng hàm đầu ra:

(2.23)

với θj là ngưỡng của nơ-ron j.

Lặp lại quá trình trên cho đến khi thu được cặp (Xf,Yf) không thay đổi. Đây là trạng

thái BAM hội tụ và Yf chính là mẫu ra của BAM ứng với mẫu vào X.

2.4.4 Hàm năng lượng của BAM

Hàm năng lượng E với mỗi trạng thái (A, B) được tính như sau:

(2.24)

2.4.5 Chiến lược học nhiều lần dùng số lần lặp tối thiểu để học một cặp mẫu

Y.F. Wang và đồng nghiệp thực hiện học nhiều lần các cặp mẫu bằng cách dùng số lần

lặp tối thiểu để học một cặp mẫu (MNTP). Khi đó, Wk được tính theo công thức:

(2.25)

với qk là số dương thể hiện số lần ít nhất dùng (Ak, Bk) cho việc học mà đảm bảo nhớ lại được (Ak, Bk).

2.5 Bộ nhớ liên kết mờ

2.5.1 Giới thiệu chung

Cho một tập các liên kết (Ak, Bk), k=1,..,p xác định một ánh xạ G mà G(Ak)=Bk với

mọi k=1,..,p. Hơn nữa, ánh xạ G cần có khả năng chịu nhiễu.

Quá trình xác định G được gọi là quá trình học và ánh xạ G được gọi là ánh xạ liên kết

(nhớ lại các liên kết).

Bộ nhớ liên kết mờ là bộ nhớ liên kết mà các mẫu Ak và Bk là các tập mờ với mọi

k=1,...,p.

7

2.5.2 Các FAM của Kosko và sự tổng quát hóa

Kosko đưa ra hai mô hình FAM đầu tiên gồm max-min FAM và max-product FAM nên ban đầu FAM chưa dùng sai số θ. Sau đó, Chung và Lee tổng quát hóa FAM thành FAM tổng quát.

FAM lưu p cặp mẫu. Cho và

Mô hình tổng dùng nơ-ron max-C nên có thể dùng một phép nối mờ như CM, CP, CL.

Quá trình học thực hiện như sau:

(2.33) ọ

Cho mẫu vào x, mẫu ra y được nhớ lại từ mẫu vào x được tính bằng:

(2.34)

2.6 Mô hình ART

2.6.1 Cấu trúc của ART

Hình 2.2: Cấu trúc của một ART đơn giản

Cấu trúc chung của mạng ART được thể hiện trong Hình 2.4.

Một mạng ART điển hình có hai tầng: tầng dữ liệu vào (F1) và tầng dữ liệu ra (F2). Tính động của mạng được điều khiển bởi hai hệ thống con: hệ thống chú ý và hệ thống định hướng.

2.6.2 Một số mô hình cải tiến từ ART

Họ các mô hình được phát triển từ ART để giải quyết tốt hơn các bài toán thực bao gồm

ART 1, ART 2, ART 3, ARTMAP, Fuzzy ART, Fuzzy ARTMAP.

8

2.7 Mô hình Fuzzy ART

2.7. 1 So sánh với ART

Fuzzy ART được phát triển từ ART 1 để học các lớp nhận dạng ổn định với cả mẫu vào

tương tự và mẫu vào nhị phân.

2.7.2 Thuật toán Fuzzy ART

Các tham số của mô hình Fuzzy ART: chọn α> 0, tốc độ học β [0, 1], ngưỡng [0, 1].

Bước 1: Khởi tạo véc tơ trọng số.

(2.35)

Bước 2: Lựa chọn một cụm chiến thắng.

Với mỗi dữ liệu vào I và cụm j, hàm chọn Tj được định nghĩa bởi

(2.36)

Sự chọn cụm được gắn chỉ số bằng j, với

(2.39)

Bước 3: Kiểm tra trạng thái của mạng là cộng hưởng hay thiết lập lại.

Cộng hưởng xuất hiện nếu

(2.40)

Sau đó việc học sẽ diễn ra.

Thiết lập lại xuất hiện nếu

(2.41)

Sau đó, giá trị của hàm chọn Tj được thiết lập -1 cho các biểu diễn mẫu vào để ngăn sự lựa chọn lại mẫu vào trong quá trình tìm kiếm. Một chỉ số mới j được chọn bởi Công thức (2.39). Quá trình tìm kiếm tiếp tục cho đến khi j được chọn thỏa mãn Công thức (2. 40). Nếu không có cụm đang tồn tại nào thỏa mãn thì một cụm mới j được sinh ra và đặt

Bước 4: Học dữ liệu huấn luyện.

Véc tơ trọng số của cụm j được cập nhật bởi:

(2.42)

9

2.7.3 Fuzzy ART với mã hóa đầy đủ

Moore trình bày vấn đề sinh ra cụm mới của ART tương tự khi một số lớn các mẫu vào có véc tơ trọng số bị co rút. Fuzzy ART tránh sinh các cụm nếu các mẫu vào được chuẩn hóa.

CHƯƠNG 3. THUẬT TOÁN HỌC MỚI CHO BỘ NHỚ LIÊN KẾT

HAI CHIỀU

3.1 Giới thiệu chung

BAM là một ANN mà được mở rộng từ các mạng nơ-ron Hopfiled. BAM có thể thực hiện tìm kiếm sự liên kết theo cả hai chiều. BAM có các ưu điểm gồm nhớ lại một mẫu đã lưu từ một dữ liệu vào có chứa nhiễu hoặc không đầy đủ và hội tụ không điều kiện trong chế độ đồng bộ.

3.2 Quá trình học của một số BAM với chiến lược học nhiều lần

Mô hình của Y.F Wang, Cruz, và Mulligan

Luật học được thể hiện bởi công thức sau:

(3.1)

với qi thể hiện số lần huấn luyện cặp (Ai, Bi).

Để BAM nhớ lại đúng các cặp mẫu đã lưu, qi cần thỏa mãn điều kiện sau:

là sự chênh lệch năng lượng lớn nhất giữa cặp mẫu thứ i và các cặp mẫu khác trong là sự chênh lệch năng lượng lớn nhất giữa cặp mẫu thứ i và các cặp

(3.2)

với vùng A. Tương tự với mẫu khác trong vùng B.

Mô hình của T. Wang và Zhuang

Luật học của mô hình được thể hiện bởi công thức sau:

(3.3)

với số gia trọng số ∆Wij được tính bới công thức sau:

(3.4)

10

với S(x)=0 nếu x>0 và S(x)=1 nếu x≤0.

Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định

là bất kỳ. Khi t>0 thì luật học của nơ-ron i ở vùng A được thể hiện bởi

Mô hình của Zhuang, Huang, và Chen

Ban đầu,

công thức sau:

(3.7)

với j = 1,…, n.

Luật học của của nơ-ron j ở vùng B được thể hiện bởi công thức sau:

(3.8)

với i = 1,…, m.

Quá trình này lặp lại cho đến khi các giá trị của ma trận trọng số W ổn định

3.3 Lý do đề xuất thuật toán học mới

Từ việc tổng hợp các nghiên cứu về BAM, tác giả nhận thấy mô hình BAM học nhiều lần sẽ phát huy tốt ưu điểm về phục hồi từ mẫu vào nhiễu. Tuy nhiên, cần phải giảm thời gian học các mẫu mà vẫn giữ được khả năng nhớ lại tốt để đáp ứng cho các ứng dụng thực đòi hỏi thời gian phản hồi ngắn đặc biệt khi số lượng mẫu và kích thước của các mẫu tăng lên. Ngoài ra, BAM cần được cải tiến khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao.

3.4 Thuật toán học mới

3.4.1 Phân tích mối quan hệ giữa MNTP và hàm năng lượng

và

Giả sử BAM học p cặp mẫu. Cặp mẫu (Ai, Bi) được trình bày như sau: . Mối quan hệ giữa MNTP và hàm năng lượng được thiết lập

từ công thức (2.24) và (2.25).

Sau dãy các biến đổi, thu được W như sau:

11

(3.11)

và Ei được tính bằng:

(3.13)

Công thức (3.13) thể hiện giá trị tuyệt đối của Ei tỷ lệ thuận với mọi qk của p cặp mẫu (với k=1,…p). Nghĩa là, giá trị tuyệt đối của Ei sẽ giảm nhanh khi một số hay mọi qk cùng giảm đồng thời.

3.4.3 Nội dung thuật toán học mới

Một số ký hiệu được dùng trong thuật toán:

- qi là MNTP của cặp mẫu thứ i

- W là ma trận trọng số chung

- Ei là năng lượng ứng với trạng thái (Ai, Bi)

Quá trình học được thực hiện qua hai bước sau:

Bước 1: Khởi tạo giá trị MNTP của mọi cặp mẫu bằng 1 để thu được ma trận trọng số gốc của BAM.

Bước 2: Thực hiện lặp các bước sau cho đến khi |Ei| ≅0 với mọi i=1,…,p và |x| là giá trị tuyệt đối của x.

Bước 2.1: Tính W theo công thức (2.25)

Bước 2.2: Tính Ei theo công thức (2.24) với i=1,…,p.

Bước 2.3: Dựa vào giá trị của Ei để cập nhật qi theo hai luật sau:

Luật 1: Nếu |Ei| ≅0 thì không thay đổi qi

Luật 2: Nếu |Ei| ≅0 chưa thỏa mãn thì giảm qi xuống h lần để |Ei| giảm xuống sao cho |Ei| ≅0

Ưu điểm của thuật toán học mới

Ba lý do chính làm cho thuật toán học mới tốt hơn so với các thuật toán học đã công bố gồm: Sự tăng hay giảm trọng số kết nối được thực hiện bằng phép nhân hoặc phép chia;

12

MNTP của mỗi cặp có thể được thay đổi trong mỗi lần lặp của quá trình học; và năng lượng của mỗi trạng thái ứng với mỗi cặp mẫu tiến đến 0. Vì vậy, BAM cải tiến sẽ có hai ưu điểm gồm (i) quá trình học các cặp mẫu thực hiện nhanh và linh hoạt hơn và (ii) có khả năng lưu và nhớ lại các cặp mẫu không trực giao.

3.5 Kết quả thực nghiệm

Bảng 3.1: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng vân tay

Các thử nghiệm được làm với ứng dụng nhận dạng mẫu. Các BAM được dùng gồm BAM của Y.F.Wang (WBAM), Zhuang (ZBAM), Tao Wang (TBAM) và BAM cải tiến (FFBAM) ở chế độ tự liên kết. Năm ứng dụng nhận dạng mẫu gồm nhận dạng vân tay, chữ viết tay, phương tiện giao thông, biển hiệu giao thông và tiền xu của Mỹ. Kết quả thực nghiệm cho thấy BAM với thuật toán học mới nhớ lại tốt hơn các BAM khác trong chế độ tự liên kết.

WBAM ZBAM TBAM FFBAM

Bảng 3.2: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng chữ viết tay

83.370 85.906 85.906 88.007

WBAM ZBAM TBAM FFBAM

Bảng 3.3: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng biển hiệu giao thông

75.463 72.964 75.681 75.89

WBAM ZBAM TBAM FFBAM

Bảng 3.4: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng tiền xu của Mỹ

77.98 28.303 78.303 78.348

WBAM ZBAM TBAM FFBAM

85.066 45.992 84.896 85.109

13

Bảng 3.5: Tỷ lệ phần trăm nhận dạng đúng các điểm ảnh trong nhận dạng phương tiện giao thông

WBAM ZBAM TBAM FFBAM

88.11 18.96 90.076 90.076

CHƯƠNG 4. HAI LUẬT HỌC HIỆU QUẢ CHO LÝ THUYẾT

CỘNG HƯỞNG THÍCH NGHI MỜ

4.1 Giới thiệu chung

ART là một ANN mà học các mẫu huấn luyện để hình thành véc tơ trọng số của các cụm. Sau đó, sử dụng véc tơ trọng số đã học được để nhớ lại các cụm tương tự với mẫu vào. Ưu điểm quan trọng nhất của ART là học các mẫu huấn luyện để véc tơ trọng số của cụm được chọn chứa các thông tin từ mẫu huấn luyện hiện tại.

4.2 Một số luật học điển hình của ART và Fuzzy ART

Các biến được sử dụng: I là dữ liệu vào hiện tại, W là trọng số của các cụm, và β là

tham số học nằm trong khoảng [0, 1].

Capenter và đồng nghiệp đưa ra Fuzzy ART gốc với luật học có dạng:

(4.1)

với là phép AND của logic mờ.

Hầu hết các nghiên cứu khác cũng dùng luật học như công thức (4.1). Ngoài ra, các

nghiên cứu này cũng thay đổi hàm đầu ra hay học bổ sung thêm quan hệ giữa các cụm.

Kenaya và đồng nghiệp đưa ra Euclidean ART để học với luật học như sau:

(4.2)

với Xjk là mẫu thứ k trong cụm j và L là số các cụm.

Yousuf và Murphey dùng luật học cải tiến sau để cập nhật nhiều cụm thỏa mãn điều

kiện về ngưỡng.

(4.3)

với

14

4.3 Lý do đề xuất luật học cải tiến

Dựa vào sự tổng hợp các nghiên cứu về ART và Fuzzy ART, tác giả nhận thấy có một hạn chế như sau: Luật học của ART và Fuzzy ART là chưa hiệu quả do không học dữ liệu mới khi bề mặt biểu diễn các mẫu huấn luyện nằm trên bề mặt biểu diễn các véc tơ trọng số của các cụm. Nghĩa là, Fuzzy ART có thể không học một phần lớn tập dữ liệu huấn luyện. Do đó, nhiều thông tin có ích từ các mẫu huấn luyện đó đã không được luuw trong Fuzzy ART.

4.4 Hai Luật học hiệu quả cho Fuzzy ART

4.4.1 Nội dung của hai luật học

Sau khi Fuzzy ART chọn được một cụm chiến thắng, việc học mẫu huấn luyện hiện tại

diễn ra. Giả sử, cụm chiến thắng là cụm j.

Luật học cải tiến thứ nhất

Thực hiện cập nhật trọng số cho cụm j theo công thức dưới đây:

(4.4)

với là tham số học tốc độ học và |y| là giá trị tuyệt đối của y.

Sau khi cập nhật có thể điều chỉnh Wij theo luật sau: Do Wij luôn giảm nên khi Wij<0

thì đặt Wij=0.

Luật học cải tiến thứ hai

Trước tiên, tính sự tăng giá trị bé nhất (MDI) và sự giảm giá trị bé nhất (MDD) của mẫu

huấn luyện hiện tại so với trọng số của cụm chiến thắng theo hai công thức sau:

(4.5)

(4.6)

Khi đó, luật học cải tiến thứ hai được trình bày như sau:

(4.7)

4.4.2 Thuật toán tìm giá trị tối ưu cho tham số tốc độ học

Một tập con ngẫu nhiên được chọn từ tập dữ liệu ban đầu sao cho số mẫu ở mỗi cụm chênh nhau ít nhất. Tập con này được dùng để kiểm tra khả năng phân cụm ứng với mỗi giá trị của tham số tốc độ học.

15

Nội dung thuật toán gồm các bước sau:

Bước 1: Khởi tạo tham số tốc độ học dựa vào kích thước của tập dữ liệu để giảm thời gian tìm giá trị của tham số. Sau đó, tính kết quả phân cụm của tập mẫu con.

Bước 2: Làm các bước sau:

Bước 2.1: Tăng hoặc giảm giá trị của tham tốc độ số học theo các bước nhảy nhỏ

như 5% giá trị của tham tốc độ số học hiện tại.

Bước 2.2: Tính kết quả phân cụm của tập mẫu con.

Bước 2.3: Kiểm tra kết quả phân cụm của tập mẫu con:

 Nếu kết quả phân cụm là tăng hoặc giảm thì làm Bước 2.

 Nếu kết quả phân cụm là cao nhất, ổn định thì sang Bước 3.

Bước 3: Đưa ra giá trị tối ưu của tham số tốc độ học.

4.4.3 Ưu điểm của hai luật học đề xuất

Mọi mẫu huấn luyện đều có một mức độ ảnh hưởng giống nhau đến trọng số của cụm được chọn do tham số học lớn hơn 0 và cố định trong suốt quá trình học. Do đó, mọi dữ liệu trong tập huấn luyện được học hiệu quả.

Khi học các tập dữ liệu có các mẫu dị thường, do số lượng mẫu dị thường ít trong khi số lượng mẫu chuẩn nhiều và mỗi mẫu lại có mức độ ảnh hưởng giống nhau nên mức độ ảnh hưởng của các mẫu dị thường đến trọng số của các cụm cũng nhỏ.

4.5 Kết quả thực nghiệm

Các tập dữ liệu chuẩn từ cơ sở dữ liệu UCI và Shape được dùng trong các thử nghiệm. Các mô hình được thực thi gồm: Fuzzy ART với luật học cải tiến, Fuzzy ART gốc, K-mean, và Euclidean ART. Dữ liệu của các tập dữ liệu được chuẩn hóa về miền [0,1]. Với mỗi tập dữ liệu, các thử nghiệm con được làm với số lượng mẫu tăng dần. Tỷ lệ phần trăm các mẫu được phân cụm đúng được thể hiện trong bảng tương ứng với tập dữ liệu đó.

4.5.1 Thử nghiệm 1: Dùng luật học cải tiến thứ nhất

Chín tập dữ liệu chuẩn được chọn gồm Iris (đặc điểm của hoa lan), Wine (chất lượng của rượu vang), Jain (sự co cụm của người dùng mạng), Glass (các dạng mảnh kính vỡ dùng trong điều tra), Blance-Scale (số liệu dùng trong thử nghiệm tâm lý học), Spiral (phổ của các ảnh màu), và các tập điểm tạo thành các hình dạng đặc biệt (Aggregation, Flame, R15). Bảng 4.11 tổng hợp kết quả từ các kiểm tra con của các thử nghiệm.

16

Bảng 4.1: Sự cải thiện khả năng phân cụm của Fuzzy ART với luật học thứ nhất so với mô hình tốt nhất thứ hai

Sự phân bố số mẫu trong các cụm

Số mẫu

Số cụm

Số thuộc tính

Mức độ cải thiện (%)

Kiểu tập dữ liệu

1

Không đều với độ lêch cao

200-400

2 & 3

2

21-32.6

2

Không đều với độ lêch trung bình

150

9

15.3

3

3

Không đều với độ lêch trung bình

200-214

9

12.6-13.5

7

4

Không đều với độ lêch cao

500

2

9.8

3

5

Không đều với độ lêch cao

788

7

4.8

7

6

Không đều với độ lêch thấp

120-200

2 & 3

2 & 4

2.5-5.3

7

1.5-5

2

Đều với mọi phân cụm

90-201

3 & 4

8

2

0.8

3

Không đều với độ lêch trung bình

250

Dữ liệu của Bảng 4.11 thể hiện rằng Fuzzy ART cải tiến thích hợp cho các tập dữ liệu

nhỏ, phức tạp.

4.5.2 Thử nghiệm 2: Dùng luật học cải tiến thứ hai

Bảng 4.2: Sự cải thiện khả năng phân cụm của Fuzzy ART với luật học thứ hai so với mô hình tốt nhất thứ hai trong thử nghiệm 2

Số mẫu

Số cụm

Kiểu tập dữ liệu

Sự phân bố số mẫu trong các cụm

Số thuộc tính

Mức độ cải thiện (%)

1

Không đều với độ lệch cao

600-1200

3,4

11

15.2-30.2

2

Không đều với độ lệch cao

1000-3000

3,4

11

11.1-30.1

3

Không đều với độ lệch cao

300-625

2,3

4

18-20.8

4

Không đều với độ lệch cao

400-569

2

30

15.6-16.3

5

Không đều với độ lệch cao

4000-4898

5,6

11

2.5-5.7

6

Không đều với độ lệch trung bình

400-459

2

7

2.5-2.6

Chúng tôi chọn 7 tập dữ liệu chuẩn từ cơ sở dữ liệu UCI bao gồm MONKS (các bài toán của Monk), BALANCE-SCALE (số liệu dùng trong thử nghiệm tâm lý học), WDBC (dữ liệu chuẩn đoán bệnh ung thư), WINE-RED (chất lượng rượu vang đỏ), WINE-WHITE (chất lượng rượu vang trắng), và và các tập điểm tạo thành các hình dạng đặc biệt (D31, R15). Bảng 4.20 tổng hợp kết quả từ các kiểm tra con của các thử nghiệm.

17

7

Đều với mọi phân cụm

500-1500

5,10,15

2

2.3-3.8

8

Đều với mọi phân cụm

2000-3100 20,25,31

2

1.5-2.4

Kết quả của các kiểm tra con của bảy thử nghiệm cho thấy khả năng của phân cụm của Fuzzy ART với luật học thứ hai cải thiện đáng kể đối với các tập dữ liệu nhỏ có độ phức tạp cao. Đặc biệt, kết quả phân cụm là cao khi tậpdữ liệu có chứa nhiều mẫu.

CHƯƠNG 5. LUẬT HỌC CẢI TIẾN CHO BỘ NHỚ LIÊN KẾT

MỜ

5.1 Giới thiệu chung

FAM là AM mà học và nhớ lại với các mẫu được biểu diễn ở dạng tập mờ. FAM có ưu

điểm là nhớ lại các mẫu đã lưu từ các mẫu vào nhiễu hay không đầy đủ.

5.2 Một số mô hình FAM chuẩn

FAM lưu p cặp mẫu (Ak, Bk) với Ak có m phần tử và Bk có n phần tử.

Mô hình của Kosko và Kong

Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính:

(5.1)

Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính:

(5.2)

Mô hình của Junbo, Fan, và Yan

Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính:

(5.4)

Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính:

(5.5)

Mô hình của Chung và Lee

Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính:

18

(5.7)

Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính:

(5.8)

Mô hình của Xiao, Yang, và Yu

Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính:

(5.10)

với được tính như sau:

(5.11)

Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính:

(5.12)

Tập các mô hình của S.T. Wang và Lu

Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính:

(5.14)

Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính:

(5.15)

hoặc

(5.16)

Họ các FAM gợi ý của Sussner và Valle

Các ma trận trọng số kết nối Wk của cặp mẫu (Ak, Bk) được tính:

(5.19)

với là thao tác IM, IP, IL

19

Ma trận trọng số kết nối W lưu tất cả các cặp mẫu được tính:

(5.20)

hoặc

(5.21)

5.3 Lý do đề xuất luật học cải tiến

Từ các phân tích trên, tác giả thấy rằng một số thông tin có ích sẽ bị mất mát trong quá trình học do các FAM chuẩn chỉ lưu trữ tốt nội dung các mẫu hoặc chỉ lưu trữ tốt liên kết giữa các mẫu. Thông tin bị mất mát trong quá trình học có thể dẫn tới khả năng nhớ lại bị hạn chế.

5.4 Luật học cải tiến của FAM

5.4.1 Mô hình FAM với luật học cải tiến

Thiết kế của mô hình FAM với luật học cải tiến được trình bày như sau:

Quá trình học các cặp mẫu

Việc học và lưu trữ p cặp mẫu trong FAM được thực hiện qua hai bước sau:

Bước 1: Học và lưu trữ cặp mẫu (Ak, Bk) trong ma trậntrọng số Wk theo cách sau:

(5.24)

với η là nhân tố điều khiển tỷ lệ giữa nội dung và sự liên kết được lưu. Do dùng nhân tố η nên khi mẫu vào bị nhiễu thì nhiễu sẽ ít ảnh hưởng hơn đến mẫu được nhớ lại.

Bước 2: Tổng quát hóa sự liên kết của các cặp mẫu và lưu trữ trong ma trận trọng số

chung theo công thức sau:

(5.25)

Quá trình nhớ lại

Việc nhớ lại mẫu ra Y từ mẫu vào X và ma trận trọng số chung W được thực hiện như

sau:

(5.26) η

20

Điều chỉnh ACAM cho chế độ tự liên kết

Để đảm bảo khả năng lưu trữ không giới hạn các cặp mẫu ở chế độ tự liên kết, chúng tôi

tính Wii giống như trong Bộ nhớ liên kết hình thái (MAM).

(5.27)

Khi đó, công thức dùng cho việc nhớ lại được điều chỉnh như sau:

(5.28) η

Định lý 5.1: (Khả năng nhớ lại các cặp mẫu trong chế độ liên kết khác loại)

5.4.2 Hai định lý về khả năng nhớ lại hoàn hảo của ACAM

W trong công thức (5.27) nhớ lại hoàn hảo mọi cặp mẫu (Ak, Bk) nếu và chỉ nếu với

Định lý 5.2: (Khả năng nhớ lại các cặp mẫu trong chế độ tự liên kết)

mỗi k=1,..,p, mỗi cột của ma trận Wk –W có chứa một số 0.

W trong công thức (5.27) nhớ lại hoàn hảo mọi cặp mẫu (Ak, Ak).

5.5 Kết quả thực nghiệm

FAM cải tiến (ACAM) được so sánh với các FAM của Junbo, Kosko, Xiao, Susners và

Valle (IFAMs). Để đánh giá kết quả, chúng tôi dùng cách tính lỗi chuẩn.

5.5.1 Thử nghiệm với tập dữ liệu về các số

Bộ dữ liệu này bao gồm 5 hình ảnh của số 0-4 với kích thước 5 × 5. Các thực nghiệm

Bảng 5.1: Kết quả thử nghiệm của bộ nhớ tự liên kết với tập dữ liệu về con số

được làm với các mẫu vào bị méo ở cả hai chế độ (tự liên kết và liên kết khác loại).

Junbo Kosko Xiao IFAM ACAM

Lỗi 0.434 0.914 0.418 0.434 0.346

21

Bảng 5.2: Kết quả thử nghiệm của bộ nhớ liên kết khác loại với tập dữ liệu về con số

Bảng 5.1 cho thấy tổng số lỗi của các mô hình khác nhau khi nhớ lại từ các ảnh vào bị bóp méo trong chế độ tự liên kết. Lý do các mô hình khác tạo ra số lỗi lớn hơn so với ACAM của là do các mô hình này không thể làm việc tốt với cả hai loại nhiễu co rút và giãn nở trong khi ACAM có một cơ chế để giảm ảnh hưởng của nhiễu.

Junbo Kosko Xiao IFAM ACAM

Lỗi 0.675 0.893 0.793 0.675 0.652

Trong chế độ liên kết khác loại, ACAM cũng tạo ra tổng lỗi ít nhất.

5.5.2 Thử nghiệm với tập dữ liệu của Corel

Bộ dữ liệu này bao gồm các hình ảnh được lựa chọn từ cơ sở dữ liệu Corel. Các mẫu nhiễu được tạo ra từ các mẫu chuẩn bằng cách tạo ra nhiễu muối tiêu ở mức 25% số lượng điểm ảnh.

Bảng 5.3: Kết quả thử nghiệm của bộ nhớ tự liên kết với tập dữ liệu của Corel

Trong chế độ tự liên kết, 10 ảnh được sử dụng. Kết quả trong chế độ tự liên kết được trình bày trong bảng 5.3 cho thấy ACAM làm việc hiệu quả trong việc xử lý với nhiễu muối tiêu.

Junbo Kosko Xiao IFAM ACAM

Lỗi 0.742 0.867 0.694 0.664 0.531

Bảng 5.4: Kết quả thử nghiệm của bộ nhớ liên kết khác loại với tập dữ liệu của Corel

Chế độ liên kết khác loại được thử nghiệm với 10 cặp ảnh, trong đó các ảnh vào khác với ảnh ra. Bảng 5.4 cũng cho thấy ACAM thực hiện tốt hơn so với các mô hình khác trong sự hiện diện của cả hai loại nhiễu co rút và giãn nở.

Junbo Kosko Xiao IFAM ACAM

Lỗi 0.795 1.018 0.702 0.624 0.548

22

KẾT LUẬN

Với mong muốn được hiểu biết sâu hơn về quá trình học của ANN để cải thiện chất

lượng thông tin ra của các ANN, luận án đã hoàn thành và đạt được các kết quả sau:

Đề xuất một thuật toán học mới cho BAM mà học nhanh hơn và học linh động hơn. Hơn nữa, BAM gắn với thuật toán học mới còn lưu trữ và nhớ lại tốt với các cặp mẫu không trực giao. Năm thử nghiệm trong ứng dụng nhận dạng mẫu gồm nhận dạng vân tay, chữ viết tay, phương tiện giao thông, biển hiệu giao thông và tiền xu của Mỹ được làm để đánh giá khả năng nhớ lại của các BAM. Kết quả thực nghiệm cho thấy BAM cải tiến có khả năng nhớ lại tốt hơn các BAM khác trong chế độ tự liên kết.

Đưa ra hai luật học hiệu quả của Fuzzy ART mà học tốt hơn mọi mẫu huấn luyện, đồng thời giảm sự ảnh hưởng của các mẫu huấn luyện dị thường đối với kết quả của quá trình học. Các tập dữ liệu chuẩn được chọn từ cơ sở dữ liệu UCI và Shape được dùng để đánh giá khả năng nhớ lại các cụm của Fuzzy ART cải tiến. Với luật học cải tiến thứ nhất, 9 tập dữ liệu về các loài hoa lan, chất lương rượu vang, các dạng vỡ của kính trong các vụ án hình sự và các điểm ảnh tạo thánh các hình dạng (bông hoa, bàn tay, pháo hoa,..) được chọn để đo sự phân cụm. Thực nghiệm thứ nhất này cho thấy Fuzzy ART cải tiến phân cụm tốt hơn đáng kể so với các mô hình khác với các tập dữ liệu nhỏ, phức tạp. Với luật học cải tiến thứ hai, 7 tập dữ liệu về triệu chứng của bệnh ung thư, chất lương rượu vang, các bài toán của Monk, các dữ liệu để thử nghiệm tâm lý học và các hình dạng được tạo thành từ tập các điểm trong tập dữ liệu được chọn để thử nghiệm. Kết quả của thực nghiệm thứ hai cho thấy khả năng phân cụm của Fuzzy ART cải tiến cao hơn với các tập dữ liệu nhỏ, phức tạp. Đặc biệt, Fuzzy ART cải tiến phân cụm hiệu quả với các tập dữ liệu có nhiều mẫu.

Trình bày luật học cải tiến cho FAM mà lưu trữ hiệu quả cả nội dung và sự liên kết giữa các cặp mẫu. Hơn nữa, FAM gắn với luật học cải tiến còn giảm sự ảnh hưởng của các mẫu vào nhiễu trong quá trình học để chịu nhiễu tốt hơn với các nhiễu ở cả hai dạng co rút và giãn nở. Các thử nghiệm được làm trên các bộ ảnh về các con số và các ảnh được lấy ra từ cơ sở dữ liệu ảnh của hãng Corel trong các ứng dụng nhận dạng. Các FAM được thử nghiệm ở cả hai chế độ tự liên kết và liên kết khác loại. Kết quả thử nghiệm cho thấy FAM cải tiến có khả năng nhớ lại tốt hơn các FAM khác trong cả hai chế độ.

Trong thời gian tới, tác giả mong muốn được tiếp tục phát triển các nghiên cứu về ANN

để mở rộng khả năng ứng dụng của các ANN cho các bài toán ngày càng phức tạp hiện nay.

23

DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ

LIÊN QUAN ĐẾN LUẬN ÁN

1. Nong Thi Hoa, The Duy Bui (2012), A new effective learning rule of Fuzzy ART, In Proceedings of 2012 Conference on Technologies and Applications of Artificial Intelligence, IEEE Press, DOI 10.1109/TAAI.2012.60, pp 224-231.

2. Nong Thi Hoa, The Duy Bui (2012), A new learning strategy for general BAMs, In Proceedings of 8th International Conference on Machine Learning and Data Mining, Springer, LNAI 7376, pp 213-221.

3. Nong Thi Hoa, The Duy Bui (2012), A fast effective learning strategy for bi- directional memory, In Proceedings of The first International Conference of Information Technology and Science, SERSC, ISSN: 2287-1233/IST 2012, pp 183-185.

4. Nong Thi Hoa, The Duy Bui (2013), A max-min learning rule of Fuzzy ART, In Proceedings of 10th IEEE RIVF International Conference on Computing and Communication, IEEE Press, ISBN: 978-1-4799-1350-3/IEEE RIVF.2013, pp 53- 57.

5. Nong Thi Hoa, The Duy Bui, Trung Kien Dang (2013), Efficiency improvements for Fuzzy Associative Memory, In Proceedings of 10th International Symposium on Neural Network, Springer, LNCS 7951, pp 36–43.

6. Pham Viet Binh, Nong Thi Hoa (2013), Compare effective Fuzzy Associative Memories for grey-scale image recognition, In Proceedings of International Conference on Context - Aware Systems and Applications, Springer, LNICST 109, pp 258-265.

7. Nong Thi Hoa, The Duy Bui (2013), An improved learning algorithm of BAM, Jounal of Science and Technology, Thainguyen University, ISSN: 1859-2171, vol. 113(13), pp 61-65.

8. Nông Thị Hoa, Hoàng Trọng Vĩnh (2013), Sử dụng mạng nơron nhân tạo Fuzzy ART để phân cụm dữ liệu, Tạp chí Khoa học và Công nghệ, Đại học Thái Nguyên, ISSN: 1859-2171, tập 106(6), trang 49-54.

9. Pham Viet Binh, Nong Thi Hoa, Vu Duc Thai, Quach Xuan Truong (2014), A new Fuzzy Associative Memory, In Proceedings of 2nd International Conference on Context - Aware Systems and Applications, Springer, LNICST 128, pp 219-227.

10. Nong Thi Hoa, The Duy Bui (2014), An improved learning rule for Fuzzy ART, Journal of Information Science and Engineering, 30(3), Institute of Information Science, Academia Sinica, pp 713-726. (ISI-indexed)

11. The Duy Bui, Nong Thi Hoa, Trung Kien Dang (2014), Improving Learning Rule for Fuzzy Associative Memory with Combination of Content and Association, NeuroComputing, Elsevier (Aceptted).

24