ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG --------------------------------------------------------------------
ĐỖ TUẤN MINH
ĐỀ TÀI
MẠNG NƠRON WAVELET ỨNG DỤNG
CHO XẤP XỈ PHI TUYẾN
LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH
1
THÁI NGUYÊN, 2017
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG --------------------------------------------------------------------
ĐỖ TUẤN MINH
MẠNG NƠRON WAVELET ỨNG DỤNG
CHO XẤP XỈ PHI TUYẾN
Chuyên ngành: Khoa học máy tính
Mã số: 60480101
LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH
Người hướng dẫn khoa học: PGS. TS. Lê Bá Dũng
2
THÁI NGUYÊN, 2017
MỤC LỤC
DANH MỤC HÌNH ẢNH ................................................................................... 5 LỜI CAM ĐOAN ................................................................................................. 6
LỜI CẢM ƠN ...................................................................................................... 7
LỜI MỞ ĐẦU ...................................................................................................... 8
CHƯƠNG: NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON .................. 9
1.1 Khái niệm mạng nơron................................................................................. 9
1.2 Các cấu trúc mạng nơron .......................................................................... 11
1.2.1 Cấu trúc và mô hình của một nơron nhân tạo ................................... 11
1.2.2 Mạng nơron một lớp ............................................................................ 16
1.2.3 Mạng nơron truyền thẳng nhiều lớp .................................................... 17
1.2.4 Mạng Hopfield .................................................................................... 18
CHƯƠNG II: MẠNG NƠRON WAVELET VÀ CÁC THUẬT TOÁN HỌC ............................................................................................................................ 20
2.1 Phép biến đổi wavelet liên tục ................................................................. 20
2.1.1 Giới thiệu ............................................................................................ 20
2.1.2 Phép biến đổi wavelet thuận ................................................................ 21
2.1.3 Các tính chất của hàm wavelet ............................................................ 23
2.1.3.1 Tính chất sóng ................................................................................ 23
2.1.3.2 Đặc trưng về năng lượng ............................................................... 23
2.1.3.3 Biểu diễn các hệ số wavelet ......................................................... 23
2.1.4 Phép biến đổi wavelet nghịch .............................................................. 25
2.1.5 Phép biến đổi wavelet liên tục hai chiều và nhiều chiều ..................... 25
2.1.6 Tiêu chuẩn chọn hàm wavelet ............................................................. 26
1.2.6.1 Hàm wavelet trực giao hay hàm wavelet không trực giao ............ 26
1.2.6.2 Hàm wavelet phức hay hàm wavelet thực ..................................... 27
2.1.6.3 Độ rộng .......................................................................................... 27
2.1.6.4 Hàm wavelet chẵn và hàm wavelet lẻ ........................................... 28
2.2 Mạng nơron wavelet .................................................................................. 29
2.3 Quy tắc học của mạng nơron wavelet ........................................................ 32
2.3.1 Học có giám sát .................................................................................... 34
3
2.3.2 Học không giám sát ............................................................................ 35
2.3.3 Học tăng cường .................................................................................... 35
2.4 Mô hình cấu trúc đề xuất (WNN-LCW) .................................................... 36 2.5 Phương án nghiên cứu tham số Lai............................................................ 38
2.6 Khởi tạo các tham số của mạng ................................................................. 43
2.7 Nhận dạng hệ thống động lực học ............................................................. 43
2.8 Phát triển mô hình hóa phi tham số ........................................................... 46
CHƯƠNG III: XÂY DỰNG HỆ THỐNG XẤP XỈ PHI TUYẾN SỬ DỤNG MẠNG WAVELET ........................................................................................... 48
3.1 Đặt bài toán ................................................................................................ 48
3.2 Áp dụng mạng nơron wavelet cho nhận dạng hệ động lực........................ 49
3.2.1. Hệ thống với chuỗi thời gian Mackey-Glass ..................................... 49
3.2.2. Thuật toán huấn luyện mạng nơron wavelet ...................................... 50
3.2.3. Cho hệ phi tuyến một chiều ................................................................ 52
PHẦN KẾT LUẬN ............................................................................................ 56
4
TÀI LIỆU THAM KHẢO .................................................................................. 57
Hình 1.1 Mô hình nơron sinh học .................................................................................. 10 Hình 1.2 Mô hình một nơron nhân tạo .......................................................................... 12
Hình 1.3 Đồ thị các dạng hàm truyền ............................................................................ 14
Hình 1.4 Mạng nơron 3 lớp ........................................................................................... 15
Hình 1.5 Mạng truyền thẳng một lớp ............................................................................ 17
Hình 1.6 Mạng hồi tiếp một lớp .................................................................................... 17
Hình 1.7 Mạng truyền thẳng nhiều lớp.......................................................................... 17
Hình 1.8 Cấu trúc mạng hopfield .................................................................................. 18
Hình 2.1 Tín hiệu f(t) ..................................................................................................... 20
Hình 2.2 Biến đổi Fourier của tín hiệu f(t) .................................................................... 21
Hình 2.3 Ba dạng hàm wavelet ...................................................................................... 22
Hình 2.4 Biểu diễn hệ số wavelet trong hệ tọa độ ba trục vuông góc ........................... 24
Hình 2.5 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng các đường đẳng trị ................. 24
Hình 2.6 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng ảnh.......................................... 24
Hình 2.7 Hàm wavelet mexican ở ba tỉ lệ s khác nhau ................................................. 27
Hình 2.8 Biến đổi wavelet của tín hiệu sử dụng hàm wavelet chẵn và lẻ ..................... 28
Hình 2.9 Cấu trúc của mạng nơron sóng nhỏ ................................................................ 30
Hình 2.10 Hàm wavelet morlet cơ bản .......................................................................... 31
Hình 2.11 Học có giám sát ............................................................................................ 35
Hình 2.12 Học không giám sát ...................................................................................... 35
Hình 2.13 Cấu trúc mạng thần kinh sóng nhỏ trọng lượng tổ hợp tuyến tính ............... 38
Hình 2.14 Các mô hình ngoại động lực ......................................................................... 46
Hình 3.1 Sơ đồ hệ thống bất biến theo thời gian ........................................................... 48
Hình 3.2 Sử dụng mạng nơron wavelet cho xấp xỉ như bộ dự báo ............................... 50
Hình 3.3 Thuật toán huấn luyện mạng nơron wavelet .................................................. 51
Hình 3.4 Biểu đồ tính toán xấp xỉ mạng nơron wavelet gồm giá trị thực và giá trị xấp xỉ .................................................................................................................................... 54
DANH MỤC HÌNH ẢNH
DANH MỤC BẢNG BIỂU
Bảng 3.1 Kết quả sau khi mạng nơron được huấn luyện .............................................. 55
5
LỜI CAM ĐOAN
Em xin cam đoan luận văn thạc sĩ công nghệ thông tin “Mạng nơron Wavelet ứng dụng cho xấp xỉ phi tuyến” là sản phẩm nghiên cứu của riêng cá nhân em dưới sự giúp đỡ rất lớn của Giảng viên hướng dẫn là PGS. TS. Lê Bá Dũng, không sao chép lại của người khác. Tất cả tài liệu tham khảo đều có nguồn gốc rõ ràng và trích dẫn hợp pháp. Các thông số, bảng biểu và kết quả sử dụng trong luận văn là hoàn toàn có thật và chưa từng được công bố ở bất kỳ luận văn nào khác.
Thái Nguyên, ngày 17 tháng 10 năm 2017
TÁC GIẢ LUẬN VĂN
6
Đỗ Tuấn Minh
LỜI CẢM ƠN
Luận văn này được hoàn thành dưới sự hướng dẫn tận tình của thầy giáo PGS. TS Lê Bá Dũng, em xin đặc biệt bày tỏ lòng biết ơn chân thành của mình đối với thầy. Em cũng chân thành cảm ơn các thầy, cô giáo Viện Công nghệ thông tin, Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên đã tham gia giảng dạy, giúp đỡ em trong suốt quá trình học tập nâng cao trình độ kiến thức.
Tuy nhiên vì điều kiện thời gian và khả năng có hạn nên luận văn không thể tránh khỏi những thiếu sót. Em kính mong các thầy cô giáo và các bạn đóng góp ý kiến để đề tài được hoàn thiện hơn.
7
Em xin trân trọng cảm ơn!
LỜI MỞ ĐẦU
- Mạng nơron nhân tạo (Artificial Nơron Network - ANNs) nói chung. Hệ
mạng nơron wavelet nói riêng đã và đang được nghiên cứu, ứng dụng mạnh mẽ
và thành công ở nhiều lĩnh cực trong những năm gần đây [5,6]. Với các quá trình
như: xấp xỉ phi tuyến, dự báo thị trường chứng khoán, dự báo mô phỏng các hệ
thống điều khiển…được đưa ra, giải quyết mang lại nhiều kết quả tích cực
[1,2,3,4];
- Trong hệ thống điều khiển hiện đại, có rất nhiều phương pháp điều khiển
đảm bảo được tốt chất lượng điều khiển. Để điều khiển chính xác đối tượng khi
chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối tượng đó. Đối với đối
tượng là phi tuyến như rô bốt, hay hệ thống điều khiển phi tuyến ta cần thực hiện
nhận dạng đặc tính vào ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi
được lựa chọn chính xác hơn. Hiện nay thường sử dụng logic mờ (Fuzzy Logic),
mạng nơron nhân tạo (Artificial Neural Networks) và mạng nơron mờ (Fuzzy
Neural Networks) để nhận dạng và điều khiển thích nghi hệ thống phi tuyến;
- Sử dụng mạng nơron wavelet là một phương pháp tốt, có nhiều khả năng
vượt trội trong việc tuyến tính hóa, dự báo, phân tích, đánh giá dữ liệu trong lĩnh
vực mô hình hóa động lực học. Được sự gợi ý của thầy hướng dẫn và nhận thấy
tính thiết thực của vấn đề em chọn đề tài: “Mạng nơron wavelet ứng dụng cho
8
xấp xỉ phi tuyến” làm khoá luận tốt nghiệp cho luận văn tốt nghiệp của mình.
CHƯƠNG I
NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON
1.1 Khái niệm mạng nơron
- Bộ não người có chức năng hết sức quan trọng trong đời sống của
con người. Nó gần như kiểm soát hầu hết mọi hành vi của con người từ
các hoạt động cơ bắp đơn giản đến những hoạt động phức tạp như học
tập, nhớ, suy luận, tư duy, sáng tạo, ...
- Bộ não người được hình thành từ sự liên kết của khoảng 10 11 phần
tử (tế bào), trong đó có khoảng 1010 phần tử là nơron, số còn lại khoảng
9.1010 phần tử là các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ
cũng như hỗ trợ cho các nơron. Thông thường một bộ não trung bình cân
nặng khoảng 1,5 kg và có thể tích là 235 cm3 . Cho đến nay người ta vẫn
chưa thực sự biết rõ cấu tạo chi tiết của bộ não. Tuy vậy về đại thể thì cấu
tạo não bộ được phân chia ra thành nhiều vùng khác nhau. Mỗi vùng có
thể kiểm soát một hay nhiều hoạt động của con người.
- Các đặc tính của não người:
+ Tính phân lớp: Các vùng trong bộ não được phân thành các lớp,
thông tin được xử lý theo các tầng.
+ Tính môđun: Các vùng của bộ nhớ được phân thành các môđun
được mã hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu
vào qua các giác quan và các tín hiệu ra.
+ Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung
xem như các liên hệ phản hồi khi truyền tín hiệu
+ Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua
nhiều kênh thông tin khác nhau, được xử lý bằng các phương pháp đặc biệt.
- Bộ não có cấu trúc nhiều lớp. Lớp bên ngoài thường thấy như là các nếp
nhăn, là lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh các hành
9
động phức tạp như nghe, nhìn, tư duy, ...
- Cấu trúc của một nơron thần kinh gồm các phần:
+ Myelin là lớp cách nhiệt được bao quanh những Axons của dây thần
kinh. Nhiệm vụ của lớp vỏ Myelin này là giúp việc dẫn truyền các tín hiệu của
các dây thần kinh được nhanh chóng và hiệu quả;
+ Axon của một nơron là một sợi dây đơn giản mang tín hiệu từ Soma
của một Nơron này tới Dendrite hay Soma của một nơron khác;
+ Dendrite của một nơron là những nhánh ngắn chạy từ thân nơron ra,
nhiệm vụ của chúng là tiếp nhận những tín hiệu từ những nơron khác đưa đến
qua những Axons;
+ Khoảng giữa những sợi Myelin được gọi là nút Ranvier;
+ Soma hay thân tế bào nơron gồm một nhân và những cấu trúc khác của
một tế bào;
+ Synapselà nơi hai nơron tiếp xúc nhau. Những thông tin hoá điện giữa
các Nơron xảy ra tại đây.
Hình 1.1 Mô hình nơron sinh học
* Hoạt động của nơron sinh học
- Các tín hiệu đưa ra bởi một khớp nối và được nhận bởi các dây thần
kinh vào là kích thích điện tử. Việc truyền tín hiệu như trên liên quan đến một
quá trình hóa học phức tạp mà trong đó các chất truyền đặc trưng được giải
phóng từ phía gửi của nơi tiếp nối. Điều này làm tăng hay giảm điện thế bên
trong thân của nơron nhận nơron nhận tín hiệu sẽ kích hoạt nếu điện thế vượt
10
ngưỡng nào đó. Và một điện thế hoạt động với cường độ cùng thời gian tồn tại
cố định được gửi ra ngoài thông qua đầu dây thần kinh tới phần dây thần kinh
vào rồi tới chỗ khớp nối để đến nơron khác. Sau khi kích hoạt, nơron sẽ chờ trong một khoảng thời gian được gọi là chu kỳ cho đến khi nó có thể được kích
hoạt lại;
- Có 2 loại khớp nối là khớp nối kích thích và khớp nối ức chế. Khớp nối
kích thích sẽ cho tín hiệu qua nó để tới nơron, còn khớp nối ức chế có tác dụng
làm cản tín hiệu của nơron;
- Cấu trúc mạng nơron luôn thay đổi và phát triển, các thay đổi có khuynh
hướng chủ yếu là làm tăng hay giảm độ mạnh các mối liên kết thông qua các
khớp nối. Các khớp nối đóng vai trò rất quan trọng trong sự học tập. Khi chúng
ta học tập thì hoạt động của các khớp nối được tăng cường, tạo lên nhiều liên
kết mạnh giữa các nơron. Có thể nói rằng người nào học càng giỏi thì càng có
nhiều khớp nối và các khớp nối ấy càng mạnh mẽ, hay nói cách khác thì liên
kết giữa các nơron càng nhiều càng nhạy bén.
1.2 Các cấu trúc mạng nơron
1.2.1 Cấu trúc và mô hình của một nơron nhân tạo
* Tính chất mạng nơron nhân tạo
Nơron nhân tạo là sự sao chép nơron sinh học của não người, nó có những
tính chất sau:
- Là hệ phi tuyến: Mạng nơron có khả năng to lớn trong lĩnh vực nhận
dạng và điều khiển các đối tượng phi tuyến.
- Là hệ xử lý song song: Mạng nơron có cấu trúc song song, do đó có độ
tính toán rất cao rất phù hợp với lĩnh vực nhận dạng và điều khiển.
- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ và
có khả năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on-
line.
- Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO), rất tiện dùng
khi đối tượng điều khiển có nhiều biến số.
11
- Có khả năng học và làm xấp xỉ các hàm toán học bất kỳ với độ chính
xác tùy ý
* Cấu trúc của một nơron nhân tạo
Mô hình toán học của mạng nơron sinh học được đề xuất bởi McCulloch
và Pitts [2], thường được gọi là nơron M-P, ngoài ra nó còn được gọi là phần
tử xử lý và được ký hiệu là PE .
Wi1
x1
Hàm truyền
y1
Wi2
f()
Σ
x2 .
.
.
Đầu ra
Hàm tổng
.
.
. Wim
𝜃𝑖
xm
Đầu vào
Trọng số liên kết
Ngưỡng
Mô hình nơron có m đầu vào x1, x2, ..., xm, và một đầu ra yi như sau:
Hình 1.2 Mô hình một nơron nhân tạo
* Giải thích các thành phần cơ bản:
- Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thường
được đưa vào dưới dạng một vector m chiều;
- Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng
số liên kết. Trọng số liên kết giữa tín hiệu vào thứ j cho nơron i thường được
ký hiệu là wij. Thông thường các trọng số này được khởi tạo ngẫu nhiên ở thời
điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng;
- Bộ tổng (hàm tổng): Thường dùng để tính tổng của tích các đầu vào với
trọng số liên kết của nó;
- Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của
hàm truyền;
- Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơron.
Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, 12
phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1,1]. Các
hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm của người thiết
kế mạng;
- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa
một đầu ra.
* Về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp phương
trình sau: y =f(neti -θi ) và neti =∑wijxj
- Trong đó: x1, x2, …xm là các tín hiệu đầu vào, còn wi1, wi2,…,wim là các
trọng số kết nối của Nơron thứ i, neti là hàm tổng, f là hàm truyền, θi là một
ngưỡng, yi là tín hiệu đầu ra của Nơron;
- Như vậy, tương tự như nơron sinh học, nơron nhân tạo cũng nhận các
tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng
các tích thu được rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra
(là kết quả của hàm truyền).
* Hàm truyền có thể có các dạng sau:
(1.1) Hàm bước: 𝑦 = { 1 𝑘ℎ𝑖 𝑥 ≥ 0 0 𝑘ℎ𝑖 𝑥 < 0
(1.2) Hàm giới hạn chặt: 𝑦 = 𝑠𝑔𝑛(𝑥) = {
(1.3) Hàm bậc thang: 𝑦 = 𝑠𝑔𝑛(𝑥) = {
1
1 𝑘ℎ𝑖 𝑥 ≥ 0 −1 𝑘ℎ𝑖 𝑥 < 0 1 𝑘ℎ𝑖 𝑥 ≥ 1 𝑥 𝑘ℎ𝑖 0 ≤ 𝑥 ≤ 1 −1 𝑘ℎ𝑖 𝑥 < 0
1+𝑒𝜆𝑥
2
(1.4) Hàm ngưỡng đơn cực: 𝑦 = với 𝜆 > 0
1+𝑒𝜆𝑥 − 1
(1.5) Hàm ngưỡng hai cực: 𝑦 = với 𝜆 > 0
13
Đồ thị các dạng hàm truyền được biểu diễn như sau:
y
y
y
+1
+1
1
x
x
x
+1
0
0
0
(a) Hàm bước
-1 (b) Hàm giới hạn chặt
(c) Hàm bậc thang
y
y
1
+1
x
x
0
-1
-1
(d) Hàm ngưỡng đơn cực
(e) Hàm ngưỡng hai cực
Hình 1.3 Đồ thị các dạng hàm truyền
* Mô hình của mạng nơron nhân tạo
- Dựa trên những phương pháp xây dựng nơron đã trình bày ở mục trên,
ta có thể hình dung mạng nơron như là một hệ truyền đạt và xử lý tín hiệu. Đặc
tính truyền đạt của nơron phần lớn là đặc tính truyền đạt tĩnh;
- Khi liên kết các đầu vào/ra của nhiều nơron với nhau, ta thu được một
mạng nơron, việc ghép nối các nơron trong mạng với nhau có thể là theo một
nguyên tắc bất kỳ. Vì mạng nơron là một hệ truyền đạt và xử lý tín hiệu, nên
có thể phân biệt các loại nơron khác nhau, các nơron có đầu vào nhận thông tin
từ môi trường bên ngoài khác với các nơron có đầu vào được nối với các nơron
khác trong mạng, chúng được phân biệt với nhau qua vector trọng số ở đầu vào
w;
- Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao
gồm nhiều nơron có cùng chức năng trong mạng. Hình 1.4 là mô hình hoạt
động của một mạng nơron 3 lớp với 8 phần tử nơron. Mạng có ba đầu vào là
x1, x2, x3 và hai đầu ra y1, y2. Các tín hiệu đầu vào được đưa đến 3 nơron đầu
14
vào, 3 nơron này làm thành lớp đầu vào của mạng. Các nơron trong lớp này
được gọi là nơron đầu vào. Đầu ra của các nơron này được đưa đến đầu vào
của 3 nơron tiếp theo, 3 nơron này không trực tiếp tiếp xúc với môi trường bên ngoài mà làm thành lớp ẩn, hay còn gọi là lớp trung gian. Các nơron trong lớp
này có tên là nơron nội hay nơron ẩn. Đầu ra của các nơron này được đưa đến
2 nơron đưa tín hiệu ra môi trường bên ngoài. Các nơron trong lớp đầu ra này
Lớp vào
Lớp ẩn
Lớp ra
x1
y1
x2
y2
xm
được gọi là nơron đầu ra.
Hình 1.4 Mạng nơron 3 lớp
- Mạng nơron được xây dựng như trên là mạng gồm 3 lớp mắc nối tiếp
nhau đi từ đầu vào đến đầu ra. Trong mạng không tồn tại bất kỳ một mạch hồi
tiếp nào. Một mạng nơron có cấu trúc như vậy gọi là mạng một hướng hay
mạng truyền thẳng một hướng và có cấu trúc mạng ghép nối hoàn toàn (vì bất
cứ một nơron nào trong mạng cũng được nối với một hoặc vài Nơron khác).
Mạng nơron bao gồm một hay nhiều lớp trung gian được gọi là mạng Multilayer
Perceptrons (MLP-Network);
- Mạng nơron khi mới được hình thành thì chưa có tri thức, tri thức của
mạng sẽ được hình thành dần dần sau một quá trình học. Mạng nơron được học
bằng cách đưa vào những kích thích, và mạng hình thành những đáp ứng tương
ứng, những đáp ứng tương ứng phù hợp với từng loại kích thích sẽ được lưu
trữ. Giai đoạn này được gọi là giai đoạn học của mạng. Khi đã hình thành tri
15
thức mạng, mạng có thể giải quyết các vấn đề một cách đúng đắn. Đó có thể là
vấn đề ứng dụng rất khác nhau, được giải quyết chủ yếu dựa trên sự tổ chức
hợp nhất giữa các thông tin đầu vào của mạng và các đáp ứng đầu ra;
- Nếu nhiệm vụ của một mạng là hoàn chỉnh hoặc hiệu chỉnh các thông
tin thu được không đầy đủ hoặc bị tác động của nhiễu. Mạng nơron kiểu này
được ứng dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ
thể là nhận dạng chữ viết;
- Nhiệm vụ tổng quát của một mạng nơron là lưu giữ động các thông tin.
Dạng thông tin lưu giữ này chính là quan hệ giữa các thông tin đầu vào và các
đáp ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng,
mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp. Đây chính là chức
năng nhận dạng theo mẫu của mạng nơron. Để thực hiện chức năng này, mạng
nơron đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào, và
tương ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp. Như vậy, một nhóm
bao gồm một loại thông tin đầu vào và một đáp ứng đầu ra. Các nhóm có thể
được hình thành trong quá trình học, và cũng có thể không hình thành trong
quá trình học.
Như vậy, đối với mạng 3 lớp có thể được huấn luyện để làm xấp xỉ một
hàm bất kỳ.
1.2.2 Mạng nơron một lớp
- Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp
các trọng số. Mạng một lớp truyền thẳng như hình 1.5. Một lớp nơron là một
nhóm các nơron mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu
vào đồng thời;
- Trong ma trận trọng số, các hàng là thể hiện nơron, hàng thứ j có thể
đặt nhãn như một vector wj của nơron thứ j gồm m trọng số wji. Các trọng số
trong cùng một cột thứ j (j=1,2,...,n) đồng thời cùng nhận một tín hiệu đầu vào
xj.
16
wj = [wj1, wj2, ..., wjm]
- Tại cùng một thời điểm, vector đầu vào x = [x1, x2,..., xn] có thể là một
nguồn bên ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng.
Hình 1.5 Mạng truyền thẳng một lớp
Hình 1.6 Mạng hồi tiếp một lớp
Hình 1.7 Mạng truyền thẳng nhiều lớp
1.2.3 Mạng nơron truyền thẳng nhiều lớp
Mạng nơron nhiều lớp hình 1.7 có các lớp được phân chia thành 3 loại
sau đây:
- Lớp vào là lớp nơron đầu tiên nhận tín hiệu vào xi (i = 1, 2, ..., n). Mỗi
tín hiệu xi được đưa đến tất cả các nơron của lớp đầu vào. Thông thường các
nơron đầu vào không làm biến đổi các tín hiệu vào x i, tức là chúng không có
các trọng số hoặc không có các loại hàm chuyển đổi nào, chúng chỉ đóng vai
17
trò phân phối các tín hiệu;
- Lớp ẩn là lớp nơron sau lớp vào, chúng không trực tiếp liên hệ với thế
giới bên ngoài như các lớp nơron vào/ra;
- Lớp ra là lớp nơron tạo ra các tín hiệu ra cuối cùng.
1.2.4 Mạng Hopfield
Mạng Hopfield là mạng phản hồi một lớp, được chỉ ra trong hình 1.6.
Cấu trúc chi tiết của nó được thể hiện trong hình 1.8. Khi hoạt động với tín
hiệu rời rạc, nó được gọi là mạng Hopfield rời rạc, và cấu trúc của nó cũng
w1n
xn
Wn2
w12
x2
x1
wn1
…..
w2n
w21
𝜃𝑛
𝜃1
𝜃2
yn
y1
y2
được gọi là mạng hồi quy.
Hình 1.8 Cấu trúc mạng hopfield
- Như mạng hopfield trên hình 1.8, ta thấy nút có một đầu vào bên ngoài
xj và một giá trị ngưỡng Өj (j = 1,2,...n). Một điều quan trọng cần nói ở đây là
mỗi nút không có đường phản hồi về chính nó. Nút đầu ra thứ j được nối tới
mỗi đầu vào của nút khác qua trọng số wij với ij (i = 1,2,...,n), hay nói cách
khác wii = 0 (với i = 1,2,...,n);
- Một điều quan trọng nữa là trọng số của mạng Hopfield là đối xứng,
tức là wij = wji (với i,j = 1,2,...,n). Khi đó, luật cập nhật cho mỗi nút mạng là
như sau:
+ Luật cập nhật trên được tính toán trong cách thức không đồng bộ. Điều
này có nghĩa là, với một thời gian cho trước, chỉ có một nút mạng cập nhật
18
được đầu ra của nó. Sự cập nhật tiếp theo trên một nút sẽ sử dụng chính những
đầu ra đã được cập nhật. Nói cách khác dưới hình thức hoạt động không đồng
bộ của mạng, mỗi đầu ra được cập nhật độc lập;
+ Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng
bộ. Với luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của
hệ (với giá trị đầu đã được xác định trước). Trong khi đó, với luật cập nhật
(1.6)
đồng bộ thì có thể làm mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn.
𝑘 + 𝑥𝑖
(𝑘+1) = 𝑠𝑛𝑔 (∑ 𝑤𝑖,𝑗𝑦𝑗 𝑦𝑖
𝑛 𝑖=1 𝑗≠1
19
− 𝜃) 𝑖 = 1,2, … . . , 𝑛
CHƯƠNG II
MẠNG NƠRON WAVELET VÀ CÁC THUẬT TOÁN HỌC
2.1 Phép biến đổi wavelet liên tục
2.1.1 Giới thiệu
Trong xử lý tín hiệu, phép biến đổi Fourier (FT, Fourier Transform) là
một công cụ toán học quan trọng vì nó là cầu nối cho việc biều diễn tín hiệu
giữa miền không gian và miền tần số; việc biểu diễn tín hiệu trong miền tần số
đôi khi có lợi hơn là việc biểu diễn trong miền không gian. Hình 2.1 biếu diễn
tín hiệu theo thời gian, hình 2.2 biểu diễn phép biến đổi Fourier của tín hiệu
trong miền tần sổ [6]. Tuy nhiên, phép biến đổi Fourier chỉ cung cấp thông tin
có tính toàn cục và chỉ thích hợp cho những tín hiệu tuần hoàn, không chứa các
đột biến hoặc các thay đổi không dự báo được. Trong hình 2.2, phổ của f(t) cho
thấy các thành phẩn tần số cấu thành tín hiệu nhưng không cho biết các tẩn số
nảy xuất hiện ở đâu. Để khắc phục khuyết điểm này, Gabor, D đã áp dụng phép
biến đối Fourier cửa sổ (WFT, Windowed Fourier Transform) cho từng đoạn
nhỏ của tín hiệu (cửa sổ); phép biến đổi này cho thấy mối liên hệ giữa không
gian vả tần số nhưng bị khống chế bởi nguyên lý bất định Heisengber cho các
thành phần tần số cao và tần số thấp trong tín hiệu. Phép biến đổi wavelet là
bước tiếp theo để khắc phục hạn chế này.
Hình 2.1 Tín hiệu f(t)
20
Hình 2.2 Biến đổi Fourier của tín hiệu f(t)
Năm 1975, Morlet, J, phát triển phương pháp đa phân giải
(multiresolution); trong đó, ông ta sử dụng một xung dao động, được hiểu là
một “wavelet” (dịch theo từ gốc của nó là một sóng nhỏ) cho thay đổi kích
thước và so sánh với tín hiệu ở từng đoạn riêng biệt. Kỹ thuật này bắt đầu với
sóng nhỏ (wavelet) chứa các dao động tần số khá thấp, sóng nhỏ này được so
sánh với tín hiệu phân tích để có một bức tranh toàn cục của tín hiệu ở độ phân
giải thô. Sau đó sống nhỏ đượcc nén lại để nâng cao dần tần số dao động. Quá
trình này được gọi là làm thay đổi tỉ lệ (scale) phân tích; khi thực hiện tiếp
bước so sánh, tín hiệu sẽ được nghiên cứu chi tiết ở các độ phân giải cao hơn,
giúp phát hiện các thành phần biến thiên nhanh còn ẩn bên trong tín hiệu;
Sau đây, tôi xin trình bày về phép biến đổi wavelet liên tục thuận và
nghịch đồng thời trình bày một số các thuộc tính cơ bản của các hàm wavelet
để có thể vận dụng trong các bài toán cụ thể. Các công trình nghiên cứu của
phép biến đổi wavelet liên tục áp dụng trong việc phân tích định lượng.
2.1.2 Phép biến đổi wavelet thuận
Gọi f(x) là tín hiệu 1-D, phép biến đổi wavelet liên tục của f(x) sử dụng
∗ (
+∞ ∫ −∞
𝑠
(2.1) 𝑊(𝑠, 𝑏) = ) 𝑑𝑥 𝑓(𝑥). Ψ0 hàm wavelet Ψ0 đưọc biểu diễn bởi: 𝑥−𝑏 1 √𝑠
Trong đó:
- W(s, b) là hệ số biến đổi wavelet liên tục của f(x), với s là tỉ lệ (nghịch
21
đảo của tần số) và b là dịch chuyến đặt trưng vị trí.
∗(𝑥) được gọi là hàm wavelet
∗ là hàm liên hiệp phức của wavelet Ψ0
− Ψ0 phân tích.
Phương trình (2.1) cho thấy, phép biến đổi wavelet là một ánh xạ chuyển
từ hàm một biến f(x) thành hàm W(s, b) phụ thuộc hai biến số là biến tỉ lệ s và
biến dịch chuyển b. Hệ số chuẩn hóa 1/(√𝑠) trong Phương trình 1.7 đảm bảo
cho sự chuẩn hóa song wavelet với các tỉ lệ phân tích s khác nhau ‖Ψ0(𝑠,𝑏)‖ =
‖Ψ0‖
Phép biến đổi wavelet có tính linh động cao so với phép biến đổi Fourier
(sử dụng duy nhất hàm mũ) vì không nhất thiết phải sử dụng một hàm wavelet
cố định, mà có thể lựa chọn các hàm wavelet khác nhau trong họ hàm wavelet
sao cho thích hợp với bài toán (hình dạng của hàm wavelet phù hợp với tín hiệu
cần phân tích) để kết quả phân tích là tốt nhất [7]. Hiện nay, người ta đã xây
dụng được khoản vài chục các họ hàm wavelet khác nhau nhằm áp dụng cho
nhiều mục đích phân tích đa dạng. Hình 2.3 đồ thị của ba hàm wavelet là hàm
wavelet Har, hàm wavelet doubechies 5 và hàm wavelet Morlet
Phương trình 2.1 có thể viết lại dưới dạng tích trong (inner product) như
sau:
(2.2) 𝑤(𝑠, 𝑏) = 〈𝑓(𝑥), Ψ0(𝑠,𝑏)(𝑥)〉
1
𝑥−𝑏
Trong đó:
𝑠
√𝑠
c)
a)
b)
(2.3) ) Ψ0(𝑠,𝑏)(𝑥) = Ψ0 (
Hình 2.3 Ba dạng hàm wavelet
22
(a) Wavelet Harr, (b) Wavelet Daubechies 5, (c) Wavelet Morlet
2.1.3 Các tính chất của hàm wavelet
2.1.3.1 Tính chất sóng
Hàm wavelet phức (tổng quát) Ψ0 được xứ hoàn toàn trong cả hai miền:
miền không gian và miền tỉ lệ (ghịch đảo tần số) và đồng thời phải thỏa mãn
tính chất song, nghĩa là dao động với giá trị trung bình của hàm Wavelet bằng
0.
+∞ ∫ Ψ0(𝑦)𝑑𝑦 = 0 −∞
(2.4)
Như vậy, wavelet là dạng song nhỏ có không gian tồn tại hữu hạn và có
giá trị trung bình bằng không. Hệ quả từ tính chất song của hàm wavelet dẫn
đến sự độc lập của phép biến đổi wavelet đối với tất cả các hàm được phân tích.
𝑥−𝑏
Lưu ý rằng khi sử dụng phép biến đổi wavelet liên tục, phải chuẩn hóa
𝑠
) trọng một vùng không gian giới hạn phiên bản của hàm wavelet là Ψ0(
được qui định bởi kích thước cửa sổ: bên ngoài vùng giới hạn hàm wavelet
triệu tiêu. Vậy phép biến đổi wavelet liên tục cung cấp những thông tin về sự
thay đổi cục bộ ở vùng đang khảo sát mà chúng ta không cần quan tâm đến
biến đổi toàn cục của hàm wavelet.
2.1.3.2 Đặc trưng về năng lượng
Năng lượng tổng của tín hiệu f(x) được định nghĩa bởi phương trình sâu:
+∞ −∞
(2.5) |𝑓(𝑥)|2𝑑𝑥 = ‖𝑓(𝑥)‖2 𝐸 = ∫
Tín hiệu có năng lượng xác định khi phương trình 2.5 nhận giá trị xác
định.
Hàm sóng wavelet có đặc trưng về năng lượng được chuẩn hóa bằng đơn
vị cho mọi tỉ lệ s. Vậy, tính chất thứ hai của hàm wavelet là:
+∞ ∫ −∞
(2.6) |Ψ0(𝑦)|2𝑑𝑦 = 1
2.1.3.3 Biểu diễn các hệ số wavelet
Có hai cách biểu diễn các hệ số wavelet. Thứ nhất, biểu diễn các hệ số
wavelet W(s,b) trong hệ tọa độ ba trục vuông góc (x,y,z) với trục x biểu diễn
23
tham số dịch chuyển (vị trí) b, trục y biểu diễn tham số tỉ lệ (là nghịch đảo tần
số) s và trục thẳng đứng z biểu diễn hệ số wavelet W. Hình 2.4 mô tả cách biểu
diễn các hệ số W(s,b) trọng hệ tọa độ ba trục vuông góc, trên hình này, dễ dàng xác định vị trí hiện diện của các thành phần tần số (nghịch đảo của tỉ lệ). Thứ
hai, biểu diễn các hệ số W(s,b) trong mặt phẳng không gian – tỉ lệ (x,s) (gọi là
tỉ lệ đồ) ở dạng các đường đẳng trị hay ở dạng ảnh; các biểu diễn này thông
dụng trong xử lý ảnh. Hình 2.5 mô tả các biểu diễn các hệ số W(s,b) trong tỉ lệ
đồ ở dạng các đường đẳng trị modun và pha. Hình 2.6 mô tả các biểu diễn các
hệ số W(s,b) trong tỉ lệ đồ dạng ảnh.
Hìnhg2.4 Biểu diễn hệ số wavelet trong hệ tọa độ ba trục vuông góc
Hình 2.5 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng các đường đẳng trị
Hình 2.6 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng ảnh
24
2.1.4 Phép biến đổi wavelet nghịch
Tương tự như phép biến đổi Fourier, phép biến đổi wavelet liên tục có tính
thuận nghịch. Nếu phép biến đổi wavelet thuận có dạng (1.7) thì phép biến đổi
1
𝑥−𝑏
wavelet nghịch có dạng:
+∞ ∫ −∞
+∞ ∫ −∞
𝑠
𝑠
1 𝐶𝑔
(2.7) 𝑓(𝑥) = 𝑑𝑏 )𝑑𝑠 𝑊(𝑠, 𝑏)Ψ0(
Trong đó:
- cg là hằng số phục thuộc và hàm wavelet được sử dụng.
Phương trình (2.7) cho phép khôi phục lại tín hiệu nguyên thủy từ các hệ
số biến đổi wavelet bằng phép tính tích phân theo toàn bộ các tham số tỉ lệ s và
dịch chuyển b. Trong (2.7), hàm wavelet Ψ0 được sử dụng sao cho hàm liên hiệp
phức của nó trong phương trình 2.1.
Trong thực tế, việc khôi phục chính xác tín hiệu gốc từ phép biểu đổi
wavelet gặp khó khăn (không giống như việc khôi phục tín hiệu từ phép biến đổi
Fourier). Theo Vecsey, L việc khôi phục tín hiệu gốc từ phép biến đổi wavelet sẽ
cho kết quả chính xác khi phương trình sau đây được thỏa:
1 2 < ∞ }
+∞ −∞
‖Ψ(ω)‖2 ‖𝜔‖
(2.8) 𝑑𝜔 𝑐𝑔 = {2𝜋 ∫
Trong đó:
Ψ(𝜔) là biến đổi Fourier của hàm Ψ(𝑥)
2.1.5 Phép biến đổi wavelet liên tục hai chiều và nhiều chiều
1
𝑅−𝐵
Phép biến đổi wavelet 2-D được cho bởi phương trình:
∗ (
+∞ ∫ −∞
𝑠
𝑠
(2.9) 𝑊(𝑠, 𝐵) = ) 𝑑𝑅 𝑓(𝑅). Ψ0
Trong đó
2 2 + 𝑥2
2 2 + 𝑏2
- R(x1, x2) là véctơ tọa độ gồm hai phần là x1 và x2 thỏa hệ thức: 𝑅2 = 𝑥1
- B(b1,b2) là véctơ vị trí , có hai thành phần thhoar hệ thức: 𝐵2 = 𝑏1 Hệ số (1/s) để chuẩn hóa năng lượng của sóng Wavelet 2-D, được suy ra từ
25
trường hợp 1-D. Tín hiệu f(R) làm hàm theo hai biến không gian x1 và x2.
1
𝑅−𝐵
Phép biến đổi Wavelet nghịch 2-D được viết dưới dạng.
+∞ ∫ −∞
𝑠3 𝑊(𝑠, 𝑏)Ψ0(
𝑠
1 𝐶𝑔
(2.10) 𝑓(𝑅) = )𝑑𝑠
So với phương trình biển đổi wavelet nghịch 1-D cho bởi (2.7), phương
trình (2.3) xuất hiện số hạng (1/s3) thay cho số hạng (1/s) do nguyên nhân co giãn
1
𝑅−𝐵
và dịch chuyển của hàm wavelet trong phép biến dổi 2-D:
𝑠
𝑠
(2.11) ) Ψ0(𝑠,𝑏)(𝑅) = Ψ0(
Phép biến đổi wavelet n chiều (n>2) có thể xây dựng đơn giản bằng các mở
rộng phần tử trong các véctơ R và B đến n giá trị theo các biểu diễn:
(2.12) 𝑅(𝑥1, 𝑥2, … . 𝑥𝑛) và 𝐵(𝑏1, 𝑏2, … . 𝑏𝑛)
Để đảm bảo sự bảo toàn năng lượng của sống wavelet, trong phép biến đổi
wavelet n-D, cần hiệu chỉnh lại số hạng trước phân tích dưới dạng 1/s(n/2). Do đó,
𝑅−𝐵
hàm wavelet Ψ0(𝑠,𝐵)(𝑅) trong không gian n-D được viết ở dạng:
(
𝑠
1 𝑛 ) 2
𝑠
(2.13) ) Ψ0(𝑠,𝐵)(𝑅) = Ψ0(
𝑅−𝐵
Nên phép biến đổi wavelet trong n-D được viết lại dưới dạng:
∗ (
+∞ −∞
1 𝑠(𝑛/2) ∫
𝑠
(2.14) 𝑊(𝑠, 𝐵) = ) 𝑑𝑅 𝑓(𝑅). Ψ0
1
𝑅−𝐵
Và phép biến đổi wavelet nghịch của nó trong n-D có dạng:
+∞ ∫ −∞
+∞ ∫ −∞
𝑠𝑛+1 𝑊(𝑠, 𝑏)Ψ0(
𝑠
1 𝐶𝑔
(2.15) 𝑓(𝑅) = 𝑑𝐵 )𝑑𝑠
2.1.6 Tiêu chuẩn chọn hàm wavelet
Ưu điểm chính của phép biến đỏi wavelet là phân tích chi tiết từng vùng
không gian rất nhỏ trong vùng biến đổi rộng của tín hiệu khảo sát. Sự địa phương
hóa trong phân tích giúp phát hiện vị trí các điểm đứt gãy, các điểm gián đoạn với
độ dốc lớn nếu hàm wavelet được chọn đồng dạng với tín hiệu. Ngoài yếu tố trên,
các yếu tố khác cũng giữ vai trò quan trọng, cần được xem xét kỹ trước khi chọn
một hàm wavelet để phân tích.
1.2.6.1 Hàm wavelet trực giao hay hàm wavelet không trực giao
Các hàm wavelet trực giao, gọi là cơ sở wavelet trực giao, thường được
sử dụng cho phép biến đổi wavelet rời rạc (sẽ trình bày sau) và nó rất tiện dụng 26
cho việc tái tạo lại tín hiệu ban đầu sau quá trình nén dữ liệu. Các hàm wavelet
trực giao Coiflets (viết tắt là Coif), đó là các wavelet trực giao và chuẩn hóa,
cho phép thực hiện các biến đổi wavelet liên tục cũng như rời rạc. Ngược lại,
các hàm wavelet không trực giao thường được sử dụng cho phép biến đổi
wavelet liên tục vì nó thích hợp để phát hiện các tính chất đặc trưng của tín hiệu.
1.2.6.2 Hàm wavelet phức hay hàm wavelet thực
Hàm wavelet phức cho bốn thông tin về phần thực, phần ảo, độ lớn và
pha của tín hiệu. Nó thích hợp khi phân tích các tín hiệu dao động mạnh. Hàm
wavelet thực, chỉ cung cấp thông tin về độ lớn của tín hiệu nên thích hợp cho
việc phát hiện các điểm gián đoạn hay các đỉnh cực đại của tín hiệu.
2.1.6.3 Độ rộng
Quan hệ giữa độ rộng của hàm wavelet trong miền không gian và độ rộng
trong miền tần số cho bởi nguyên lý bất định Heisenberg – Gabor. Nếu hàm
wavelet bị hẹp về độ rộng trong miền không gian thì ngược lại, độ rộng của phổ
tần số sẽ tăng lên. Vậy độ phân giải tối ưu trong miền tần số sẽ tương ứng với độ
phân giải rất hạn chế trong miền không gian và ngược lại. Hình 2.7 (a) mô tả ba
cung wavelet Mexican ứng với tỉ lệ s khác nhau và hình 2.7 (b) là phổ Fourier
tương ứng của ba xung wavelet nêu trên. So sánh các đồ thị có cùng tỉ lệ s ta thấy,
khi xung Wavelet có dạng nở rộng (đồ thị thứ 3 trên hình 2.7 (a)) thì phổ tần số
tương ứng của nó lại có dạng rất hẹp (đồ thị thứ 3 trên hình 2.7 (b))
Hình 2.7 Hàm wavelet mexican ở ba tỉ lệ s khác nhau
(a) Các hàm wavelet mexican với tỉ lệ s lần lượt là 1,2 và 3
27
(b) Phổ Fourier của hàm wavelet mexican với tỉ lệ s là 1,2 và 3
2.1.6.4 Hàm wavelet chẵn và hàm wavelet lẻ
- Khi sử dụng các hàm wavelet thực, cần phân biệt hàm wavelet chẵn hay
hàm wavelet lẻ. Sử dụng hàm wavelet lẻ, chúng ta có thể xác định chính xác nơi
xuất hiện và kết thúc của tín hiệu có dạng giống hàm wavelet. Hàm wavelet chẵn
sử dụng để xác định các đỉnh cực đại trên tín hiệu;
Hình 2.8 Biến đổi wavelet của tín hiệu sử dụng hàm wavelet chẵn và lẻ
(a) Hình trên là tín hiệu f(x), hình dưới là biến đổi wavelet của tín hiệu sử dụng hàm
wavelet là đạo hàm bậc nhất của hàm Gauss
(b) Hình trên là tín hiệu f(x), hình dưới là biến đổi wavelet của tín hiệu sử dụng hàm
wavelet là đạo hàm bậc hai của hàm Gauss
- Hình 2.8(a) là phép biến đổi wavelet của tín hiệu có dạng hình hộp sử
dụng hàm tạo ra từ đạo hàm bậc nhất của hàm Gauss; lúc này, hàm wavelet là lẻ
và dựa vào đồ thị có thể chỉ ra trực tiếp vị tri của các bờ biên. Hình 2.8(b) là phép
biến đổi wavelet của tín hiệu sử dụng hàm tạo ra từ đạo hàm bậc hai của hàm
Gauss; lúc này, hàm wavelet là chẵn nên thích hợp cho việc xác định vị trí của đỉnh;
- Hơn hai mươi năm qua, phép biến đổi wavelet đã được áp dụng và phát
triển mạnh mẽ góp phần quan trọng trong việc phân tích tài liệu ở nhiều lĩnh vực
khác nhau trong đó có việc phân tích tài liệu từ (và trọng lực). Trong chương này,
tôi đã trình bày tổng quát về lý thuyết cơ bản của phép biến đổi wavelet liên tục
và việc tính toán để hạn chế tác động của hiệu ứng biên. Ngoài ra, tôi cũng trình
28
bày tóm lược về phép biến đổi wavelet rời rạc và các ứng dụng của nó để tách
trường và lọc nhiễu trong phân tích tài liệu từ và trọng lực.
2.2 Mạng nơron wavelet
- Trong những thập kỷ qua, các mạng nơron đã được thiết lập như là một
công cụ ướ c chừ ng chung cho các mô hình phi tuyến tính trù ng khớ p từ dữ liệu
đầu vào, đầu ra. Một mạng nơron xuất phát từ sức mạnh tính toán thông qua cấu
trúc được phân bổ song song một cách ồ ạt và khả năng nghiên cứu của nó. Tuy
nhiên, việc thực hiện của các mạng nơron bị thiếu hụt các phương pháp xây dựng
hiệu quả, cả hai xác định các thông số của các nơron và cho việc lựa chọn những
cấu trúc mạng. Mạng nơron nhân tạo đã hạn chế khả năng mô tả đặc tính riêng
của một chuỗi thời điểm, nó i chung là rất quan trọng để phân loại chính xác hay
mô phỏng các chuỗi. Bởi các tính năng này thường bị biệt lập theo thời gian và/hay
tần số, sử dụng những sóng nhỏ cho phép mạng nơron tận dụng lợi thế của việc
phân tích đa phân giải được cung cấp bởi những sóng nhỏ để tập trung mạng lưới
vào các tính năng cục bộ;
- Những kỹ thuật sóng nhỏ có thể cung cấp thêm cái nhìn sâu sắc và hiệu
quả trong các tình huống phân tích dữ liệu mà các kỹ thuật Fourier đã được sử
dụng trước đây. Ý tưởng sử dụng những sóng nhỏ trong các mạng nơron được đề
xuất bởi Zhang và Benveniste [3]. Zhang và cộng sự được mô tả như một mạng
nơron dựa trên sóng nhỏ cho nghiên cứu hàm số và lập dự toán, và cấu trúc của
mạng này là tương tự như của mạng RBF ngoại trừ các hàm số tỏa tròn được thay
thế bởi các hàm số xác định tỷ xích trực chuẩn. Từ quan điểm của đại diện hàm
số, những mạng lưới RBF truyền thống có thể đại diện cho bất kỳ hàm sốnào trong
không gian được nối lại bởi các hệ thốnghàm số cơ bản.Tuy nhiên, các hàm số cơ
bản trong hệ thống thường không trực giao và là dư thừa.Nó có nghĩa rằng đại
diện mạng RBF cho một hàm số nhất định không phải là duy nhất và có lẽ không
phải là hiệu quả nhất. Bakshi và Stephanopoulos đã trình bày một cách sáng tạo
về một mạng nơron wavelet trực giao cho sự xấp xỉ và phương pháp phân loại dựa
29
trên phân tích đa phân giải;
- Những sóng nhỏ (wavelets) đã trở thành một chủ đề rất tích cực trong
nhiều lĩnh vực nghiên cứu khoa học cụ thể và kỹ thuật. Đặc biệt, những mạng nơron sóng nhỏ (Wavelet Neural Networks), được lấy cảm hứng từ cả thức ăn –
hướng đến mạng nơron và sự phân tách sóng nhỏ, đã nhận được sự chú ý đáng kể
và trở thành một công cụ phổ biến cho phép tính xấp xỉ hàm số. Đặc điểm chính
của mạng nơron wavelet là dường như trái ngược với mạng nơron cổ điển sử dụng
các hàm số kích hoạt dựa trên đường xích ma, chúng thường sử dụng DWT - rút
ra từ một hệ thống của những sóng nhỏ trực giao - như hàm số kích hoạt cho các
nơron ở lớp bị ẩn đi thay vì hàm xích ma bình thường. Mỗi nơron trong lớp ẩn đại
diện cho một hệ số sóng nhỏ. Kể từ sự biến đổi của sóng nhỏ dẫn đến kết quả
trong một đại diện thưa thớt, không phải tất cả các hệ số sóng nhỏ là cần thiết cho
một sự tái thiết lập chính xác của tín hiệu ban đầu. Trong thực tế, bao gồm của tất
cả các hệ số có khả năng sẽ gây ra qua việc đào tạo các mạng nơron, và dẫn đến
sự hội tụ kém. Vì lý do này, các hệ số sóng nhỏ mà không đóng góp vào các tính
năng riêng của tín hiệu được xác định trong quá trình đào tạo lặp đi lặp lại của
mạng nơron wavelet, và tế bào thần kinh tương ứng của chúng được thu gọn từ
mạng. Cấu trúc đơn giản nhất của mạng nơron wavelet rất giống với mạng nơron
như trong hình 2.9 trong đó mỗi tế bào thần kinh thường được áp dụng cho tất cả
các biến vào. Ở đây, những lớp ẩn bao gồm các tế bào nơron, thường được quy
cho là những sóng nhỏ.
Lớp đầu vào Lớp sóng nhỏ Lớp đầu ra
Hình 2.9 Cấu trúc của mạng nơron sóng nhỏ
30
Mạng nơron sóng nhỏ bao gồm ba lớp: lớp đầu vào, lớp ẩn và lớp đầu ra.
Những kết nối giữa các đơn vị đầu vào và các đơn vị ẩn, và giữa các đơn vị ẩn và các đơn vị đầu ra được gọi theo thứ tự là trọng số vjp và Wj. Trong mạng Nơron
sóng nhỏ này, quy trình hướng dẫn được miêu tả như sau:
- Ban đầu tham số giãn nở mj, tham số tịnh tiến nj, và nút giao điểm có trọng
số vjp,Wj đến một vài giá trị ngẫu nhiên. Tất cả những giá trị ngẫu nhiên được giới
d, trong đó p
hạn trong khoảng (0, 1).
- Dữ liệu đầu vào xp(t) và những giá trị đầu ra tương ứng yt
biến thiên từ 1 đến P, đại diện cho số lượng của các nút đầu vào, t đại diện cho
mẫu dữ liệu thứ t của tập hướng dẫn, và d đại diện cho trạng thái đầu ra được
mong muốn;
N
- Giá trị đầu ra của ví dụ t, ŷ t được tính toán theo phương trình sau:
P p=1
p − mj vjp xt nj
j=1
∑ ( ) (2.16) ŷ𝑡 = ∑ Wjφ
Tại đó φ được xem là hàm wavelet gốc, như bộ lọc hàm wavelet morlet
được minh họa ở hình 3.3 và được biểu diễn bởi phương trình:
1
0.5
0
-0.5
-4
-3
-2
2
-1
0
1
3
4
-1
𝜑(x) = cos( 2𝜇𝛽x )exp ( −0.5x2 ) (2.17)
Hình 2.10 Hàm wavelet morlet cơ bản
31
Để giảm sai số thì vjp, wj, mj, nj được điều chỉnh thành ∆v, ∆w, ∆m, ∆n. Trong
mạng nơron wavelet, thực hiện thuật giảm gradient (gradient descent) thông qua
∆Wj(t + 1) = −η
+ ξ∆Wj(t)
∂Et ∂Wj(t)
∆vjp(t + 1) = −η
+ ξ∆vjp(t) (2.18)
∂Et ∂vjp(t)
∆mj(t + 1) = −η
+ ξ∆mj(t)
∂Et ∂mj(t)
∆nj(t + 1) = −η
+ ξ∆nj(t)
∂Et ∂nj(t)
những phương trình sau:
2
(2.19)
d − ŷ𝑡)
Et =
1 2
M ∑(yt t=1
Trong đó hàm sai số E diễn tả:
M là số lượng dữ liệu của tập huấn luyện. η và ξ là tỷ lệ học và động lượng
tương ứng.
- Quá trình này tiếp tục cho đến khi E đáp ứng yêu cầu được đưa ra, và toàn
bộ huẩn luyện của mạng nơron wavelet được hoàn thành.
Kết hợp các thuộc tính xác định vị trí tần số thời gian của các sóng nhỏ và
các khả năng nghiên cứu của mạng Nơron nói chung, mạng nơron wavelet đã cho
thấy lợi thế qua các phương pháp thông thường như mạng nơron cho mô hình hệ
thống phi tuyến phức tạp.
2.3 Quy tắc học của mạng nơron wavelet
- Thông thường mạng nơron được điều chỉnh hoặc được huấn luyện để
hướng các đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng được
32
chỉ ra trên. Ở đây, hàm trọng của mạng được điều chỉnh trên cơ sở so sánh đầu ra
với đích mong muốn (taget) cho tới khi đầu ra mạng phù hợp với đích. Những cặp
vào/đích (input/taget) được dùng để giám sát cho sự huấn luyện mạng;
- Để có được một số cặp vào/ra, ở đó mỗi giá trị vào được gửi đến mạng và
giá trị ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giá
trị mong muốn. Bình thường tồn tại một sai số bởi lẽ giá trị mong muốn không
hoàn toàn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng bình phương của
tất cả các sai số. Sai số này được sử dụng để xác định các hàm trọng mới;
- Sau mỗi lần chạy, hàm trọng của mạng được sửa đổi với đặc tính tốt hơn
tương ứng với đặc tính mong muốn. Từng cặp giá trị vào/ra phải được kiểm tra
và trọng lượng được điều chỉnh một vài lần. Sự thay đổi các hàm trọng của mạng
được dừng lại nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước hoặc
đã chạy đủ một số lần chạy xác định (trong trường hợp này mạng có thể không
thoả mãn yêu cầu đặt ra do sai lệch còn cao). Có hai kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông
số về trọng số, cập nhật kết nối giữa các nơron;
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của
mạng nơron gồm số lượng nút (node) và các mẫu liên kết;
- Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận
chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơron
có sẵn;
- Để làm được việc đó, mạng nơron sử dụng các trọng số điều chỉnh, với
nhiều phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm
đặc trưng cho mạng;
- Huấn luyện mạng sử dụng các phần từ vector trọng số hoặc các thành
phần của vector trọng số wij kết nối với đầu vào của Nơron i, dữ liệu đầu ra của
nơron khác có thể là đầu vào của Nơron i. Các dạng hàm kích hoạt nơron có thể
33
khác nhau khi các quy tắc học khác nhau được xem xét;
tăng theo tỉ lệ kết quả đầu vào
- Trọng số của vector wi=[wi1 wi2 wi3...win]t
x và tín hiệu học r. Tín hiệu học là một hàm của trong số wi và dữ liệu đầu vào x,
hoặc tín hiệu dạy di
(2.20) R=fr (wi,x,di
Trọng số của vector wi sẽ tăng tại thời điểm t theo quy tắc học :
(2.21) Δwi (t) =θr[wi (t),x(t),di (t)]x(t)
Trong đó θ là hằng số xác định tỉ lệ học
Tại bước tiếp theo vector trọng số tương ứng với thời gian t:
(2.22) wi(t+1)=wi(t) +θr[wi (t),x (t),di (t)]x(t)
Quy ước chỉ số trên sẽ được sử dụng trong phạm vi chỉ mục rời rạc. Đối
với các bước có thể sử dụng từ phương trình 2.22 bằng cách sử dụng phương
k )xk
trình
k+1 = wi
k +θr(wi
k ,xk ,di
(2.23) wi
2.3.1 Học có giám sát
- Nguyên tắc học tập được cung cấp với một tập huấn luyện về hoạt động
mạng thích hợp: {x1, y1} , {x2, y2} , …, {xn, yn};
- Với (xn) là một dữ liệu đầu vào mạng, (yn) là dữ liệu đầu ra tương ứng.
Khi đầu vào được áp dụng vào mạng, các kết quả đầu ra của mạng được so sánh
với kết quả mục tiêu. Nguyên tắc học được sử dụng để điều chỉnh trọng số và sai
số của mạng để dịch chuyển kết quả đầu ra của mạng gần hơn với kết quả mong
muốn. Trong học có giám sát tại từng thời điểm khi đầu vào được áp dụng người
huấn luyện sẽ cung cấp thông tin phản hồi của hệ thống. Điều này được minh họa
trong hình 2.11, khoảng cách thực tế và khoảng cách mong muốn là biện pháp để
tìm ra lỗi và được sử dụng để điều chỉnh trọng số của mạng. Trong phân loại học
của các mẫu đầu vào hoặc các trạng thái đầu vào được biết trước câu trả lời, lỗi
này có thể được sử dụng để thay đổi trọng số nhằm giảm lỗi. Học có giám sát là
34
phương thức học phổ biến và được sử dụng trong nhiều trường hợp học tự nhiên.
Hình 2.11 Học có giám sát
2.3.2 Học không giám sát
Trong học không giám sát trọng số và các sai số của mạng được thay đổi để đáp ứng với dữ liệu đầu vào của mạng. Học không giám sát không có kết quả đầu ra của mạng. Mạng tự học cách phân loại các mẫu đầu vào đưa vào trong các lớp. Học không giám sát không có các tín hiệu phản hồi, thông tin lỗi không được sử dụng để cải tiến hoạt động của mạng. Học không giám sát được thực hiện dựa trên quan sát các phản ứng đầu vào. Mạng tự tìm hiểu các mẫu, quy tắc, các thuộc tính… mạng tự tìm ra sự thay đổi trong các tham số của nó.
Hình 2.12 Học không giám sát
2.3.3 Học tăng cường
Học tăng cường là luật học có điểm giống như học có giám sát là mạng được cung cấp dữ liệu đầu ra mong muốn và có điểm giống học không giám sát là mạng không nhận được tất cả các thông tin phản hồi. Trong học tăng cường hệ thống nhận được tín hiệu phản hồi đánh giá kết quả đầu ra là đúng hay sai. Tuy nhiên học tăng cường không được cung cấp thông tin đầu ra chính xác. Do không có thông tin đầu ra chính xác lên hệ thống phải sử dụng một số chiến lược tìm kiếm ngẫu nhiên để lựa chọn không gian tìm kiếm từ đó đưa ra 35
kết quả chính xác nhất. Khi có thông tin phản hồi đúng từ môi trường đầu vào học tăng cường khám phá môi trường mới. Hệ thống này sẽ nhận được tín hiệu đầu vào từ môi trường và cho kết quả đầu ra tương ứng. Hệ thống sẽ nhận được thông tin phản hồi tích cực hoặc không tích cực từ môi trường. Để nhận biết được thông tin phản hồi từ môi trường là tích cực hay không tích cực hệ thống sẽ phải thực hiện qua nhiều bước.
2.4 Mô hình cấu trúc đề xuất (WNN-LCW)
- Như đã đề cập, hai vấn đề chủ chốt trong việc thiết kế mạng nơron wavelet
là làm thế nào để xác định cấu trúc mạng nơron wavelet và thuật toán nghiên cứu
nào có thể được sử dụng một cách hiệu quả cho việc huấn luyện mạng nơron
wavelet. Những vấn đề này liên quan đến việc xác định một kiến trúc mạng nơron
wavelet tối ưu để tìm kiếm các hàm wavelet;
- Mạng nơron wavelet là một loại mạng nơron với hàm wavelet bao gồm
những hàm số cơ bản. Đặc tính bên trong của các mạng hàm cơ bản đó là kích
hoạt cục bộ với giá trị đầu vào cho trước được chỉ ra bởi các hàm hoạt tính
(activation function). So với mạng perceptron đa lớp (MLP), các mạng hàm số cơ
bản cũng tương tự như MLP. Mô hình mạng nơron wavelet đề xuất trong luận văn
này hợp nhất một vài biến đổi so với những mạng nơron wavelet cổ điển nhằm
nâng cao hiệu suất của nó. Một mạng nơron wavelet cổ điển sử dụng các hàm cơ
bản wavelet phi tuyến (gọi là các hàm wavelet) thay vì sử dụng các hàm kích hoạt
sigmoid thông thường. Giá trị đầu ra của mạng này là một tổng có trọng số của
một số hàm wavelet. Trong mạng nơron wavelet tuyến tính (WNN-LCW), các
trọng số liên kết giữa các nơron lớp ẩn và các nơron đầu ra được thay thế bởi một
mô hình tuyến tính cục bộ, tương tự với lớp đầu ra xuất hiện trong hệ suy luận
nơron mờ thích nghi ANFIS. Giá trị đầu ra của mạng là một tổng có trọng số của
một số hàm wavelet. Mạng nơron wavelet tuyến tính (WNN - LCW) các trọng số
liên kết giữa các nơron lớp ẩn và các nơron đầu ra được thay thế bởi một mô hình
tuyến tính cục bộ (tương tự mô hình Takagi – Sugeno – Kang như trong các hệ
36
thống lọc nano (NF));
- Một mạng nơron wavelet dự tính gần đúng bất kỳ một tín hiệu mong muốn
y(t) nào bằng cách tạo ra tổ hợp của một số các hàm wavelet con tạo ra bởi phép giãn và tịnh tiến kích thước bước m và n từ một wavelet mẹ với một trong hai
𝑡−𝑛
phương trình dưới đây:
𝑚
(2.24) ) 𝜑𝑚,𝑛 = 𝜑(
𝜑𝑚,𝑛 = 𝜑(2−𝑚𝑡 − 𝑛)
Với, m>0. Ghi nhớ rằng phương trình (2.24) không có tiêu chuẩn hóa. Đối
với không gian đầu vào n chiều, hàm cơ sở wavelet đa biến có thể được tính bởi
(2.25)
𝑃 𝜑(𝑥) = ∏ 𝜑(𝑥𝑝) 𝑃=1
tích tenxơ của các hàm cơ sở đơn wavelet P như dưới đây:
- Do tính toàn vẹn của phép xấp xỉ địa phương, một số lượng lớn đơn vị
hàm số cơ bản phải được sử dụng cho việc nhận diện hệ thống được đưa ra. Bất
lợi của mạng Nơron Wavelet là:
- Đối với những vấn đề nhiều chiều hơn thì cần có nhiều lớp ẩn;
- Do các tham số bên trong hàm số hoạt động trong mạng, nên bỏ qua nhiều
giai đoạn huấn luyện để đạt được một mức độ chính xác cụ thể của.
N
Giá trị đầu ra trong lớp ra được đưa ra bởi phương trình:
j=1
(2.26) y = ∑(ωj0 + ωj1x1 + ⋯ + ωjpxp)φj(x̅)
Tại đó, 𝑥𝑗̅ là tích của các trọng số và các giá trị đầu vào từ lớp vào đến
37
Nơron j của lớp ẩn. Nó được biểu thị ở hình 2.13
Lớp 1 Lớp 2 Lớp 3
Hình 2.13 Cấu trúc mạng thần kinh sóng nhỏ trọng lượng tổ hợp tuyến tính
- Các trọng số giữa lớp ẩn và lớp ra là một sự kết hợp tuyến tính của các
trọng số Wj theo i. Những đặc tính tốt trong các hệ thống nơron mờ TSK ii) các
mô hình tuyến tính riêng phải cung cấp một phép nội suy kỹ lưỡng hơn trong các
không gian bậc cao. Các thông số về quy mô và tịnh tiến và các thông số mô hình
tuyến tính riêng và trọng số lớp đầu tiên cho đến thứ hai được khởi tạo ngẫu nhiên
ban đầu và được tối ưu hóa bằng thuật toán lan truyền ngược giảm gradient. Chức
năng được thông qua trong nút lớp ẩn là một phiên bản được sửa đổi của sóng
nhỏ, được xuất hiện trong thuật toán. Sóng nhỏ này được bắt nguồn từ một chức
năng tỷ lệ thuận với hàm cosin và hàm mật độ xác suất Gaussian. Nó không trực
giao và có hỗ trợ thay thế. Hàm kích hoạt nút sóng nhỏ thứ j được kết nối với dữ
2
)
x̅−mj ( nj 𝑣
liệu đầu vào sẽ được thể hiện:
(2.27) )) 𝑒− 𝜑𝑚𝑗,𝑛𝑗(x𝑗̅ ) = cos (2𝜋𝛽 ( x𝑗̅ − m𝑗 nj
2.5 Phương án nghiên cứu tham số Lai
- Trong giai đoạn điều chỉnh, sự tập trung được dành cho việc tối ưu hóa
38
hiệu quả của các thông số mạng qua phương pháp nghiên cứu Lai. Do cấu trúc
mạng được đề xuất bao gồm các bộ phận tuyến tính và phi tuyến tính. Quá trình
huấn luyện theo bình phương nhỏ nhất (Recursive least-squares - RLS) giảm
gradient (gradient descent - GD) đã được áp dụng;
- Phương trình cổ điển của bình phương nhỏ nhất đặt ra những vấn đề tính
toán lớn với sự phức tạp trong tính toán là theo thứ tự của O(Ω3) phát triển liên
tục với số lượng dữ liệu được thu thập, trong đó Ω là số các tham số được ước
tính. Để tăng hiệu quả của thuật toán LS, được sử dụng để từng bước tạo ra một
mô hình hồi quy tuyến tính;
- Việc nghiên cứu tham số được dựa trên dữ liệu sau khi quá trình dự đoán
trước một bước được thực hiện thông qua lớp đầu ra có trọng số của mạng nơron
wavelet là tuyến tính, do đó, việc sử dụng các kỹ thuật RLS để điều chỉnh các
thông số của lớp ra trong quá trình huấn luyện là hợp lí, cùng với giảm gradient
(gradient Descent - GD) cho các thông số khác. Việc tăng tốc độ quá trình thể
hiện rõ và đồng thời tăng tính ổn định của nó. Các thông số được chia thành hai
loại; thông số tuyến tính và thông số phi tuyến tính. Để cập nhật các thông số
tuyến tính RLS được sử dụng, thuật toán GD như là lựa chọn đơn giản đơn nhất.
1
3)2 𝑡 = 1, … … , 𝑀 (2.28)
Cả hai thuật toán được sử dụng cho mục tiêu:
𝑑 − O𝑡
2 - Trong đó Ol
t là đầu ra của đầu ra thứ l cho ví dụ huấn luyện thứ t. Trong
𝐸𝑡 = (𝑦𝑡
d là giá trị mong
t là đầu ra được ước tính của hệ thống và yt
một cấu trúc ba lớp O3
muốn cho mẫu M;
- Thuật toán tích hợp trong mạng nơron wavelet là trọng số tuyến tính phối
hợp phương pháp bình phương tối thiểu (RLS) và thuật toán giảm gradient lan
truyền ngược (BP/GD) để tìm các tham số. Thể hiện qua các hướng:
1) RLS: Trong tính toán trực tiếp, các giá trị đầu ra của nút tới lớp cuối
cùng và các trọng số tuyến tính xác định bởi RLS, với giá trị không đổi cho trước
của những tham số hàm wavelet, giá trị đầu ra có thể được biểu diễn như một tập
hợp tuyến tính của các tham số tuyến tính. Các tham số tuyến tính ước lượng là
39
tối ưu trên toàn cục.
2) BP/GD: Trong tính ngược, chúng tôi tính toán các tín hiệu sai số một
cách đệ quy từ lớp đầu ra ngược về các nút đầu vào và các nút ẩn. Do đó, các tham
số wavelet được điều chỉnh thu giảm gradient.
- Đối với việc cập nhật các yếu tố trọng số liên kết tuyến tính
(𝜔0𝑗, … … , 𝜔𝑝𝑗) giữa lớp thứ ba và lớp thứ hai, qua biến phương trình (2.29) trở
thành tuyến tính xét về tham số và để làm được điều đó phải qua những bước sau:
𝑁 𝑗=1
(2.29) ) 𝑦 = ∑ 𝑊𝑗(𝑥)𝜑𝑗(𝑥𝑗̅
(2.30)
{ 𝑊1(𝑥) = 𝜔01 + 𝜔11𝑥1 + ⋯ + 𝜔𝑝1𝑥𝑝 𝑊2(𝑥) = 𝜔02 + 𝜔12𝑥1 + ⋯ + 𝜔𝑝2𝑥𝑝 . . . 𝑊𝑁(𝑥) = 𝜔0𝑁 + 𝜔1𝑁𝑥1 + ⋯ + 𝜔𝑝𝑁𝑥𝑝
Do đó, có thể viết lại và mở rộng phương trình (2.29) dưới dạng:
𝑁 𝑗=1
𝑁 𝑗=1
𝑁 𝑗=1
∑ 𝑦 = ∑ (2.31) 𝜔0𝑗𝜑𝑗(𝑥𝑗̅ ) + 𝜔1𝑗𝑥1𝜑𝑗(𝑥𝑗̅ ) + … . + ∑ 𝜔𝑝𝑗𝑥𝑝𝜑𝑗(𝑥𝑗̅ )
Nếu xác định
Ф(x) =
[φ1(x1̅ ), φ2(x2̅̅̅), … , φN(xN̅̅̅), x1φ1(x1̅ ), x1φ2(x2̅̅̅), … , x1φN(xN̅̅̅), … , xpφ1(x1̅ ), xpφ2(x2̅̅̅), … , xPφN(xN̅ )]T
(2.32)
Và
𝜃 = [𝜔01,𝜔20, … , 𝜔𝑁0, 𝜔11, 𝜔21, … , 𝜔𝑁1, … , 𝜔𝑝1, 𝜔𝑝2, … , 𝜔𝑝𝑁] (2.33)
Sao cho
y(x|θ) = θTФ(x) (2.34)
- Để ước lượng thông số của θ tại mỗi bước nhảy, chúng tôi sử dụng phương
trình sau:
Nếu chúng tôi xác định một ma trận M ×P bao gồm các vector dữ liệu x’
40
chồng lên nhau chúng tôi có:
(𝑥1)𝛾 (𝑥2)𝛾 ⋮ (𝑥𝑀)𝑇
(M) = [ ] (2.35)
- Trong đó M là tổng số vector dữ liệu và P là chiều của mỗi vector dữ liệu.
Trong RLS, một dạng thuật toán Gaussian Newton được sử dụng để cập nhật các
tham số ước lượng θ (bao gồm các trọng số và các ngưỡng)
(2.36)
θ(T) = θ(T − 1) + K(T)(yt − Ф(T)Tθ(T − 1)) - Trong đó, yt là giá trị đầu ra mong muốn và K(t) là dữ liệu phụ thuộc
Kalman Gain hoặc kích thước bước cập nhật:
S(T−1)Ф(T) λ+ Ф(T)T P(T−1)Ф(T)
(2.37) K(t) =
- Ma trận hiệp phương sai S(t) được cập nhật một cách đệ quy theo:
(2.38) S(T) = λ−1(1 − K(T)Ф(T)T)S(T − 1)
- Giá trị khởi đầu của ma trận K(T), K(0) được thiết lập về 0 và giá trị khởi
đầu của ma trận S(T), S(0) được đặt ở 𝜗𝐼 với kiểu Italic K[t], K[Ф], I là ma trận
đơn vị và 𝜗 là một số dương lớn tiêu biểu ở giữa 100 đến 10000. Những giá trị
nhỏ của 𝜗 có thể dẫn đến làm chậm việc tìm hiểu. Và giá trị 𝜗 lớn có thể dẫn đến
các tham số ước lượng không đúng đắn. 𝜆 được gọi là hệ số suy nhớ, thường được
chỉnh tới giá trị không đổi 0 < 𝜆 ≤ 1, có thể hơn 1.
- Trở lại thuật toán lan truyền ngắn đã được sử dụng theo những phương
trình cập nhật có liên quan cho các thông số sóng nhỏ (mj, nj). Chúng được cập
nhật bằng cách sử dụng quy tắc dây chuyền và đưa vào những kí hiệu tính toán P
và N biểu thị kích thước của đầu vào và số lượng tế bào thần kinh trong lớp ẩn
tương ứng. Các đạo hàm của hàm lỗi thu được bằng cách phân biệt hàm phí tổn
cùng với việc chú tâm đến từng thông số có thể điều chỉnh theo:
3 ×
𝜕𝐸𝑡 𝜕𝑛𝑗
𝜕𝐸𝑡 𝜕𝑂𝑡
=
𝑝 = 1, … 𝑃 𝑗 = 1, … , 𝑁 (2.39)
3 ×
𝜕𝐸𝑡 𝜕𝑚𝑗
𝜕𝐸𝑡 𝜕𝑂𝑡
3 𝜕𝑂𝑡 3 × 𝜕𝐼𝑡 3 𝜕𝑂𝑡 3 × 𝜕𝐼𝑡
3 𝜕𝐼𝑡 2 × 𝜕𝑂𝑗 3 𝜕𝐼𝑡 2 × 𝜕𝑂𝑗
2 𝜕𝑂𝑗 𝜕𝑛𝑗 2 𝜕𝑂𝑗 𝜕𝑚𝑗
41
= {
𝑑 − 𝑂𝑡
3) × 𝑓𝑜𝑢𝑡
= −(𝑦𝑡
′ × 𝑊𝑗 × ′ × 𝑊𝑗 ×
{ (2.40)
𝑑 − 𝑂𝑡
3) × 𝑓𝑜𝑢𝑡
𝜕𝐸𝑡 𝜕𝑛𝑗 𝜕𝐸𝑡 𝜕𝑛𝑗
𝜕𝑓ℎ𝑖𝑑𝑑𝑒𝑛 𝜕𝑛𝑗 𝜕𝑓ℎ𝑖𝑑𝑑𝑒𝑛 𝜕𝑚𝑗
ℓ là đầu vào và đầu ra của lớp ℓ tại thời điểm t. Hàm lớp ra là tuyến
= −(𝑦𝑡
ℓ và Ot
It
2
2
)
)
−(
−(
𝑥−𝑛𝑗 𝑚𝑗 𝑣
𝑥−𝑛𝑗 𝑚𝑗 𝑣
=
sin (2𝜋𝛽 (
)) 𝑒
+ (
) cos (2𝜋𝛽
) 𝑒
2(𝑥−𝑛𝑗) 2 𝑚𝑗 𝑣
𝜕𝑓ℎ𝑖𝑑𝑒𝑛 𝜕𝑛𝑗
2𝜋𝛽 𝑚𝑗
𝑥−𝑛𝑗 𝑚𝑗
𝑥−𝑛𝑗 𝑚𝑗
2
2
)
)
−(
−(
(
2 )(
𝑥−𝑛𝑗 𝑚𝑗
𝑥−𝑛𝑗 𝑚𝑗
𝑥−𝑛𝑗 𝑚𝑗 𝑣
𝑥−𝑛𝑗 𝑚𝑗 𝑣
=
sin (2𝜋𝛽 (
)) 𝑒
+ (
) ) cos (2𝜋𝛽
) 𝑒
2𝜋𝛽(𝑥−𝑛) 𝑚2
𝑣
𝜕𝑓ℎ𝑖𝑑𝑒𝑛 𝜕𝑚𝑗
𝑥−𝑛𝑗 𝑚𝑗
𝑥−𝑛𝑗 𝑚𝑗
{
tính, do đó nó phát sinh đối với đầu vào tương ứng của nó từ lớp trước đó, f’out =1.
(2.41)
(2.42) 𝑛𝑗(𝑡 + 1) = 𝑛𝑗(𝑡) + ∆𝑛𝑗 { 𝑚𝑗(𝑡 + 1) = 𝑚𝑗(𝑡) + ∆𝑚𝑗
Trong đó:
+ 𝑛𝑗(𝑡 − 1) ∆𝑛𝑗 = 𝑛 (2.43)
𝜕𝐸 𝜕𝑛𝑗 𝜕𝐸 𝜕𝑚𝑗
+ 𝑚𝑗(𝑡 − 1) { ∆𝑚𝑗 = 𝑚
Tương tự như vậy, trọng số kết nối đã được cập nhật giữa đầu vào và các
trọng số lớp sóng nhỏ (vij) được cho như sau:
3 ×
𝜕𝐸𝑡 𝜕𝑣𝑗𝑝
2 𝜕𝐼𝑗 𝜕𝑣𝑗𝑝
𝜕𝐸𝑡 𝜕𝑂𝑡
3 𝜕𝑂𝑡 3 × 𝜕𝐼𝑡
3 𝜕𝐼𝑡 2 × 𝜕𝑂𝑗
2 𝜕𝑂𝑗 2 × 𝜕𝐼𝑗
′ × 𝑊𝑗 ×
= 𝑝 = 1, … 𝑃 𝑗 = 1, … , 𝑁 (2.44)
𝑑 − 𝑂𝑡
3) × 𝑓𝑜𝑢𝑡
𝑡 × 𝑥𝑝
= −(𝑦𝑡 𝜕𝐸𝑡 𝜕𝜔𝑗𝑝 𝜕𝜑𝑗 𝜕𝑥̅𝑡
2
2
)
)
−(
−(
𝑥−𝑛𝑗 𝑚𝑗 𝑣
𝑥−𝑛𝑗 𝑚𝑗 𝑣
= −
sin (2𝜋𝛽
) 𝑒
−
cos (2𝜋𝛽
) 𝑒
(2.45)
𝜕𝜑𝑗 𝜕𝑥̅𝑗
2𝜋𝛽 𝑚𝑗
𝑥−𝑛𝑗 𝑚𝑗
2𝑥 𝑚𝑗𝑣
𝑥−𝑛𝑗 𝑚𝑗
Do đó việc nhận được độ lệch đầu tiên từ phương trình (2.44)
(2.46) 𝑣𝑗𝑝(𝑡 + 1) = 𝑣𝑗𝑝(𝑡) + ∆𝑣𝑗𝑝
42
Trong đó:
𝜕𝐸 𝜕𝑣𝑖𝑝
(2.47) + 𝑣𝑗𝑝(𝑡 − 1) ∆𝑣𝑗𝑝 = 𝑣
m, n và v lần lượt đại diện cho những tỉ lệ học cho m, n và v và ﻯ là
động lượng. Như chúng ta có thể thấy từ phương trình, việc sử dụng các trọng số
kết hợp tuyến tính được đề xuất, không làm phức tạp việc thực hiện điều chỉnh
còn cho phép với tốc độ hội tụ cao hơn và độ chính xác tốt hơn.
2.6 Khởi tạo các tham số của mạng
- Khởi tạo các tham số mạng với hàm wavelet là một vấn đề quan trọng.
Tương tự các mạng hàm cơ sở bán kính (và đối lập với các mạng nơron sử dụng
các hàm sigmoid), một khởi tạo ngẫu nhiên tất cả các tham số tới các giá trị nhỏ
(như thường làm với các mạng nơron) không phải là điều mong muốn bởi điều
này có thể khiến cho các hàm wavelet quá cục bộ (độ giãn nhỏ) và khiến cho các
thành phần của gradient của hàm giá trị rất nhỏ. Nói chung, muốn tận dụng các
miền không gian giá trị vào nơi mà các hàm wavelet khác không;
- Thông qua [ap , bp ], miền chứa các giá trị phần tử pth của các vector đầu
vào. Khởi tạo vector m của hàm wavelet j tại tâm hình hộp xác định bởi các khoảng
{[ap , bp]} : mjp = 1 2⁄ (ap + bp ). Các tham số giãn được khởi tạo tới giá trị 0.2(bp
– ap ) để đảm bảo rằng các hàm wavelet bắt đầu mở rộng ra toàn bộ miền giá trị
vào. Với 𝛽 = 0.5 và ʋ = 1 lựa chọn tối ưu cho dữ liệu. Những tham số còn lại
được khởi tạo tới những giá trị nhỏ ngẫu nhiên.
2.7 Nhận dạng hệ thống động lực học
- Khi các hệ thống phi tuyến, mục đích của việc mô hình hóa là khác nhau
đối với những ứng dụng khác nhau. Trong nhiều trường hợp, các dữ liệu có điều
kiện xấu và hỗ trợ của các phiên bản giá trị vào và giá trị ra bị chậm là cần thiết
để đạt được sự chính xác như mong muốn, điều đó khiến cho việc mô hình hóa
hệ thống tĩnh sang mô hình hóa hệ thống động;
- Nói chung, các hệ thống động khá phức tạp và phi tuyến. Một bước quan
trọng trong xác định các hệ thống phi tuyến là sự phát triển của một mô hình phi
43
tuyến. Trong vài năm gần đây, những kỹ thuật trí tuệ nhân tạo như mạng nơron,
logic mờ và thuật giải di truyền là công cụ hiệu quả trong việc xác định các thiết
bị phi tuyến. Vấn đề là chọn một mô hình xác định và điều chỉnh các tham số như phản hồi của mô hình gần giống như phản hồi của hệ thống thực đối với cùng một
giá trị vào. Cấu trúc WNN-LCW (mạng nơron hàm) được sử dụng cho các bài
toán như vậy;
- Có nhiều phương pháp khác nhau đã được phát triển. Những phương pháp
này sử dụng một mô hình tham số hóa. Các tham số được cập nhật để giảm thiểu
sai số xác định giá trị ra. Một lớp rộng các hệ thống động phi tuyến với giá trị vào
𝓊 và một giá trị ra có thể được mô tả bằng các mô được xác định chung như sau:
ym(k) = f(𝛗(xk), θ)
Trong đó ym(k) là giá trị ra của mô hình, 𝛗(xk) là vector biến hồi quy độc
lập và θ bao gồm tất cả trọng số và những tham số hàm wavelet khác trong mạng.
Tùy vào lựa chọn của biến hồi quy độc lập trong 𝛗(xk) mà có thể rút ra được những mô hình nhận dạng kahcs nhau.
- NARX (tự hồi quy phi tuyến với giá trị vào ngoại sinh) là mô hình nối
tiếp song song.
Như minh họa ở hình 2.14(a), các giá trị đầu ra của thiết bị thực được sử
dụng như giá trị đầu vào của mô hình. Duy chỉ một bước trước dự đoán là có thể
(hình 2.14 (b)). Mô hình được cho là có ngoại động lực.
φ(k) = (u(k), u(k − 1), u(k − 2), … , u(k − nu), y(k − 1), y(k −
(2.48) 2), … , y(k − ny))
- NOE (Sai số đầu ra phi tuyến) là một mô hình song song. Có nghĩa là đầu
ra của mô hình tự tạo ra những giá trị đầu vào có quãng thời gian chờ (time - lag).
Mô hình này có thể được xem như một mô hình lặp toàn bộ. Mô hình song song
này có khả năng đưa ra các dự đoán trong khoảng thời gian ngắn. Mô hình này
44
được cho là có nội động lực cao.
φ(k) = (u(k), u(k − 1), u(k − 2), … , u(k − nu), ym(k − 1), ym(k − (2.49) 2), … , ym(k − ny))
Trong cả hai trường hợp, so với các giá trị đầu ra đúng của thiết bị, sai số
sự đoán của mô hình được sử dụng như một phương pháp để tối ưu hóa các tham
số của mô hình. Đối với những hệ thống động, mô hình phải có biện pháp để thực
thi các khoảng thời gian chờ. Nói cách khác trong mô hình phải có hàm nhớ.
Trong việc mô hình hóa sử dụng các sơ đồ trí tuệ nhân tạo như mạng nơron, hệ
nơron mờ, mạng nơron hàm wavelet, việc này có thể được thực hiện theo hai cách:
hoặc các giá trị vào, ra được sử dụng như những giá trị vào bên ngoài thêm vào,
hoặc một số bộ nhớ được thêm vào trong các cá thể nơron.
Các mô hình ngoại động lực có thể được xem như các bộ dự đoán đi trước
một bước. Các mô hình nội động lực được sử dụng tốt nhất với mục đích phỏng
theo, mô hình với giá trị đầu ra đúng của thiết bị. Xét về lâu dài, sai số dự đoán
có thể tích tụ trong quá trình lặp lại và sai số lớn hơn. Đây chắc chắn là trường
hợp của những hệ thống phi tuyến, khi tính phi tuyến có thể đưa hệ thống vào
trạng thái bất ổn. Do đối với những vấn đề phi tuyến, độ phức tạp thường gia tăng
mạnh cùng với bậc không gian đầu vào, việc áp dụng mô hình ngoại sinh tự hồi
quy phi tuyến NARX có ít chiều hoặc mô hình sai số đầu ra phi tuyến NOE phổ
biến hơn. Một điểm hạn chế của những mô hình này là lựa chọn thứ tự động lực
mang tính quyết định đối với việc thực hiện và không có sẵn những phương pháp
45
hiệu quả cho việc xác định của nó.
u(k)
y(k)
Thiết bị
z-1
e(k)
z-1
z-1 y(k – 1)
z-1 y(k – ny)
z-1 y(k – 2)
z-1
ym(k)
Mô hình
u(k – nz)
ym(t+1)
y(t)
ym(t+2)
y(t+1)
y(t+k-1)
z-1
z-1
z-1
ym(t+k)
y(t-u+1)
y(t+k-u)
y(t+u+2)
x(t-d)
x(t-d+k-1)
x(t-d+1)
Dự đoán trước một bước tại thời điểm t
z-1
Dự đoán trước một bước tại thời điểm t + k + 1
Dự đoán trước một bước tại thời điểm t+1
z-1
z-1
x(t-d+k-u’)
u(k - 1) u(k - 2)
Hình 2.14 Các mô hình ngoại động lực
(a) Dự đoán trước một bước
(b) Hệ thống động liên tiếp – song song
2.8 Phát triển mô hình hóa phi tham số
Hồi quy dùng phương pháp bình phương tối thiểu từng phần (PLS), một kỹ
thuật hiệu chuẩn đa biến, chiếu dữ liệu đầu vào-đầu ra ban đầu trong một khoảng
trống ẩn, khai căn một số nhân tử chính (cũng được biết đến như là những biến
ẩn) với cấu trúc trực giao, trong khi đó thu nạp phần lớn phương sai trong dữ liệu
gốc. Tóm lại, nó có thể được biểu diễn như một khai triển song tuyến tính của cả
X và Y như sau:
(2.50) X = TWY + EX
46
và
(2.51) Y = UQY + EY
Như vậy các trị số trong ma trận X và các trị số của phần chưa xác định của
Y có hiệp phương sai tối đa. Ở đó, T và W, U và Q theo thứ tự là những vector
của X và Y, các trị số PLS và trọng số, còn EX, EY là những số dư của X và Y. Các
mô hình khai triển của X và Y và phương trình liên kết những mô hình này qua
hồi quy tạo thành mô hình hồi quy PLS tuyến tính. Trong trường hợp một biến số
của Y là y, mô hình này có thể được biểu diễn bằng một hàm hồi quy:
y = bX + E (2.52)
Ở đó, b là hệ số hồi quy. Mô hình PLS này được phát triển qua hai giai
đoạn; bộ dữ liệu ban đầu được chia làm hai bộ con: huấn luyện và kiểm tra. Bộ
dữ liệu huấn luyện được sử dụng để xây dựng các mô hình và tính toán một bộ
các hệ số hồi quy (bPLS), các hệ số sau đó được sử dụng để tạo một dự đoán của
biến số phụ thuộc trong bộ dữ liệu con.
Cấu trúc perceptron đa lớp có lẽ là mô hình mạng nơron được sử dụng rộng
rãi nhất và có năng lực/thực hiện mô hình hóa phi tuyến dài lâu đã được chứng
minh. Tri thức về mạng nơron này được lưu trữ trong các trọng số kết nối các
nơron nhân tạo. Cấu trúc kết nối hàng loạt của mạng perceptron đa lớp cung cấp
số lượng lớn các trọng số và theo đó cung cấp sức chứa lớn để lưu trữ những thông
tin phức tạp. Quy tắc delta khái quát hóa được áp dụng cho điều chỉnh các trọng
47
số của các mạng truyền thẳng nhằm cực tiểu hóa sai số hàm cost định trước.
CHƯƠNG III XÂY DỰNG HỆ THỐNG XẤP XỈ PHI TUYẾN SỬ DỤNG MẠNG WAVELET
3.1 Đặt bài toán
Mạng nơron tiếp cận mô hình bằng cách sử dụng đầu vào và đầu ra chính
xác được sử dụng để huấn luyện một mô hình chung có đủ độ tự do để ước
lượng tốt giữa đầu vào và đầu ra. Một mạng nơron có thể được huấn luyện để
thực hiện một chức năng cụ thể bằng cách điều chỉnh các giá trị của các kết nối
(trọng số) giữa các phần tử. Một trong những quá trình phổ biến nhất mà mạng
nơron được sử dụng trong mô hình hóa hệ thống bao gồm việc đặt mạng nơron
song song với hệ thống vật lý, áp dụng hệ thống vào đầu vào của mạng, sử dụng
đầu ra của hệ thống như là đầu ra mong muốn cho hệ thống mạng và huấn luyện
mạng nơron cho đến khi lỗi giữa đầu ra hệ thống và mạng đạt đến mức chấp
nhận được. Ở đây, mạng được điều chỉnh, dựa trên sự so sánh giữa đầu ra và
mục tiêu. Sơ đồ của việc xác định một hệ thống bất biến theo thời gian được
F(u)
Hệ thống hiện tại
thể hiện trong hình 3.1
+
e
u
-
Mạng nơron
F (u)
Thuật toán học
Hình 3.1 Sơ đồ hệ thống bất biến theo thời gian
Hình 3.1: Sơ đồ hệ thống bất biến theo thời gian
Nói chung, với một hàm y, các đầu vào u ⊂ R được ánh xạ thành các
phần y cho j = 1, .., N trong không gian đầu ra. Trong trường hợp của một hệ
48
thống động, chúng ta có cặp vào - ra của thời gian u(t), y(t). Mục tiêu chính là
xác định F sao cho đầu vào và đầu ra được cho bởi u và F (u) tương ứng. Sai
số e là sự khác biệt giữa đầu ra của hệ thống quan sát và đầu ra được tạo ra bởi
F theo
||y − ŷ|| = ||F(u) − F(u)|| = 𝑒 (3.1)
Để có thể có được (3.1) thỏa mãn theo yêu cầu đặt ra thì cần phải huấn
luyện mạng nơron theo các thuật toán học.
3.2 Áp dụng mạng nơron wavelet cho nhận dạng hệ động lực
3.2.1. Hệ thống với chuỗi thời gian Mackey-Glass
𝑑𝑥(𝑡)
- Giả sử cho một hệ thống Mackey-Glass sau:
𝑑𝑡
𝑎𝑥(𝑡−𝜏) 1+𝑥10(𝑡−𝜏)
(3.2) = − 𝑏𝑥(𝑡)
- Quá trình tạo ra 1000 điểm với điều kiện ban đầu của x (0) = 1: 2, = 17,
a = 0.2, b = 0.1 và chúng ta lấy tập dữ liệu từ t = 123 đến t = 1123. Lần đầu tiên
500 điểm dữ liệu được sử dụng để đào tạo và xác nhận, còn lại 500 Điểm được
dành riêng cho giai đoạn thử nghiệm. Trong bài kiểm tra bước trước, chúng ta sử
dụng x (t), x (t + 1), x (t + 2) ….. x (t + 9) để dự đoán giá trị của x (t + 10), trong
khi ở bài kiểm tra 6 bước, nhiệm vụ là để dự đoán x (t + 6) sử dụng các biến đầu
vào x (t), x (t - 6), x (t - 12), x (t - 18). Bài toán đã mô phỏng bốn trường hợp sau:
(1) thuật toán giảm gradient được sử dụng để đào tạo một mô hình mạng nơron
wavelet với kiến trúc mạng đã đề xuất thuật toán học lai được sử dụng để đào tạo
mô hình mạng nơron wavelet với cùng kiến trúc mạng , thuật toán giảm gradient
(với momentum) là để đào tạo mô hình mạng nơron wavelet với kiến trúc mạng
hình 2.13;
- Đề xuất thuật toán học lai được sử dụng để huấn luyện một mô hình mạng
nơron wavelet với cùng một kiến trúc mạng hình 2.13. Đối với mỗi trường hợp,
1000 điểm mẫu được sử dụng 500 cặp dữ liệu đầu tiên được sử dụng làm dữ liệu
huấn luyện, còn 500 số còn lại được sử dụng để xác nhận mô hình được xác định.
Để loại bỏ các hiệu ứng của các giá trị ban đầu của các tham số cho kết quả cuối
49
cùng, mô hình được huấn luyện cho các giai đoạn và RMSE trung bình được tính.
Độ lệch tối đa và tối thiểu trong RMSE là 0.0028 và 0.012. Để có kết quả tốt nhất,
việc so sánh với thuật toán giảm gradient và kỹ thuật lai mới được trình bày trong cho thấy việc so sánh các kết quả thử nghiệm của các mô hình khác nhau đối với
hỗn hợp Mackey - Glass. Quá trình đã được thực hiện để hiển thị chuỗi thời gian
thực tế, kết quả của mô hình mạng nơron wavelet tốt nhất và lỗi dự báo bằng cách
sử dụng thuật toán huấn luyện lai ghép cho tập dữ liệu huấn luyện và kiểm tra.
Kiểm tra các phương pháp với số lượng khác nhau của các lớp ẩn và so sánh chỉ
những kết quả tốt nhất nhận được trong trường hợp mạng nơron wavelet được
hiển thị. Rõ ràng mạng nơron wavelet có độ chính xác cao hơn so với mạng nơron
thông thường. Trong khi đó, các kết quả mô phỏng chứng minh rằng thuật toán
huấn luyện lai mới hiệu quả hơn thuật toán học gradient thông thường. Từ các kết
quả mô phỏng ở trên, có thể thấy rằng mô hình mạng nơron wavelet đề xuất với
Biểu đồ giá trị thực - và dự báo +
Các giá trị thực và giá trị dự báo
kỹ thuật lai mới hoạt động tốt để tạo ra các mô hình dự đoán thời gian
Hình 3.2 Sử dụng mạng nơron wavelet cho xấp xỉ như bộ dự báo
50
3.2.2. Thuật toán huấn luyện mạng nơron wavelet
Bắt đầu
Khởi tạo Wij, Wjk,bk,ak, 𝞰
Xây dựng mạng nơron wavelet dữ liệu đầu vào, dữ liệu đầu ra
Uớc tính các giá trị đầu ra trong mạng Nơron Wavelet
I=I+1
Cập nhật bk và ak
Tính toán sai số e giữa đầu ra và giá trị dự kiến
Cập nhật trọng số giữa (đầu vào,H.L) và (H.L,đầu ra)
Is e < ed
Sai
Đúng
Hiển thị kết quả
Kết thúc
Hình 3.3 Thuật toán huấn luyện mạng nơron wavelet
51
3.2.3. Cho hệ phi tuyến một chiều
𝑠𝑖𝑛2𝜋𝑥 𝑒𝑥
(3.3) 𝑓(𝑥) = 𝑥[0,10]
Ví dụ f (x) đã được thử nghiệm cho xấp xỉ phi tuyến. Vị trí và độ dãn nở
sử dụng cho các chức năng kích hoạt wavelet, một bộ huấn luyện 100 mẫu đã
được tạo ra bằng cách đầu vào được lấy thống nhất từ khoảng [0, 10]. Hình 3.4
trình bày xấp xỉ của mạng Nơron Wavelet sử dụng 10 chức năng kích hoạt wavelet
và có thể thấy mạng nơron wavelet có khả năng thực hiện một phép xấp xỉ hoàn
52
hảo. Hình 3.4 và bảng 3.1.
-0.0000
0
Đầu ra (B) 0.0036 0.0052 0.0047 0.0027 0 -0.0022 -0.0032 -0.0029 -0.0016 0 0.0013 0.0019 0.0017 0.0010 0 -0.0008 -0.0012 -0.0011 -0.0006 0 0.0005 0.0007 0.0006 0.0004 0 -0.0003 -0.0004 -0.0004 -0.0002 0 0.0002 0.0003 0.0002 0.0001 0 -0.0001 -0.0002 -0.0001 -0.0001 0 0.0001 0.0001 0.0001 0.0000 0 -0.0000 -0.0001 -0.0001 -0.0000 Đầu vào (A) 0.0036 0.0052 0.0047 0.0027 0.0000 -0.0022 -0.0032 -0.0029 -0.0016 -0.0000 0.0013 0.0019 0.0017 0.0010 -0.0000 -0.0008 -0.0012 -0.0011 -0.0006 -0.0000 0.0005 0.0007 0.0006 0.0004 0.0000 -0.0003 -0.0004 -0.0004 -0.0002 -0.0000 0.0002 0.0003 0.0002 0.0001 -0.0000 -0.0001 -0.0002 -0.0001 -0.0001 -0.0000 0.0001 0.0001 0.0001 0.0000 0.0000 -0.0000 -0.0001 -0.0001 -0.0000
53
Đầu vào (A) 0 0.5319 0.7787 0.7046 0.3940 0.0000 -0.3226 -0.4723 -0.4273 -0.2390 -0.0000 0.1957 0.2865 0.2592 0.1449 0.0000 -0.1187 -0.1737 -0.1572 -0.0879 -0.0000 0.0720 0.1054 0.0954 0.0533 0.0000 -0.0437 -0.0639 -0.0578 -0.0323 -0.0000 0.0265 0.0388 0.0351 0.0196 0.0000 -0.0161 -0.0235 -0.0213 -0.0119 -0.0000 0.0097 0.0143 0.0129 0.0072 0.0000 -0.0059 -0.0087 -0.0078 -0.0044 -0.0000 Đầu ra (B) 0.9995 0.9992 0.9988 0.9979 0.3940 0 -0.3226 -0.4723 -0.4273 -0.2390 -0.0000 0.1957 0.2865 0.2592 0.1449 0.0000 -0.1187 -0.1737 -0.1572 -0.0879 0 0.0720 0.1054 0.0954 0.0533 0 -0.0437 -0.0639 -0.0578 -0.0323 -0.0000 0.0265 0.0388 0.0351 0.0196 0 -0.0161 -0.0235 -0.0213 -0.0119 0 0.0097 0.0143 0.0129 0.0072 0 -0.0059 -0.0087 -0.0078 -0.0044 0
h n í t
m ể i đ i ờ h t c á c i ạ t x ị r t á i G
Các thời điểm tính x
Hình 3.4 Biểu đồ tính toán xấp xỉ mạng nơron wavelet gồm giá trị thực và giá trị
xấp xỉ
54
Bảng 3.1 Kết quả sau khi mạng nơron được huấn luyện (Kết quả bài toán được trích dẫn từ nghiên cứu của sinh viên học viện công nghệ bưu chính viễn thông)
Kết quả mô phỏng cho thấy sai lệch nhận dạng giữa tín hiệu mẫu và tín hiệu
tính toán của mô hình nhận dạng là rất nhỏ, điều đó chứng tỏ rằng sử dụng mạng
nơron truyền thẳng nhiều lớp trong nhận dạng hệ thống là một giải pháp rất hiệu
quả và có độ chính xác cao. Giải pháp này có đóng góp mới là chỉ cần sử dụng
một mạng nơron wavelet mà có thể nhận dạng được hệ thống là hệ phi tuyến. Có
thể ứng dụng giải pháp này cho việc sử dụng mạng nơron wavelet nhận dạng cho
55
các đối tượng phi tuyến khác có mức độ phi tuyến cao.
PHẦN KẾT LUẬN
- Đồ án đã trình bày được cơ sở lý thuyết của mạng nơron wavelet, thuật
học của nó và ứng dụng cho nhận dạng hệ động lực phi tuyến;
- Bằng phương pháp phân tích, so sánh về cấu trúc, các luật học và khả
năng ứng dụng thực tiễn của các loại mạng nơron, luận văn này đã chọn mạng
nơron wavelet là mạng có nhiều ưu điểm về cấu trúc và luật học để tập trung
nghiên cứu ứng dụng nó trong bài toán nhận dạng hệ động lực phi tuyến;
- Trên cơ sở cài đặt thử nghiệm cho bài toán phi tuyến sử dụng mạng nơron
wavelet cho thấy kết quả sai lệch E là rất nhỏ, đồng nghĩa với việc tín hiệu học
của mạng nơron wavelet bám sát theo được tín hiệu thực của hệ thống để có thể
thay thế điều khiển hệ thống phi tuyến này;
- Tuy nhiên qua quá trình tìm hiểu một số thuật toán cơ bản về mạng nơron
wavelet cho thấy vẫn còn tồn tại nhiều khuyết điểm trong các thuật toán này dẫn
đến việc tính toán còn chưa chính xác tuyệt đối; việc xây dựng, cài đặt thuật toán
còn khó khăn. Vì vậy theo quan điểm của học viên đề tài còn có một số hướng
phát triển sau:
- Tiếp tục tìm hiểu các thuật toán khác dễ xây dựng và có độ chính xác cao
hơn.
- Kết hợp nhiều thuật toán nhận dạng để khắc phục khuyết điểm tồn tại của
56
một thuật toán làm tăng độ chính xác.
TÀI LIỆU THAM KHẢO
Tiếng Việt
[1] Bùi Công Cường, Nguyễn Doãn Phước (2006), “Lý thuyết mờ và công nghệ tính toán mềm”, Hệ mờ mạng Nơron và ứng dụng, Nhà xuất bản Khoa học và Kỹ thuật.
[2] Nguyễn Đình Thúc (2000), Trí tuệ nhân tạo Mạng Nơron phương pháp
& ứng dụng, Nhà xuất bản Giáo dục.
Tiếng Anh
[3] Zhang Q. G., Benveniste A (1992), Wavelet Networks. IEEE Trans.
Nơron Network, 3, pp. 889-898.
[4] Moddy J., Darken C. J. (1989), Fast learning in network of locally
tuned processing units. Nơron Comput., 1, pp. 281-294.
[5] Cao J., Lin X. (2008), Application of the diagonal recurrent wavelet Nơron network to solar irradia- tion forecast assisted with fuzzy technique, Eng, Appl, Artif, Intel, 21, pp. 1255-1263.
[6] Zainuddin Z., Ong P. (2011), Modified wavelet Nơron network in function approximation and its application in prediction of time-series pollution data, Appl, Soft Comput, 11, pp. 4866-4874.
57
[7] Zainuddin Z., Wan Daud W. R., Ong P., Shafie A. (2011), Wavelet Nơron Networks Applied to Pulping of Oil Palm Fronds, Bioresource Technol, 102, pp. 10978-10986.
