Luận án Tiến sĩ Kỹ thuật: Thuật toán luyện khe trong quá trình luyện mạng nơron

Luận án Tiến sĩ Kỹ thuật MỤC LỤC<br /> <br /> 2013<br /> <br /> MỞ ĐẦU ............................................................................................................................... 7<br /> CHƢƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON ................ 12<br /> <br /> 1.1. Giới thiệu về mạng nơron và quá trình học của mạng nơron ............................... 12<br /> 1.1.1. Mạng nơron và các phƣơng pháp học ......................................................................... 12 1.1.2. Đánh giá các nhân tố của quá trình học ....................................................................... 13 1.1.2.1. Khởi tạo các trọng số ................................................................................................ 13 1.1.2.2. Bước học α .............................................................................................................. 13 1.1.2.3. Hằng số quán tính .................................................................................................... 14<br /> <br /> 1.2. Nhận dạng hệ thống sử dụng mạng nơron ......................................................<br /> <br /> 14<br /> <br /> 1.2.1. Nhận dạng hệ thống .................................................................................................... 14 1.2.2. Nhận dạng hệ thống sử dụng mạng nơron ................................................................... 16<br /> <br /> 1.3. Mặt lỗi đặc biệt khi luyện mạng nơron .................................................................... 19<br /> 1.3.1. Mặt lỗi đặc biệt khi luyện mạng nơron ....................................................................... 19 1.3.2. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt ................................................................... 20<br /> <br /> 1.4. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab<br /> <br /> 22<br /> <br /> 1.4.1. Ví dụ với mạng nơron có mặt lỗi bình thƣờng ............................................................ 22 1.4.2. Ví dụ với mạng nơron có mặt lỗi đặc biệt .................................................................... 25<br /> <br /> 1.5. Tổng quan về tình hình nghiên cứu trong và ngoài nƣớc<br /> <br /> 26<br /> <br /> 1.5.1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng ........................ 26 1.5.2. Các công trình trong và ngoài nƣớc nghiên cứu về thuật toán học của mạng nơron ... 31 1.5.3. Bàn luận ...................................................................................................................... 37<br /> <br /> 1.6. Kết luận chƣơng 1 ....................................................................................................... 38 CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON ............................................................................................................................................. 40 2.1. Thuật toán vƣợt khe .................................................................................................. 40<br /> 2.1.1. Đặt vấn đề .................................................................................................................. 40 2.1.2. Tính hội tụ và điều kiện tối ƣu ..................................................................................... 41 2.1.3. Thuật toán vƣợt khe .................................................................................................... 46 2.1.3.1. Giới thiệu ................................................................................................................. 47 2.1.3.2. Nguyên lý vượt khe .................................................................................................... 48<br /> <br /> 1<br /> <br /> Luận án Tiến sĩ Kỹ thuật<br /> <br /> 2013<br /> <br /> 2.1.3.3. Xác định bước vượt khe ............................................................................................. 51 2.1.3.4. Ví dụ ........................................................................................................................ 54<br /> <br /> 2.2 Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron ........................ 56 2.3 Minh họa thuật toán .................................................................................................... 58<br /> 2.3.1. Công tác chuẩn bị ........................................................................................................ 58 2.3.1.1. Điều chỉnh trọng số lớp ra ........................................................................................ 59 2.3.1.2. Điều chỉnh trọng số lớp ẩn ......................................................................................... 60 2.3.2. Cấu trúc mạng............................................................................................................. 62 2.3.3. Các thƣ viện và hàm mạng .......................................................................................... 64 2.3.3.1. Thư viện ................................................................................................................... 64 2.3.3.2. Hàm khởi tạo trọng số ............................................................................................... 66 2.3.3.3. Thủ tục tính bước học vượt khe ................................................................................ 67 2.3.3.4. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE() ............................................ 69 2.3.4. Kết quả chạy chƣơng trình và so sánh ........................................................................ 69 2.3.4.1. Chạy chương trình ................................................................................................... 69 2.3.4.2. So sánh các phương án .............................................................................................. 73<br /> <br /> 2.4. Kết luận chƣơng 2 ....................................................................................................... 76 CHƢƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT TOÁN VƢỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP CÓ MẶT LỖI ĐẶC BIỆT ................................................................................................ 77 3.1. Đặt vấn đề ................................................................................................................... 77<br /> 3.1.1. Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau .............................................. 77 3.1.2. Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan truyền ngƣợc kết hợp thuật toán vƣợt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80<br /> <br /> 3.2. Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá trình luyện mạng nơron ................................................................................................... 83<br /> 3.2.1. Đặt vấn đề ................................................................................................................... 83 3.2.2. Thuật toán . ................................................................................................................. 87<br /> <br /> 3.3. Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá trình luyện mạng nơron vào bài toán nhận dạng ........................................................... 91 3.4. Kết luận chƣơng 3 ...................................................................................................... 94 KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƢỚNG NGHIÊN CỨU .................................. 95<br /> <br /> 2<br /> <br /> Luận án Tiến sĩ Kỹ thuật<br /> <br /> 2013<br /> <br /> CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ............................................................................... 99 TÀI LIỆU THAM KHẢO ............................................................................................... 100 PHỤ LỤC 1....................................................................................................................... 106<br /> <br /> 3<br /> <br /> Luận án Tiến sĩ Kỹ thuật DANH MỤC BẢNG BIỂU, HÌNH VẼ<br /> <br /> 2013<br /> <br /> Bảng 2.1. Các hàm kích hoạt (transfer function) tiêu biểu .................................. 64 Bảng 2.2: Tập hồ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9} ...................................... 74 Bảng 2.3: Tập hồ sơ mẫu đầu vào {! @ # $ % ^ & * ( )} .................................... 75 Bảng 3.1. Kết quả khi nhận dạng hệ thống phi tuyến tĩnh ................................... 79 Bảng 3.2: Kết quả khi nhận dạng hệ thống động học phi tuyến .......................... 80 Bảng 3.3: Kết quả khi nhận dạng hệ thống có mặt lỗi dạng lòng khe ................. 82 Bảng 3.4. So sánh GA và BP với sai số là 0.1 ..................................................... 85 Bảng 3.5: So sánh GA và BP với sai số là 0.001 ................................................. 86 Bảng 3.6: So sánh GA và BP với sai số khác nhau ............................................. 86 Hình 1.1. Điều khiển theo nguyên tắc phản hồi đầu ra ....................................... 15 Hình 1.2: Mô hình nhận dạng cơ bản .................................................................. 18 Hình 1.3. Mặt sai số dạng lòng khe ..................................................................... 19 Hình 1.4: Kỷ nguyên luyện mạng ví dụ 1 ............................................................. 24 Hình 1.5: Cấu trúc mạng nơron cho nhận dạng chữ ........................................... 25 Hình 1.6: Kết quả luyện mạng nơron với các phương pháp lan truyền ngược khác nhau (traingd, traingdm, traindx, trainda) .......................................................... 26 Hình 2.1: Quỹ đạo dao động với sai số dạng lòng khe ........................................ 42 Hình 2.2: Hàm khe ............................................................................................... 48 Hình 2.3: Xác định bước vượt khe  v .................................................................. 50 Hình 2.4: Lưu đồ thuật toán tính bước vượt khe.................................................. 54 Hình 2.5: Bước lặp k = 1 ..................................................................................... 55 Hình 2.6:Các đường đồng mức dạng khe ............................................................ 57 Hình 2.7:Lưu đồ thuật toán huấn luyện mạng nơron với bước học vượt khe...... 58 Hình 3.1: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền cho luyện mạng MLP ...................................................................................................................... 90 Hình 3.2: Hoạt động của mạng MLP cải tiến ...................................................... 93 Hình a: So sánh hoạt động của mạng MLP thuần túy và MLP cải tiến .............. 97 4<br /> <br /> Luận án Tiến sĩ Kỹ thuật CÁC TỪ VIẾT TẮT ADLINE ANN BP BPTT LDDN LMS NNs RTRL SDBP<br /> <br /> 2013<br /> <br /> ADAptive Linear Neural, mạng tuyến tính thích nghi đơn lớp Artificial Neural Network, mạng nơron nhân tạo BackPropagation, lan truyền ngƣợc BackPropagation -Through-Time, lan truyền ngƣợc xuyên tâm Layered Digital Dynamic Network, mạng nơron động Least Mean Square, trung bình bình phƣơng nhỏ nhất Neural NetworkS, mạng nơron Real-Time Recurrent Learning, thuật học hồi qui thời gian thực Steepest Descent BackPropagation, kỹ thuật lan truyền ngƣợc giảm dốc nhất Optical BackPropagation, kỹ thuật lan truyền ngƣợc “tốc độ ánh sáng” Variable Learning rate BackPropagation algorithm, kỹ thuật lan truyền ngƣợc với tốc độ học thay đổi. MultiLayer Perceptron, mạng truyền thẳng nhiều lớp Genetic Algorithms, giải thuật di truyền<br /> <br /> OBP<br /> <br /> VLBP<br /> <br /> MLP GA<br /> <br /> 5<br /> <br />