Luận án Tiến sĩ Kỹ thuật: Mạng nơron và quá trình học của mạng nơron

Luận án Tiến sĩ Kỹ thuật<br /> <br /> 2013<br /> <br /> MỤC LỤC<br /> MỞ ĐẦU ............................................................................................................................... 7<br /> CHƢƠNG 1 : MẠNG NƠRON VÀ QUÁ TRÌNH HỌC CỦA MẠNG NƠRON ................ 12<br /> <br /> 1.1. Giới thiệu về mạng nơron và quá trình học của mạng nơron ............................... 12<br /> 1.1.1. Mạng nơron và các phƣơng pháp học ......................................................................... 12<br /> 1.1.2. Đánh giá các nhân tố của quá trình học ....................................................................... 13<br /> 1.1.2.1. Khởi tạo các trọng số ................................................................................................ 13<br /> 1.1.2.2. Bước học α .............................................................................................................. 13<br /> 1.1.2.3. Hằng số quán tính .................................................................................................... 14<br /> <br /> 1.2. Nhận dạng hệ thống sử dụng mạng nơron ......................................................<br /> <br /> 14<br /> <br /> 1.2.1. Nhận dạng hệ thống .................................................................................................... 14<br /> 1.2.2. Nhận dạng hệ thống sử dụng mạng nơron ................................................................... 16<br /> <br /> 1.3. Mặt lỗi đặc biệt khi luyện mạng nơron .................................................................... 19<br /> 1.3.1. Mặt lỗi đặc biệt khi luyện mạng nơron ....................................................................... 19<br /> 1.3.2. Ví dụ về bài toán dẫn đến mặt lỗi đặc biệt ................................................................... 20<br /> <br /> 1.4. Mô phỏng quá trình luyện mạng nơron khi sử dụng Toolbox của Matlab<br /> <br /> 22<br /> <br /> 1.4.1. Ví dụ với mạng nơron có mặt lỗi bình thƣờng ............................................................ 22<br /> 1.4.2. Ví dụ với mạng nơron có mặt lỗi đặc biệt .................................................................... 25<br /> <br /> 1.5. Tổng quan về tình hình nghiên cứu trong và ngoài nƣớc<br /> <br /> 26<br /> <br /> 1.5.1. Điểm qua một số công trình nghiên cứu về mạng nơron và ứng dụng ........................ 26<br /> 1.5.2. Các công trình trong và ngoài nƣớc nghiên cứu về thuật toán học của mạng nơron ... 31<br /> 1.5.3. Bàn luận ...................................................................................................................... 37<br /> <br /> 1.6. Kết luận chƣơng 1 ....................................................................................................... 38<br /> CHƢƠNG 2: THUẬT TOÁN VƢỢT KHE TRONG QUÁ TRÌNH LUYỆN MẠNG NƠRON<br /> ............................................................................................................................................. 40<br /> 2.1. Thuật toán vƣợt khe .................................................................................................. 40<br /> 2.1.1. Đặt vấn đề .................................................................................................................. 40<br /> 2.1.2. Tính hội tụ và điều kiện tối ƣu ..................................................................................... 41<br /> 2.1.3. Thuật toán vƣợt khe .................................................................................................... 46<br /> 2.1.3.1. Giới thiệu ................................................................................................................. 47<br /> 2.1.3.2. Nguyên lý vượt khe .................................................................................................... 48<br /> <br /> 1<br /> <br /> Luận án Tiến sĩ Kỹ thuật<br /> <br /> 2013<br /> <br /> 2.1.3.3. Xác định bước vượt khe ............................................................................................. 51<br /> 2.1.3.4. Ví dụ ........................................................................................................................ 54<br /> <br /> 2.2 Ứng dụng thuật toán vƣợt khe trong quá trình luyện mạng nơron ........................ 56<br /> 2.3 Minh họa thuật toán .................................................................................................... 58<br /> 2.3.1. Công tác chuẩn bị ........................................................................................................ 58<br /> 2.3.1.1. Điều chỉnh trọng số lớp ra ........................................................................................ 59<br /> 2.3.1.2. Điều chỉnh trọng số lớp ẩn ......................................................................................... 60<br /> 2.3.2. Cấu trúc mạng............................................................................................................. 62<br /> 2.3.3. Các thƣ viện và hàm mạng .......................................................................................... 64<br /> 2.3.3.1. Thư viện ................................................................................................................... 64<br /> 2.3.3.2. Hàm khởi tạo trọng số ............................................................................................... 66<br /> 2.3.3.3. Thủ tục tính bước học vượt khe ................................................................................ 67<br /> 2.3.3.4. Thủ tục huấn luyện mạng, HUANLUYENVUOTKHE() ............................................ 69<br /> 2.3.4. Kết quả chạy chƣơng trình và so sánh ........................................................................ 69<br /> 2.3.4.1. Chạy chương trình ................................................................................................... 69<br /> 2.3.4.2. So sánh các phương án .............................................................................................. 73<br /> <br /> 2.4. Kết luận chƣơng 2 ....................................................................................................... 76<br /> CHƢƠNG 3: ĐỀ XUẤT MÔ HÌNH KẾT HỢP THUẬT DI TRUYỀN VÀ THUẬT<br /> TOÁN VƢỢT KHE ĐỂ CẢI TIẾN QUÁ TRÌNH HỌC CỦA MẠNG NƠRON MLP<br /> CÓ MẶT LỖI ĐẶC BIỆT ................................................................................................ 77<br /> 3.1. Đặt vấn đề ................................................................................................................... 77<br /> 3.1.1. Khảo sát độ hội tụ của quá trình luyện mạng nơron bằng kỹ thuật lan truyền ngƣợc<br /> nguyên thủy với các bộ khởi tạo trọng số ban đầu khác nhau .............................................. 77<br /> 3.1.2. Khảo sát độ hội tụ của quá trình luyện mạng nơron có mặt lỗi đặc biệt bằng kỹ thuật lan<br /> truyền ngƣợc kết hợp thuật toán vƣợt khe với các bộ khởi tạo trọng số ban đầu khác nhau 80<br /> <br /> 3.2. Đề xuất mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá<br /> trình luyện mạng nơron ................................................................................................... 83<br /> 3.2.1. Đặt vấn đề ................................................................................................................... 83<br /> 3.2.2. Thuật toán . ................................................................................................................. 87<br /> <br /> 3.3. Áp dụng mô hình kết hợp giải thuật di truyền và thuật toán vƣợt khe trong quá<br /> trình luyện mạng nơron vào bài toán nhận dạng ........................................................... 91<br /> 3.4. Kết luận chƣơng 3 ...................................................................................................... 94<br /> KẾT LUẬN CHUNG VÀ ĐỀ XUẤT HƢỚNG NGHIÊN CỨU .................................. 95<br /> <br /> 2<br /> <br /> Luận án Tiến sĩ Kỹ thuật<br /> <br /> 2013<br /> <br /> CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ............................................................................... 99<br /> TÀI LIỆU THAM KHẢO ............................................................................................... 100<br /> PHỤ LỤC 1....................................................................................................................... 106<br /> <br /> 3<br /> <br /> Luận án Tiến sĩ Kỹ thuật<br /> <br /> 2013<br /> <br /> DANH MỤC BẢNG BIỂU, HÌNH VẼ<br /> Bảng 2.1. Các hàm kích hoạt (transfer function) tiêu biểu .................................. 64<br /> Bảng 2.2: Tập hồ sơ mẫu đầu vào {0 1 2 3 4 5 6 7 8 9} ...................................... 74<br /> Bảng 2.3: Tập hồ sơ mẫu đầu vào {! @ # $ % ^ & * ( )} .................................... 75<br /> Bảng 3.1. Kết quả khi nhận dạng hệ thống phi tuyến tĩnh ................................... 79<br /> Bảng 3.2: Kết quả khi nhận dạng hệ thống động học phi tuyến .......................... 80<br /> Bảng 3.3: Kết quả khi nhận dạng hệ thống có mặt lỗi dạng lòng khe ................. 82<br /> Bảng 3.4. So sánh GA và BP với sai số là 0.1 ..................................................... 85<br /> Bảng 3.5: So sánh GA và BP với sai số là 0.001 ................................................. 86<br /> Bảng 3.6: So sánh GA và BP với sai số khác nhau ............................................. 86<br /> Hình 1.1. Điều khiển theo nguyên tắc phản hồi đầu ra ....................................... 15<br /> Hình 1.2: Mô hình nhận dạng cơ bản .................................................................. 18<br /> Hình 1.3. Mặt sai số dạng lòng khe ..................................................................... 19<br /> Hình 1.4: Kỷ nguyên luyện mạng ví dụ 1 ............................................................. 24<br /> Hình 1.5: Cấu trúc mạng nơron cho nhận dạng chữ ........................................... 25<br /> Hình 1.6: Kết quả luyện mạng nơron với các phương pháp lan truyền ngược khác<br /> nhau (traingd, traingdm, traindx, trainda) .......................................................... 26<br /> Hình 2.1: Quỹ đạo dao động với sai số dạng lòng khe ........................................ 42<br /> Hình 2.2: Hàm khe ............................................................................................... 48<br /> Hình 2.3: Xác định bước vượt khe  v .................................................................. 50<br /> Hình 2.4: Lưu đồ thuật toán tính bước vượt khe.................................................. 54<br /> Hình 2.5: Bước lặp k = 1 ..................................................................................... 55<br /> Hình 2.6:Các đường đồng mức dạng khe ............................................................ 57<br /> Hình 2.7:Lưu đồ thuật toán huấn luyện mạng nơron với bước học vượt khe...... 58<br /> Hình 3.1: Sơ đồ thuật toán kết hợp giải thuật vượt khe và di truyền cho luyện mạng<br /> MLP ...................................................................................................................... 90<br /> Hình 3.2: Hoạt động của mạng MLP cải tiến ...................................................... 93<br /> Hình a: So sánh hoạt động của mạng MLP thuần túy và MLP cải tiến .............. 97<br /> 4<br /> <br /> Luận án Tiến sĩ Kỹ thuật<br /> <br /> 2013<br /> <br /> CÁC TỪ VIẾT TẮT<br /> ADLINE<br /> <br /> ADAptive Linear Neural, mạng tuyến tính thích nghi đơn lớp<br /> <br /> ANN<br /> <br /> Artificial Neural Network, mạng nơron nhân tạo<br /> <br /> BP<br /> <br /> BackPropagation, lan truyền ngƣợc<br /> <br /> BPTT<br /> <br /> BackPropagation -Through-Time, lan truyền ngƣợc xuyên tâm<br /> <br /> LDDN<br /> <br /> Layered Digital Dynamic Network, mạng nơron động<br /> <br /> LMS<br /> <br /> Least Mean Square, trung bình bình phƣơng nhỏ nhất<br /> <br /> NNs<br /> <br /> Neural NetworkS, mạng nơron<br /> <br /> RTRL<br /> <br /> Real-Time Recurrent Learning, thuật học hồi qui thời gian thực<br /> <br /> SDBP<br /> <br /> Steepest Descent BackPropagation, kỹ thuật lan truyền ngƣợc<br /> giảm dốc nhất<br /> <br /> OBP<br /> <br /> Optical BackPropagation, kỹ thuật lan truyền ngƣợc “tốc độ<br /> ánh sáng”<br /> <br /> VLBP<br /> <br /> Variable Learning rate BackPropagation algorithm, kỹ thuật<br /> lan truyền ngƣợc với tốc độ học thay đổi.<br /> <br /> MLP<br /> <br /> MultiLayer Perceptron, mạng truyền thẳng nhiều lớp<br /> <br /> GA<br /> <br /> Genetic Algorithms, giải thuật di truyền<br /> <br /> 5<br /> <br />