Luận văn Thạc sĩ Khoa học máy tính: Mạng Anfis và ứng dụng cho dự báo sản lượng tiêu thụ điện năng của tỉnh Bắc Giang

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:70

Thêm vào BST

Báo xấu

25
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bố cục của luận văn có kết cấu gồm 3 chương: Chương 1 - Tổng quan về mạng nơron nhân tạo và hệ mờ; Chương 2 - Mô hình mạng ANFIS và khả năng ứng dụng; Chương 3 - Ứng dụng mô hình ANFIS cho bài toán dự báo sản lượng tiêu thụ điện năng và thử nghiệm. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Khoa học máy tính: Mạng Anfis và ứng dụng cho dự báo sản lượng tiêu thụ điện năng của tỉnh Bắc Giang

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG TỐNG THỊ HƢƠNG GIANG MẠNG ANFIS VÀ ỨNG DỤNG CHO DỰ BÁO SẢN LƢỢNG TIÊU THỤ ĐIỆN NĂNG CỦA TỈNH BẮC GIANG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên, năm 2015 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG TỐNG THỊ HƢƠNG GIANG MẠNG ANFIS VÀ ỨNG DỤNG CHO DỰ BÁO SẢN LƢỢNG TIÊU THỤ ĐIỆN NĂNG CỦA TỈNH BẮC GIANG Chuyên ngành : Khoa học máy tính Mã số chuyên ngành: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC PGS. TS LÊ BÁ DŨNG Thái Nguyên, tháng 6 năm 2015 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
i LỜI CAM ĐOAN Tôi xin cam đoan tất cả các nội dung của luận văn này hoàn toàn được hình thành và phát triển từ quan điểm của chính cá nhân tôi, dưới sự hướng dẫn chỉ bảo của PGS.TS Lê Bá Dũng. Các số liệu kết quả có được trong luận văn tốt nghiệp là hoàn toàn trung thực. Học viên Tống Thị Hương Giang Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
ii LỜI CẢMƠN Để hoàn thành chương trình cao học và viết luận văn này, tôi đã nhận được sự hướng dẫn, giúp đỡ và chỉ bảo nhiệt tình của quý thầy cô trường Đại học Công nghệ thông tin và Truyền thông. Đặc biệt là những thầy cô ở Viện công nghệ thông tin Hà Nội đã tận tình dạy bảo cho tôi trong suốt thời gian học tập tại trường. Tôi xin gửi lời cảm ơn sâu sắc đến PGS.TS Lê Bá Dũng đã dành nhiều thời gian và tâm huyết hướng dẫn tôi hoàn thành luận văn này. Mặc dù tôi đã cố gắng hoàn thiện luận văn bằng tất cả năng lực của mình, song không thể tránh khỏi những thiếu sót, rất mong nhận được sự đóng góp quý báu của quý thầy cô và các bạn. Tôi xin chân thành cảm ơn! Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
iii MỤC LỤC Trang MỞ ĐẦU..........................................................................................................1 CHƢƠNG I. TỔNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO VÀ HỆ MỜ....................................................................................................................3 1.1. Cấu trúc và mô hình mạng nơron nhân tạo ................................................. 3 1.1.1. Mô hình một nơron sinh học .......................................................... 3 1.1.2. Mô hình một nơron nhân tạo.......................................................... 4 1.2. Cấu trúc và phương thức làm việc của mạng nơ-ron nhân tạo ................... 7 1.2.1. Mạng truyền thẳng ........................................................................... 8 1.2.2. Mạng hồi quy................................................................................. 9 1.3. Các luật học .............................................................................................. 10 1.4. Hệ mờ và mạng nơron ............................................................................... 13 1.4.1. Kiến trúc của hệ mờ tổng quát. ...................................................... 13 1.4.2. Sự kết hợp giữa logic mờ và mạng neural .................................... 20 CHƢƠNG 2. MÔ HÌNH MẠNG ANFIS VÀ KHẢ NĂNG ỨNG DỤNG..23 2.1. Hệ suy luận mờ dựa trên mạng thích nghi ................................................ 23 2.1.1. Giới thiệu sơ lược về mô hình nơron - mờ .................................... 23 2.1.2. Luật mờ và hệ suy luận mờ ............................................................ 24 2.1.3. Mạng thích nghi ............................................................................. 26 2.1.4. Cấu trúc của ANFIS .................................................................... 27 2.2. Thuật toán ANFIS ..................................................................................... 29 2.2.1. Thuật toán học lan truyền ngược ................................................... 29 2.2.2. Thuật toán học lai ........................................................................ 36 2.3. Khả năng ứng dụng của mạng ANFIS ...................................................... 38 CHƢƠNG 3. ỨNG DỤNG MÔ HÌNH ANFIS CHO BÀI TOÁN DỰ BÁO SẢN LƢỢNG TIÊU THỤ ĐIỆN NĂNG VÀ THỬ NGHIỆM..................39 3.1. Bài toán dự báo điện năng ......................................................................... 39 3.1.1. Sự cần thiết của việc dự báo mức tiêu thụ điện năng .................... 39 3.1.2. Các phương pháp và mô hình dự báo điện năng trên thế giới ....... 40 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
iv 3.2. Ứng dụng mô hình mạng ANFIS trong bài toán dự báo sản lượng tiêu thụ điện năng của tỉnh Bắc Giang .......................................................................... 42 3.2.1. Xây dựng mô hình hệ thống........................................................... 42 3.2.2. Thu thập số liệu .............................................................................. 47 3.2.3. Dự báo tiêu thụ điện năng ............................................................ 50 3.3. Chương trình thử nghiệm và kết quả ........................................................ 51 3.3.1. Huấn luyện mạng ........................................................................... 51 3.3.2. Cấu trúc của anfis........................................................................... 53 3.3.3. Kết quả dự báo............................................................................. 54 KẾT LUẬN ..................................................................................................... 59 TÀI LIỆU THAM KHẢO ............................................................................. 61 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
v DANH MỤC CÁC HÌNH VẼ Hình 1.1. Mô hình một nơron sinh học Hình 1.2. Mô hình một nơron nhân tạo Hình 1.3. Đồ thị các dạng hàm truyền Hình 1.4. Mạng truyền thẳng một lớp Hình 1.5. Mô tả cấu trúc của mạng nơ-ron truyền thẳng nhiều lớp Hình 1.6. Mạng hồi quy một lớp có nối ngược Hình 1.7. Mạng hồi quy nhiều lớp có nối ngược Hình 1.8. Sơ đồ học tham số có giám sát. Hình 1.9. Sơ đồ học tham số không có giám sát. Hình 1.10. Kiến trúc của hệ mờ tổng quát Hình 1.11. Hệ mờ nhiều đầu vào - một đầu Hình 1.12. Hàm thuộc hệ mờ một đầu vào - một luật Hình 1.13. Hàm thuộc hệ mờ hai đầu vào - một luật Hình 1.14. Mô hình hệ mờ - neural Hình 2.1. Hệ thống suy luận mờ Hình 2.2. Mạng thích nghi Hình 2.3. Cấu trúc của ANFIS Hình 2.4. Mạng 3 lớp lan truyền ngược Hình 3.1.Cấu trúc ANFIS với hai đầu vào. Hình 3.2. Thiết lập số liệu đầu vào cho bài toán Hình 3.3.Lựa chọn hàm thành viên và kết quả dự báo của ANFIS Hình 3.4. Cấu trúc của anfis với bài toán dự báo điện Hình 3.5. Các luật được tạo ra bởi Anfis Hình 3.6. Hệ luật mờ được sinh ra trong quá trình huấn luyện mạng Hình 3.7. Mặt suy diễn của hệ ANFIS Hình 3.8. Sai số của quá trình huấn luyện Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
vi DANH MỤC CÁC TỪ VIẾT TẮT Artificial Neural Network ANN Mạng nơron nhân tạo Adaptive Neuro Fuzzy Insference System ANFIS Hệ suy luận mờ Multi Input Multi Output MIMO Hệ mờ nhiều đầu vào - nhiều đầu ra Multi Input Single Output MISO Hệ mờ nhiều đầu vào - một đầu ra Mean Absolute Percentage Erro MAPE Least Square Error LSE Phương pháp ước lượng sai số bình phương cực tiểu Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
1 MỞ ĐẦU Ngày nay, các mạng nơron nhân tạo (ANN) đã được ứng dụng thành công, các nhà khoa học và các kĩ sư trong những năm gần đây đã có nhiều nghiên cứu ứng dụng trong việc xấp xỉ hàm, nhận dạng và điều khiển, xử lý ảnh, dự đoán chuỗi thời gian,… Hệ mờ nơ ron là một sự kết hợp giữa logic mờ và và khả năng học của mạng nơron. Một trong những sự kết hợp đó là hệ mờ nơron thích nghi (ANFIS - Adaptive Neuro Fuzzy Inference System).Hệ thống này có khả năng tối ưu hóa hệ mờ dựa trên các tập mẫu có sẵn.Các hệ mờ - nơron và các công cụ thống kê là các phương pháp khác nhau được sử dụng trong các bài toán dự báo như dự báo các chỉ số kinh tế, tài chính.Các mạng nơron chứa một số lượng lớn các thông số đầu vào cho phép việc học bên trong các quan hệ không tuyến tính hiện tại trong chuỗi thời gian, tăng cường khả năng dự báo. Trong những năm gần đây, nhiều bài toán dự báo được các chuyên gia đã tin tưởng và sử dụng các hệ thống thông minh khác nhau, trong đó Mạng Nơron nhân tạo và hệ suy luận mờ - nơron (ANFIS) cũng được ứng dụng trong lĩnh vực này. Bài toán dự báo sản lượng điện tiêu thụ là một trong những yêu cầu của sự phát triển kinh tế xã hội. Khu vực miền Bắc nói chung và tỉnh Bắc Giang nói riêng cũng nằm trong xu thế phát triển và cần thiết phải dự báo nhiều chỉ tiêu, trong đó có sản lượng điện tiêu thụ. Trong luận văn này, em ước tính sản lượng điện tiêu thụ bằng cách sử dụng hệ suy luận mờ dựa trên mạng thích nghi (ANFIS), luận văn bao gồm các nội dung sau : Chương 1 : Tổng quan về mạng nơron nhân tạo và hệ mờ Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
2 Chương 2 : Mô hình mạng ANFIS và khả năng ứng dụng Chương 3 : Ứng dụng mô hình ANFIS cho bài toán dự báo sản lượng tiêu thụ điện năng và thử nghiệm. Do các yêu cầu trên nên em chọn làm đề tài “Mạng ANFIS và ứng dụng cho dự báo sản lượng tiêu thụ điện năng của tỉnh Bắc Giang” cho luận văn tốt nghiệp của mình. Đề tài này, em trình bày một hệ thống suy luận mờ dựa trên mạng thích nghi ANFIS để dự báo mức tiêu thụ điện lâu dài, dự báo nhu cầu điện hàng năm, phục vụ cho phát triển kinh tế xã hội của tỉnh Bắc Giang. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
3 CHƢƠNG I TỔNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO VÀ HỆ MỜ 1.1. Cấu trúc và mô hình mạng nơron nhân tạo 1.1.1. Mô hình một nơron sinh học Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người bao gồm khoảng 1011 nơron tham gia vào khoảng 1015 kết nối trên các đường truyền. Mỗi đường truyền này dài khoảng hơn một mét. Các nơron có nhiều đặc điểm chung với các tế bào khác trong cơ thể, ngoài ra chúng còn có những khả năng mà các tế bào khác không có được, đó là khả năng nhận, xử lý và truyền các tín hiệu điện hóa trên các đường mòn nơron, các con đường này tạo nên hệ thống giao tiếp của bộ não [1]. Hình 1.1. Cấu trúc của một nơron sinh học điển hình Mỗi nơron sinh học có 3 thành phần cơ bản: • Các nhánh vào hình cây ( dendrites) • Thân tế bào (cell body) Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
4 • Sợi trục ra (axon) Các nhánh hình cây truyền tín hiệu vào đến thân tế bào.Thân tế bào tổng hợp và xử lý cho tín hiệu đi ra. Sợi trục truyền tín hiệu ra từ thân tế bào này sang nơron khác. Điểm liên kết giữa sợi trục của nơron này với nhánh hình cây của nơron khác gọi là synapse.Liên kết giữa các nơron và độ nhạy của mỗi synapse được xác định bởi quá trình hóa học phức tạp.Một số cấu trúc của nơron được xác định trước lúc sinh ra.Một số cấu trúc được phát triển thông qua quá trình học.Trong cuộc đời cá thể, một số liên kết mới được hình thành, một số khác bị hủy bỏ. Như vậy nơron sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu vào, xử lý các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau đó được truyền đi làm tín hiệu đầu vào cho các nơron khác. Dựa trên những hiểu biết về nơron sinh học, con người xây dựng nơron nhân tạo với hy vọng tạo nên một mô hình có sức mạnh như bộ não. 1.1.2. Mô hình một nơron nhân tạo Mô hình toán học của mạng nơron sinh học được đề xuất bởi McCulloch và Pitts, thường được gọi là nơron M-P, ngoài ra nó còn được gọi là phần tử xử lý và được ký hiệu là PE (Processing Element) [1]. Mô hình nơron có m đầu vào x1, x2,..., xm, và một đầu ra yi như sau: Hình 1.2. Mô hình một nơron nhân tạo Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
5 Giải thích các thành phần cơ bản: Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector m chiều. Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng số (thường được gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu vào thứ j cho nơron i thường được ký hiệu là w ij. Thông thường các trọng số này được khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng. Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của hàm truyền. Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1,1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng. Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một đầu ra. Về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp biểu thức sau: n yi f (net i i ) và net i wij x j (1.1) j 1 trong đó: x1, x2, …xm là các tín hiệu đầu vào, còn wi1, wi2,…,wim là các trọng số kết nối của nơron thứ i, neti là hàm tổng, f là hàm truyền, i là một ngưỡng, yi là tín hiệu đầu ra của nơron. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
6 Như vậy, tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền) [5]. Hàm truyền có thể có các dạng sau: 1 khi x 0 Hàm bước y (1.2) 0 khi x 0 Hàm giới hạn chặt (hay còn gọi là hàm bước) 1 khi x 0 y sgn( x) (1.3) 1 khi x 0 Hàm bậc thang 1 khi x 1 y sgn( x) x khi 0 x 1 (1.4) 0 khi x 0 Hàm ngưỡng đơn cực 1 y x với λ>0 (1.5) 1 e Hàm ngưỡng hai cực 2 y x 1 với λ>0 (1.6) 1 e Đồ thị các dạng hàm truyền được biểu diễn như sau: Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
7 Hình 1.3. Đồ thị các dạng hàm truyền 1.2. Cấu trúc và phƣơng thức làm việc của mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network) là một cấu trúc mạng được hình thành nên bởi số lượng các nơ-ron nhân tạo liên kết với nhau.Mỗi nơ-ron có các đặc tính đầu vào, đầu ra và thực hiện một số chức năng tính toán cục bộ [3]. Với việc giả lập các hệ thống sinh học, các cấu trúc tính toán, mạng nơ- ron có thể giải quyết được các lớp bài toán nhất định như: Bài toán xếp loại, bài toán lập lịch, bài toán tìm kiếm, bài toán nhận dạng mẫu... Các bài toán phức tạp cao, không xác định.Tuy nhiên, sự liên kết giữa một bài toán bất kỳ trong thực tế với một giải pháp mạng nơ-ron lại là một việc không dễ dàng. Xét một cách tổng quát, mạng nơ-ron là một cấu trúc xử lý song song thông tin phân tán mang các đặc tính nổi bật sau: - Là một mô hình tính toán dựa trên bản chất của nơ-ron - Bao gồm một số lượng rất lớn các nơ-ron liên kết với nhau - Mạng nơ-ron có khả năng học, khái quát hóa tập dữ liệu học thông qua việc gán và hiệu chỉnh các trọng số liên kết Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
8 - Tổ chứctheo kiểu tập hợp mang lại cho mạng nơ-ron khả năng tính toán rất lớn, trong đó không có nơ-ron nào mang thông tin riêng biệt 1.2.1. Mạng truyền thẳng Mạng nơron truyền thẳng một lớp Mô hình mạng nơ-ron truyền thẳng một lớp là mô hình liên kết cơ bản và đơn giản nhất. Các nơ-rn tổ chức lại với nhau tạo thành một lớp, đường truyền tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào được nối với các nơ-ron theo các trọng số khác nhau, sau quá trình xử lý cho ra một chuỗi các tín hiệu ra. Mạng nơ-ron là mô hình LTU thì nó được gọi là mạng Perception, còn mạng nơ-ron là mô hình LGU thì nó được gọi là mạng Adaline [1]. x y 1 1 x y 2 2 Xm y n Hình 1.4. Mạng truyền thẳng một lớp Với mỗi giá trị đầu vào x = [ x1,x2,....,xn]T. Qua quá trình xử lý của mạng ta sẽ thu được một bộ tương ứng các giá trị đầu ra là y = [y1,y2,...,yn]T được xác định như sau: m yi fi ( wij x j θ i ). i 1, n , (1.7) j 1 trong đó: m: số tín hiệu vào n : số tín hiệu ra WiT = [ wi1, wi2,...,win]T là véc tơ trọng số của nơ ron thứ i. fi : hàm kích hoạt của nơ ron thứ i i : là ngưỡng của nơ ron thứ i. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
9 Mạng nơron truyền thẳng nhiều lớp. Với mạng nơ-ron truyền thẳng một lớp ở trên khi phân tích một bài toán phức tạp sẽ gặp rất nhiều khó khăn, để khắc phục vấn đề này người ta đưa ra mô hình mạng nơ-ron truyền thẳng nhiều lớp bằng việc kết hợp với một số lớp nơ-ron lại với nhau.Lớp nhận tín hiệu vào gọi là lớp vào, lớp đưa ra tín hiệu ra của mạng được gọi là lớp ra.Các lớp ở giữa lớp vào và lớp ra được gọi là các lớp ẩn [1]. lớp vào lớp ẩn lớp ra x1 y1 x2 y2 ... ... ... ... ... ... xm yn Hình 1.5. Mạng nơron truyền thẳng nhiều lớp 1.2.2. Mạng hồi quy Mạng hồi quy một lớp có nối ngược ( X1 Y1 X2 Y2 ... ... ... XN YM Hình 1.6. Mạng hồi quy một lớp có nối ngƣợc Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
10 Mạng hồi quy nhiều lớp có nối ngược X1 Y1 X2 Y2 ... ... ... ... XN YM Hình 1.7. Mạng hồi quy nhiều lớp có nối ngƣợc 1.3. Các luật học Mạng nơ-ron có một số ưu điểm so với máy tính truyền thống. Cấu trúc song song của mạng nơ-ron rất thích hợp cho nhưng ứng dụng đòi hỏi tốc độ nhanh theo thời gian thực. Khả năng huấn luyện của mạng nơ-ron có thể khai thác để phát triển hệ học thích nghi.Mặt khác, với khả năng tổng quát hóa của mạng nơ-ron, nó có thể áp dụng để điều khiển nhiều tham số phức tạp đồng thời từ đó giải quyết dễ dàng một số bài toán NP - đầy đủ (NP - Complete). Các luật học đóng vai trò quan trọng trong việc xác định một mạng nơ- ron nhân tạo. Một cách đơn giản về khái niệm học của mạng nơ-ron là cập nhật trọng số trên cơ sở các mẫu. Theo nghĩa rộng thì học có thể được chia thành hai loại: Học tham số và học cấu trúc [3, 4]. Trong luận văn chúng ta chỉ đề cập tới luật học tham số (Parameter Learning): là các tham số về trọng số cập nhật kết nối giữa các nơ ron. Các thủ tục học này nhằm tìm kiếm ma trận trọng số sao cho mạng có khả năng đưa ra dự báo sát với thực tế. Dạng chung của luật học tham số có thể được mô tả như sau: Wij rx j , i 1, N , j 1, M (1.8) trong đó: Wij là sự thay đổi trọng số liên kết từ nơ-ron j đến nơ-ron i. xjlà tín hiệu vào nơ-ron j. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
11 là tốc độ học, nằm trong khoảng (0,1). r là hằng số học. Vấn đề đặt ra ở đây là tín hiệu học r được sinh ra như thế nào để hiệu chỉnh trọng số của mạng. Có 2 phương pháp học: + Học có giám sát: Là quá trình học dựa vào sai số giữa đầu ra thực và đầu ra mong muốn để làm cơ sở cho việc hiệu chỉnh trọng số. Sai số này chính là hằng số học r. Luật học điển hình của nhóm này là luật học Delta của Widrow (1962) nêu ra đầu tiên dùng xấp xỉ trọng số của Adaline dựa trên nguyên tắc gradient. Trong nhóm luật học này cũng cần kể đến luật học Perceptron của Rosenblatt (1958). Về cơ bản luật học này thay đổi các giá trị trọng trong thời gian học, còn Perceptron thì thêm hoặc bỏ trọng tùy theo giá trị sai số là dương hay âm Một loạt các luật học khác cũng được dựa trên tư tưởng này.Luật oja là cải tiến và nâng cấp của luật Delta.Luật truyền ngược là luật mở rộng của luật Delta cho mạng nhiều lớp. Đối với mạng truyền thẳng thường sử dụng luật truyền ngược để chỉnh trọng số với tín hiệu chỉ đạo từ bên ngoài và người ta gọi mạng này là mạng lan truyền ngược. Tín hiệu vào Tín hiệu ra Mạng nơron Sản sinh sai số Tín hiệu ra mong muốn Hình 1.8.Sơ đồ học tham số có giám sát. + Học không có giám sát: Luật học này sử dụng đầu ra của mạng làm cơ sở để hiệu chỉnh các trọng số liên kết. Hay trong luật này chính là tín hiệu Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
12 ra của mạng. Điển hình là luật Hebb (1949) thường dùng cho các mạng tự liên kết, luật LVQ (Learning Vector Quantization) dùng cho mạng tự tổ chức một lớp thuộc lớp mạng ánh xạ đặc trưng của Kohonen. Luật học Hebb là luật sinh học xuất phát từ tiên đề của Hebb cho rằng: Giữa hai nơ-ron có quan hệ và có thay đổi thế năng mạng thì giữa chúng có sự thay đổi trọng số liên kết. Nói cách khác, trọng số được điều chỉnh theo mối tương quan trước và sau, nghĩa là: Wij yi x j , i 1, N , j 1, M (1.9) trong đó: Wij : Là sự thay đổi trọng số liên kết từ nơ-ron j đến nơ-ron i. x j: là tín hiệu vào nơ-ron j. y i là tín hiệu ra của nơ-ron i. là tốc độ học, nằm trong khoảng (0,1). Luật Hebb giải thích việc chỉnh trọng số trong phạm vi cục bộ của mạng mà không cần tín hiệu chỉ đạo từ bên ngoài. Hopfield cũng cải tiến luật Hebb cho các mạng tự liên kết thành 16 dạng khác nhau theo kiểu luật Hebb, luật đối Hebb, luật Hopfield... Như vậy, ứng với mỗi nhóm mạng thường áp dụng một luật học nhất định. Nếu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong mạng nơ-ron có thể tăng lên rất nhiều lần. Đối với mạng phản hồi thường sử dụng luật Hebb và các luật cải tiến của nó để chỉnh trọng số mà không cần tín hiệu chỉ đạo từ bên ngoài. Tín hiệu vào Tín hiệu ra Mạng nơron Hình 1.9.Sơ đồ học tham số không có giám sát. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn