Báo cáo kết quả thực hiện đề tài cơ sở Cấp viện Cơ học năm 2017: Ứng dụng mạng nơron nhân tạo vào bài toán dự báo

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:68

Thêm vào BST

Báo xấu

49
lượt xem 9
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Báo cáo tập trung trình bày các nội dung chính sau: Giới thiệu về mạng nơron nhân tạo, một số giải thuật tối ưu trọng số mạng nơron nhân tạo, xây dựng phần mềm dự báo bằng mạng nơron nhân tạo. Với phương pháp nghiên cứu; Phân tích, thống kê và tính toán các tư liệu thu thập được; Mô hình hóa bài toán dự báo bằng việc phát triển chương trình tính toán ngôn ngữ Fortran.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Báo cáo kết quả thực hiện đề tài cơ sở Cấp viện Cơ học năm 2017: Ứng dụng mạng nơron nhân tạo vào bài toán dự báo

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM VIỆN CƠ HỌC ----------------------------- BÁO CÁO KẾT QUẢ THỰC HIỆN ĐỀ TÀI CƠ SỞ CẤP VIỆN CƠ HỌC NĂM 2017 ĐỀ TÀI: ỨNG DỤNG MẠNG NƠRON NHÂN TẠO VÀO BÀI TOÁN DỰ BÁO Chủ nhiệm Đề tài: TS. Nguyễn Chính Kiên HÀ NỘI – 2017
DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI TT Họ và tên Phòng chuyên môn Thủy động lực và Giảm nhẹ thiên 1 TS Nguyễn Chính Kiên tai trong lưu vực Thủy động lực và Giảm nhẹ thiên 2 TS Nguyễn Tiến Cường tai trong lưu vực Thủy động lực và Giảm nhẹ thiên 3 CN Nguyễn Tuấn Anh tai trong lưu vực
i MỤC LỤC DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT THƯỜNG SỬ DỤNG ...............................ii DANH MỤC CÁC BẢNG ............................................................................................... iii DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ ....................................................................iv MỞ ĐẦU ............................................................................................................................. 1 I. GIỚI THIỆU VỀ MẠNG NƠRON NHÂN TẠO ........................................................ 2 1.1 Khái niệm, mô hình và khả năng ứng dụng .......................................................... 2 1.2 Mạng nơron truyền thẳng nhiều lớp ...................................................................... 9 II. MỘT SỐ GIẢI THUẬT TỐI ƯU TRỌNG SỐ MẠNG NƠRON NHÂN TẠO ... 14 2.1 Giải thuật Lan truyền ngược sai số ..................................................................... 14 2.2 Giải thuật Di truyền ............................................................................................. 20 2.3 Kết hợp các giải thuật.......................................................................................... 23 III. XÂY DỰNG PHẦN MỀM DỰ BÁO BẰNG MẠNG NƠRON NHÂN TẠO ...... 26 3.1 Ngôn ngữ và giao diện phần mềm ...................................................................... 26 3.2 Mô đun giải thuật Di truyền ................................................................................ 29 3.3 Mô đun giải thuật Lan truyền ngược sai số......................................................... 30 3.4 Kết hợp các giải thuật.......................................................................................... 31 3.5 Một số kỹ thuật xử lý .......................................................................................... 33 3.5.1 Kỹ thuật tính toán song song .................................................................... 33 3.5.2 Kỹ thuật phân tích dữ liệu đầu vào Wavelet ............................................. 43 IV. MỘT SỐ KẾT QUẢ TÍNH TOÁN ......................................................................... 47 4.1 Kết quả mô phỏng và dự báo thủy lực lưu vực đồng bằng sông Hồng .............. 47 4.2 Kết quả mô phỏng và dự báo thủy văn lưu lượng vào hồ ................................... 54 4.3 Kết quả mô phỏng và dự báo độ mặn tại vùng Tứ Giác Long Xuyên ................ 56 KẾT LUẬN ....................................................................................................................... 59 TÀI LIỆU THAM KHẢO ............................................................................................... 61
ii DANH MỤC KÝ HIỆU, CHỮ VIẾT TẮT THƯỜNG SỬ DỤNG ANN Artificial Neural Network - mạng thần kinh nhân tạo AI Trí tuệ nhân tạo GA Genetic Algorithm - Giải thuật Di truyền BP Backpropagation - Giải thuật Lan truyền ngược sai số RMS Sai số căn quân phương NSE Chỉ số đánh giá Nash-Sutcliffe GPU Đơn vị xử lý đồ họa CUDA Thư viện tính toán song song trên card đồ họa Nvidia CWT Biến đổi Wavelet liên tục DWT Biến đổi Wavelet rời rạc TL Thủy lực
iii DANH MỤC CÁC BẢNG Bảng 1.1 Các hàm kích hoạt thường được sử dụng ............................................................. 4 Bảng 2.1 Giá trị đầu vào và ra của bài toán XOR ............................................................. 23 Bảng 2.2 So sánh khả năng hội tụ của mạng khi sử dụng hai phương pháp học GA và BP với sai số dừng lặp khác nhau ............................................................................................ 25 Bảng 3.1 Thông số card NVIDIA GeForce GTX 1060 6GB ............................................ 39 Bảng 3.2 Thông số các bài toán thử nghiệm. .................................................................... 41 Bảng 3.3 Thời gian tính trung bình của các bài toán thử nghiệm...................................... 41 Bảng 4.1 Kết quả tính phương án 1 ................................................................................... 48 Bảng 4.2 Kết quả tính phương án 2 ................................................................................... 50 Bảng 4.3 Kết quả tính phương án 3 ................................................................................... 51 Bảng 4.4 Kết quả tính phương án 4 ................................................................................... 52 Bảng 4.5 Kết quả tính phương án 5 ................................................................................... 54 Bảng 4.6 Kết quả tính phương án dự báo lưu lượng vào hồ Hòa Bình ............................. 56 Bảng 4.7 Kịch bản và kết quả độ mặn tính toán của mô hình thủy lực ............................. 57 Bảng 4.8 Kết quả tính phương án tính mặn ...................................................................... 58
iv DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1 Cấu tạo của tế bào nơron sinh học ........................................................................ 2 Hình 1.2 Nơron nhân tạo...................................................................................................... 3 Hình 1.3 Mạng nơron chỉ có 1 nút và có sự phản hồi .......................................................... 6 Hình 1.4 Mạng nơron truyền thẳng 1 lớp (Single-layer feedforward network) ................. 6 Hình 1.5 Mạng nơron hồi quy 1 lớp .................................................................................... 6 Hình 1.6 Mạng MLP tổng quát ............................................................................................ 7 Hình 1.7 Hàm sigmoid g(x) = 1/(1+e-x) ........................................................................... 11 Hình 2.1 Lan truyền tín hiệu trong quá trình học theo pp lan truyền ngược sai số ........... 14 Hình 2.2 Sai số E được xét là hàm của trọng số W ........................................................... 16 Hình 2.3 Minh họa về ý nghĩa của quán tính trong thực tế ............................................... 19 Hình 2.4 Mô hình mạng nơron cho bài toán XOR ............................................................ 23 Hình 3.1 Giao diện của phần mềm dự báo bằng mạng nơron. ......................................... 27 Hình 3.2 Lựa chọn phương án tính .................................................................................... 28 Hình 3.3 Cấu trúc mạng, thông số và các giá trị ban đầu của phương án đã chọn. .......... 28 Hình 3.4 Sơ đồ thuật toán của giải thuật di truyền ............................................................ 29 Hình 3.5 Sơ đồ thuật toán lan truyền ngược sai số ............................................................ 31 Hình 3.6 Sơ đồ thuật toán kết hợp giải thuật Di truyền và Lan truyền ngược sai số......... 33 Hình 3.7 Mô hình Fork-Join .............................................................................................. 35 Hình 3.8 So sánh kiến trúc CPU và GPU. ........................................................................ 36 Hình 3.9 Tiến trình thực hiện của 1 chương trình CUDA ................................................. 37 Hình 3.10 Mô hình siêu máy tính có card mạng kết nối chuyên dụng GPUDirect RDMA................................................................................................................................ 38 Hình 3.11 Sơ đồ khối cách thực hiện song song trên GPU ............................................... 40 Hình 3.12 Biểu đồ hiệu năng card đồ họa khi đang xử lý song song trên GPU bài toán 2.......................................................................................................................................... 42 Hình 3.13 Phân tích đa phân giải sử dụng biến đổi wavelet rời rạc .................................. 45 Hình 3.14 Phân tích chuỗi dữ liệu mực nước trạm Hưng Yên .......................................... 46 Hình 4.1 Sơ đồ mạng sông vùng nghiên cứu ..................................................................... 47 Hình 4.2 Kết quả so sánh mực nước Sơn Tây năm 2000,2002,2003 giữa thực đo và mạng ANN hiệu chỉnh. ............................................................................................................... 48
v Hình 4.3 Kết quả so sánh mực nước Sơn Tây năm 2004 giữa thực đo và mạng ANN kiểm định. .................................................................................................................................. 48 Hình 4.4 Kết quả so sánh mực nước Sơn Tây năm 2000, 2002, 2003 và nửa năm 2004 giữa thực đo và mạng ANN hiệu chỉnh. ................................................................................... 49 Hình 4.5 Kết quả so sánh mực nước Sơn Tây nửa sau năm 2004 giữa thực đo và mạng ANN kiểm định sau khi học bổ sung. ............................................................................... 49 Hình 4.6 Kết quả so sánh mực nước Sơn Tây và Hà Nội năm 2000, 2002, 2003 giữa thực đo và mạng ANN hiệu chỉnh. ........................................................................................... 50 Hình 4.7 Kết quả so sánh mực nước Sơn Tây và Hà Nội năm 2004 giữa thực đo và mạng ANN kiểm định .................................................................................................................. 51 Hình 4.8 Kết quả so sánh mực nước Sơn Tây năm 2015 giữa thực đo và mạng ANN hiệu chỉnh. ................................................................................................................................. 52 Hình 4.9 Kết quả so sánh mực nước Sơn Tây năm 2016 giữa thực đo và mạng ANN kiểm định .................................................................................................................................... 52 Hình 4.10 Kết quả so sánh mực nước Sơn Tây năm 2015 giữa thực đo và mạng ANN hiệu chỉnh có bổ sung số liệu trạm Hưng Yên. ......................................................................... 53 Hình 4.11 Kết quả so sánh mực nước Sơn Tây năm 2016 giữa thực đo và mạng ANN kiểm định có bổ sung dữ liệu trạm Hưng Yên ............................................................................ 54 Hình 4.12 Kết quả so sánh lưu lượng vào hồ Hòa Bình giữa thực đo và mạng ANN tính kiểm định ........................................................................................................................... 55 Hình 4.13 Kết quả so sánh lưu lượng vào hồ Hòa Bình giữa thực đo và mạng ANN tính dự báo ...................................................................................................................................... 56 Hình 4.14 Mô hình tính tại vùng Tứ Giác Long Xuyên .................................................... 57 Hình 4.15 Kết quả so sánh độ mặn Rạch Giá giữa thực đo và mạng ANN hiệu chỉnh ..... 58 Hình 4.16 Kết quả so sánh độ mặn Rạch Giá giữa thực đo và mạng ANN dự báo........... 58
1 MỞ ĐẦU 1. Tính cấp thiết của đề tài Dự báo thuỷ văn, thủy lực là công việc dự báo trong tương lai trước một cách có khoa học về trạng thái biến đổi các yếu tố thuỷ văn, tuy nhiên sự biến đổi này là một quá trình tự nhiên phức tạp, chịu tác động của rất nhiều yếu tố. Tính biến động của các yếu tố này phụ thuộc vào cả không gian và thời gian nên gây khó khăn rất lớn cho quá trình dự báo, tìm ra được mối liên quan giữa các yếu tố. Thêm vào đó, do thiếu các trạm quan trắc cần thiết và thiếu sự kết hợp giữa các ngành liên quan cho nên dữ liệu quan trắc thực tế thường là không đầy đủ, không mang tính chất đại diện. Hiện nay, có rất nhiều phương pháp dự báo đã được đưa ra dựa trên mô hình vật lý và mô hình toán học, kết quả của các mô hình nói trên đã đạt được một số thành công đáng ghi nhận. Tuy nhiên, vấn đề tìm kiếm phương pháp đủ tốt, đáp ứng các yêu cầu thực tế giải quyết bài toán dự báo thuỷ văn, thủy lực vẫn là nội dung nghiên cứu thời sự hiện nay. Một hướng tiếp cận mới để mô hình hoá các hiện tượng thuỷ văn, thủy lực là dựa trên các công nghệ học máy. Mô hình này dựa trên một cơ sở dữ liệu thực tế đủ lớn và áp dụng kỹ thuật tính toán hiện đại - phương pháp học máy, một phần của trí tuệ nhân tạo – tận dụng sự phát triển của công nghệ tính toán đã đang là một trong những lĩnh vực nghiên cứu phát triển mạnh mẽ. 2. Mục đích nghiên cứu  Mạng nơron nhân tạo và các giải thuật liên quan,  Xây dựng phần mềm dự báo bằng mạng nơron nhân tạo. 3. Phương pháp nghiên cứu  Phân tích, thống kê và tính toán các tư liệu thu thập được,  Mô hình hóa bài toán dự báo bằng việc phát triển chương trình tính toán ngôn ngữ Fortran.
2 CHƯƠNG I GIỚI THIỆU VỀ MẠNG NƠRON NHÂN TẠO 1.1 Khái niệm, mô hình và khả năng ứng dụng 1.1.1 Khái niệm [5] Theo các nhà nghiên cứu sinh học, hệ thống thần kinh của con người bao gồm khoảng 1011 tế bào thần kinh, thường gọi là các nơron. Mỗi tế bào nơron gồm ba phần:  Thân nơron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các xung động thần kinh.  Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơron. Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân nơron, chiếm diện tích khoảng 0,25 mm2  Đầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể dài từ một cm đến hàng mét. Chúng nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào của các nơron khác thông qua các khớp nối (gọi là synapse). Có hai loại khớp nối, khớp nối kích thích (excitatory) sẽ cho tín hiệu qua nó để tới nơron còn khớp nối ức chế (inhibitory) có tác dụng làm cản tín hiệu tới nơron. Người ta ước tính mỗi nơron trong bộ não của con người có khoảng 104 khớp nối. Chức năng cơ bản của các tế bào nơron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống. Các tế bào nơron truyền tín hiệu cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hoá học phức tạp. Tại nhân tế bào, khi điện thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra. Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục truyền tới các nơron khác. Hình 1.1 Cấu tạo của tế bào nơron sinh học Mạng nơron nhân tạo, Artificial Neural Network (ANN) gọi tắt là mạng nơron, neural network, là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó được tạo nên từ một số lượng lớn các phần tử (gọi là phần tử xử lý hay
3 nơron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một mạng nơron. Cấu trúc của một nơron được mô tả trên hình dưới. Hình 1.2 Nơron nhân tạo Các thành phần cơ bản của một nơron nhân tạo bao gồm:  Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vec-tơ m chiều.  Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là wjk. Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng.  Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó.  Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền.  Hàm truyền (Transfer function) – còn gọi là Hàm kích hoạt (Activation function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các hàm truyền rất đa dạng được liệt kê trong bảng 1.1, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng.
4 Bảng 1.1 Các hàm kích hoạt thường được sử dụng ST Tên hàm Dạng đồ thị Phương trình T 1 Identity 2 Binary step 3 Logistic 4 TanH 5 ArcTan 6 Softsign 7 Rectified linear unit (ReLU) 8 Leaky rectified linear unit (Leaky ReLU) 9 Parameteric rectified linear unit (PReLU) 10 Randomized leaky rectified linear unit (RReLU) 11 Exponential linear unit (ELU) 12 Scaled exponential linear unit (SELU) 13 S-shaped rectified linear activation unit (SReLU)
5 14 Adaptive piecewise linear (APL) 15 SoftPlus 16 Bent identity 17 SoftExponential 18 Sinusoid 19 Sinc 20 Gaussian  Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra. Như vậy tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền). 1.1.2 Mô hình mạng nơron nhân tạo [6] Mặc dù mỗi nơron đơn lẻ có thể thực hiện những chức năng xử lý thông tin nhất định, sức mạnh của tính toán nơron chủ yếu có được nhờ sự kết hợp các nơron trong một kiến trúc thống nhất. Một mạng nơron là một mô hình tính toán được xác định qua các tham số: kiểu nơron (như là các nút nếu ta coi cả mạng nơron là một đồ thị), kiến trúc kết nối (sự tổ chức kết nối giữa các nơron) và thuật toán học (thuật toán dùng để học cho mạng). Về bản chất một mạng nơron có chức năng như là một hàm ánh xạ F: X → Y, trong đó X là không gian trạng thái đầu vào (input state space) và Y là không gian trạng thái đầu ra (output state space) của mạng. Các mạng chỉ đơn giản là làm nhiệm vụ ánh xạ các vec- tơ đầu vào x ∈ X sang các vec-tơ đầu ra y ∈ Y thông qua “bộ lọc” (filter) các trọng số. Tức là y = F(x) = s(W, x), trong đó W là ma trận trọng số liên kết. Hoạt động của mạng thường là các tính toán số thực trên các ma trận.
6 Trong bộ não của con người, các tế bào nơron liên kết với nhau chằng chịt và tạo nên một mạng lưới vô cùng phức tạp, tuy nhiên mạng nơron nhân tạo được chia thành các loại chính sau: Hình 1.3 Mạng nơron chỉ có 1 nút và có sự phản hồi Mạng nơron truyền thẳng một lớp (perceptron) là loại mạng chỉ có lớp nơron đầu vào và một lớp nơron đầu ra (thực chất lớp nơron đầu vào không có vai trò xử lý, do đó ta nói mạng chỉ có một lớp). Loại mạng này còn được gọi là mạng perceptron một lớp. Mỗi nơron đầu ra có thể nhận tín hiệu từ các đầu vào x1, x2, …, xm để tạo ra tín hiệu đầu ra tương ứng. Hình 1.4 Mạng nơron truyền thẳng 1 lớp (Single-layer feedforward network) Mạng có phản hồi (feedback network) là mạng mà đầu ra của một nơron có thể trở thành đầu vào của nơron trên cùng một lớp hoặc của lớp trước đó. Mạng feedback có chu trình khép kín gọi là mạng quy hồi (recurrent network). Hình 1.5 Mạng nơron hồi quy 1 lớp Mô hình mạng truyền thẳng nhiều lớp: Mô hình mạng nơron được sử dụng rộng rãi nhất là mô hình mạng nhiều tầng truyền thẳng (MLP: Multi Layer Perceptron). Một mạng MLP tổng quát là mạng có n (n ≥ 2) lớp (thông thường lớp đầu vào không được tính đến): trong đó gồm một lớp đầu ra (lớp thứ n) và (n-1) lớp ẩn.
7 Hình 1.6 Mạng MLP tổng quát Một số kết quả đã được chứng minh với mạng MLP:  Bất kì một hàm Boolean nào cũng có thể biểu diễn được bởi một mạng MLP 2 lớp trong đó các nơron sử dụng hàm truyền sigmoid.  Tất cả các hàm liên tục đều có thể xấp xỉ bởi một mạng MLP 2 lớp sử dụng hàm truyền sigmoid cho các nơron lớp ẩn và hàm truyền tuyến tính cho các nơron lớp ra với sai số nhỏ tùy ý.  Mọi hàm bất kỳ đều có thể xấp xỉ bởi một mạng MLP 3 lớp sử dụng hàm truyền sigmoid cho các nơron lớp ẩn và hàm truyền tuyến tính cho các nơron lớp ra. Mô hình mạng kết hợp : Trong thực tế, người ta thường kết hợp nhiều loại mạng để giải quyết các bài toán. Có thể tham khảo mô hình ANN hệ thống chơi cờ vây AlphaGo của Google bao gồm kết hợp 3 mạng ANN. Mạng 1 SL có cấu trúc xoắn bao gồm 13 lớp ẩn với tập dữ liệu học có giám sát là hàng triệu nước cờ đã có thu thập từ các ván cờ các kỳ thủ đã chơi. Mạng 2 RL có cấu trúc giống mạng SL nhưng được tối ưu hóa bộ trọng số qua bộ huấn luyện là các ván cờ tự chơi với nhau giữa các máy. Mạng 3 Value dự đoán kết quả trò chơi dựa trên RL, giá trị của vị trí p được định nghĩa như 1 kỳ vọng phân phối các kết quả phát từ vị trí p đến cuối ván cờ. Cuối cùng, AlphaGo kết hợp mạng trên với thuật toán Monte Carlo Tree Search để đưa ra đánh giá vị trí cuối cùng cho nước đi tiếp theo. Quá trình học của mạng nơron Học là quá trình cập nhật trọng số sao cho giá trị hàm lỗi là nhỏ nhất. Một mạng nơron được huấn luyện sao cho với một tập các vec-tơ đầu vào X, mạng có khả năng tạo ra tập các vec-tơ đầu ra mong muốn Y của nó. Tập X được sử dụng cho huấn luyện mạng được gọi là tập huấn luyện (training set). Các phần tử x thuộc X được gọi là các mẫu huấn luyện (training example). Quá trình huấn luyện bản chất là sự thay đổi các trọng số liên kết của mạng. Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi vec-tơ đầu vào x từ tập huấn luyện, mạng sẽ cho ra vec-tơ đầu ra y như mong muốn. Có ba phương pháp học phổ biến là học có giám sát (supervised learning), học không giám sát (unsupervised learning) và học tăng cường (Reinforcement learning).
8 Học có giám sát trong các mạng nơron Học có giám sát có thể được xem như việc xấp xỉ một ánh xạ: X→ Y, trong đó X là tập các vấn đề và Y là tập các lời giải tương ứng cho vấn đề đó. Các mẫu (x, y) với x = (x1, x2, ..., xn) ∈ X, y = (yl, y2, ..., ym) ∈ Y được cho trước. Học có giám sát trong các mạng nơron thường được thực hiện theo các bước sau:  Bước 1: Xây dựng cấu trúc thích hợp cho mạng nơron, chẳng hạn có n nơron vào, m nơron đầu ra, và khởi tạo các trọng số liên kết của mạng.  Bước 2: Đưa một vec-tơ x trong tập mẫu huấn luyện X vào mạng  Bước 3: Tính vec-tơ đầu ra z của mạng  Bước 4: So sánh vec-tơ đầu ra mong muốn t (là kết quả được cho trong tập huấn luyện) với vec-tơ đầu ra z do mạng tạo ra; nếu có thể thì đánh giá lỗi.  Bước 5: Hiệu chỉnh các trọng số liên kết theo một cách nào đó sao cho ở lần tiếp theo khi đưa vec-tơ x vào mạng, vec-tơ đầu ra z sẽ giống với t hơn.  Bước 6: Nếu cần, lặp lại các bước từ 2 đến 5 cho tới khi mạng đạt tới trạng thái hội tụ. Việc đánh giá lỗi có thể thực hiện theo nhiều cách, cách dùng nhiều nhất là sử dụng lỗi tức thời: Err = (z - t), hoặc Err = |z - t| ; lỗi trung bình bình phương (MSE: mean- square error): Err = (z- t)2/2. Có hai loại lỗi trong đánh giá một mạng nơron. Thứ nhất, gọi là lỗi rõ ràng (apparent error), đánh giá khả năng xấp xỉ các mẫu huấn luyện của một mạng đã được huấn luyện. Thứ hai, gọi là lỗi kiểm tra (test error), đánh giá khả năng tổng quát hóa của một mạng đã được huấn luyện, tức khả năng phản ứng với các vec-tơ đầu vào mới. Để đánh giá lỗi kiểm tra chúng ta phải biết đầu ra mong muốn cho các mẫu kiểm tra. Thuật toán tổng quát ở trên cho học có giám sát trong các mạng nơron có nhiều cài đặt khác nhau, sự khác nhau chủ yếu là cách các trọng số liên kết được thay đổi trong suốt thời gian học. Trong đó tiêu biểu nhất là thuật toán lan truyền ngược sai số. 1.1.3 Khả năng ứng dụng của mạng nơron nhân tạo Đặc trưng của mạng nơron nhân tạo là khả năng học. Nó có thể gần đúng mối quan hệ tương quan phức tạp giữa các yếu tố đầu vào và đầu ra của các quá trình cần nghiên cứu và khi đã học được thì việc kiểm tra độc lập thường cho kết quả tốt. Sau khi đã học xong, mạng nơron nhân tạo có thể tính toán kết quả đầu ra tương ứng với bộ số liệu đầu vào mới. Về mặt cấu trúc, mạng nơron nhân tạo là một hệ thống gồm nhiều phần tử xử lý đơn giản cùng hoạt động song song. Tính năng này của ANN cho phép nó có thể được áp dụng để giải các bài toán lớn.
9 Về khía cạnh toán học, theo định lý Kolmogorov, một hàm liên tục bất kỳ f(x1, x2,…, xn ) xác định trên khoảng In ( với I =[0,1]) có thể được biểu diễn dưới dạng [4]: 2𝑛+1 𝑛 𝑓 (𝑥) = ∑ χ𝑗 (∑ Ψ𝑖𝑗 (𝑥𝑖 )) 𝑖=1 𝑗=1 trong đó: χj , Ψij là các hàm liên tục một biến. Ψij là hàm đơn điệu, không phụ thuộc vào hàm f. Mặt khác, mô hình mạng nơron nhân tạo cho phép liên kết có trọng số các phần tử phi tuyến (các nơron đơn lẻ) tạo nên dạng hàm tổng hợp từ các hàm thành phần. Do vậy, sau một quá trình điều chỉnh sự liên kết cho phù hợp (quá trình học), các phần tử phi tuyến đó sẽ tạo nên một hàm phi tuyến phức tạp có khả năng xấp xỉ hàm biểu diễn quá trình cần nghiên cứu. Kết quả là đầu ra của nó sẽ tương tự với kết quả đầu ra của tập dữ liệu dùng để luyện mạng. Khi đó ta nói mạng nơron nhân tạo đã học được mối quan hệ tương quan đầu vào - đầu ra của quá trình và lưu lại mối quan hệ tương quan này thông qua bộ trọng số liên kết giữa các nơron. Do đó, mạng nơron nhân tạo có thể tính toán trên bộ số liệu đầu vào mới để đưa ra kết quả đầu ra tương ứng. Với những đặc điểm đó, mạng nơron nhân tạo đã được sử dụng để giải quyết nhiều bài toán thuộc nhiều lĩnh vực của các ngành khác nhau. Các nhóm ứng dụng mà mạng nơron nhân tạo đã được áp dụng rất có hiệu quả là:  Bài toán phân lớp: Loại bài toán này đòi hỏi giải quyết vấn đề phân loại các đối tượng quan sát được thành các nhóm dựa trên các đặc điểm của các nhóm đối tượng đó. Đây là dạng bài toán cơ sở của rất nhiều bài toán trong thực tế: nhận dạng chữ viết, tiếng nói, phân loại gen, phân loại chất lượng sản phẩm, …  Bài toán dự báo: Mạng nơron nhân tạo đã được ứng dụng thành công trong việc xây dựng các mô hình dự báo sử dụng tập dữ liệu trong quá khứ để dự đoán số liệu trong tương lai. Đây là nhóm bài toán khó và rất quan trọng trong nhiều ngành khoa học.  Bài toán điều khiển và tối ưu hoá: Nhờ khả năng học và xấp xỉ hàm mà mạng nơron nhân tạo đã được sử dụng trong nhiều hệ thống điều khiển tự động cũng như góp phần giải quyết những bài toán tối ưu trong thực tế. Tóm lại, mạng nơron nhân tạo được xem như là một cách tiếp cận đầy tiềm năng để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt là trong tình huống mối quan hệ bản chất vật lý của quá trình cần nghiên cứu không dễ thiết lập tường minh. 1.2 Mạng nơron truyền thẳng nhiều lớp [1] Mạng perceptron một lớp do F.Rosenblatt đề xuất năm 1960 là mạng truyền thẳng chỉ một lớp vào và một lớp ra không có lớp ẩn. Trên mỗi lớp này có thể có một hoặc nhiều nơron. Rosenblatt đã chứng minh rằng quá trình học của mạng Perceptron sẽ hội
10 tụ tới bộ trọng số W, biểu diễn đúng các mẫu học với điều kiện là các mẫu này biểu thị các điểm rời rạc của một hàm khả tách tuyến tính nào đó (f: Rn →R được gọi là khả tách tuyến tính nếu các tập {F -1(xk)}, với xk thuộc miền trị của f, có thể tách được với nhau bởi các siêu phẳng trong không gian Rn). Năm 1969, Minsky và Papert đã chứng minh một cách chặt chẽ rằng lớp hàm thể hiện sự phụ thuộc giữa đầu vào và đầu ra có thể học bởi mạng Perceptron một lớp là lớp hàm khả tách tuyến tính. Khả tách tuyến tính là trường hợp tồn tại một mặt siêu phẳng để phân cách tất cả các đối tượng của một lớp này với một lớp khác, ví dụ một mặt phẳng sẽ phân chia không gian ba chiều thành hai vùng riêng biệt. Mở rộng ra, nếu có n đầu vào, n>2 thì công thức ∑𝑛𝑗=1 𝑤𝑖𝑗 𝑥𝑗 = 𝜃𝑖 tạo nên một siêu phẳng có n-1 chiều trong không gian n chiều, nó chia không gian đó thành hai nửa. Trong nhiều bài toán thực tế đòi hỏi chia các vùng của các điểm trong một siêu không gian thành các lớp riêng biệt. Loại bài toán này gọi là bài toán phân lớp. Bài toán phân lớp có thể giải quyết bằng cách tìm các tham số thích hợp cho một siêu phẳng để nó có thể chia không gian n chiều thành các vùng riêng biệt. Với tính chất của như đã nêu trên, mạng perceptron một lớp có thể mô tả các hàm logic như AND, OR và NOT. Tuy nhiên nó không thể hiện được hàm XOR. Như vậy chứng tỏ mô hình perceptron một lớp không thể giải quyết bài toán này. Vấn đề này sẽ được giải quyết bằng mô hình mạng nơron perceptron nhiều lớp (Multi Layer Perceptron - MLP) Mạng perceptron nhiều lớp (Multilayer Perceptron – MLP) còn được gọi là mạng truyền thẳng nhiều lớp là sự mở rộng của mô hình mạng perceptron với sự bổ sung thêm những lớp ẩn và các nơron trong các lớp ẩn này có hàm truyền (hàm kích hoạt) dạng phi tuyến. Mạng MLP có một lớp ẩn là mạng nơron nhân tạo được sử dụng phổ biến nhất, nó có thể xấp xỉ các hàm liên tục được định nghĩa trên một miền có giới hạn cũng như những hàm là tập hợp hữu hạn của các điểm rời rạc. Cấu trúc của một mạng MLP tổng quát có thể mô tả như sau:  Đầu vào là các vec-tơ (x1, x2, ..., xp) trong không gian p chiều, đầu ra là các vec- tơ (y1, y2, ..., yq) trong không gian q chiều. Đối với các bài toán phân loại, p chính là kích thước của mẫu đầu vào, q chính là số lớp cần phân loại.  Mỗi nơron thuộc lớp sau liên kết với tất cả các nơron thuộc lớp liền trước nó.  Đầu ra của nơron lớp trước là đầu vào của nơron thuộc lớp liền sau nó. Hoạt động của mạng MLP như sau: tại lớp đầu vào các nơron nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của hàm truyền); kết quả này sẽ được truyền tới các nơron thuộc lớp ẩn thứ nhất; các nơron tại đây tiếp nhận
11 như là tín hiệu đầu vào, xử lý và gửi kết quả đến lớp ẩn thứ 2 ; … ; quá trình tiếp tục cho đến khi các nơron thuộc lớp ra cho kết quả. 1.2.1 Một số vấn đề cần chú ý khi sử dụng mạng MLP Mạng nơron perceptron nhiều lớp là loại mạng nơron được sử dụng trong nhiều ứng dụng thực tế. Tuy nhiên, để mạng có thể đưa ra kết quả tốt, chúng ta cần quan tâm đến một số vấn đề có ảnh hưởng khá quan trọng đến hiệu quả làm việc của nó bao gồm: vấn đề chuẩn hoá số liệu đầu vào, vấn đề học chưa đủ và học quá của mạng, vấn đề lựa chọn một cấu trúc mạng phù hợp với bài toán. a. Vấn đề chuẩn hoá số liệu đầu vào Mạng MLP thường sử dụng hàm truyền là hàm sigmoid có dạng như sau: Hình 1.7 Hàm sigmoid g(x) = 1/(1+e-x) Với dạng hàm này, giá trị ở đầu ra của mỗi nơron nằm trong phạm vi khoảng (0,1) và nó đạt các giá trị bão hoà (xấp xỉ 0 hay 1) khi ⎢x ⎢ lớn. Do đó, khi đầu vào của mạng có giá trị tuyệt đối lớn thì ta cần chuẩn hoá nó về khoảng có giá trị nhỏ, nếu không thì các nơron tại các lớp ẩn ngay ban đầu đã có thể đạt giá trị bão hoà và quá trình học của mạng không đạt kết quả mong muốn. Với dạng hàm như trên thì giá trị đầu vào của mạng thường được chuẩn hoá về khoảng thuộc đoạn [-3, 3]. Mặt khác, do tín hiệu đầu ra của nơron nằm trong khoảng giá trị (0,1) nên các giá trị đầu ra thực tế trong các mẫu học cũng cần chuẩn hoá về khoảng giá trị này để có thể dùng cho quá trình luyện mạng. Do vậy trong quá trình tính toán, để có các giá trị thực tế ở đầu ra của mạng chúng ta cần phải chuyển các giá trị trong khoảng (0,1) về miền các giá trị thực tế. b. Vấn đề học chưa đủ và học quá thuộc của mạng Vấn đề mấu chốt khi xây dựng một mạng nơron nhân tạo là làm thế nào mạng có khả năng tổng quát hoá cao để đưa ra kết quả tốt cả với những trường hợp đầu vào của mạng không nằm trong tập mẫu đã dùng để luyện mạng. Giống như các mô hình hồi quy phi tuyến khác, đối với mạng nơron nhân tạo ta cũng phải giải quyết hai vấn đề là ANN học chưa đủ (underfitting) và học quá (overfitting). Khi mạng có cấu trúc (số nút ẩn và liên kết) cũng như số lần học chưa đủ so với nhu cầu của bài toán thì sẽ dẫn tới tình trạng mạng
12 không đủ khả năng mô tả gần đúng mối quan hệ tương quan giữa đầu vào và đầu ra của quá trình cần dự báo và dẫn tới học chưa đủ. Trái lại, nếu mạng quá phức tạp (quá nhiều nút ẩn và quá nhiều tham số) và được học “quá khít” đối với các mẫu dùng để luyện mạng thì có thể dẫn tới tình trạng mạng học cả thành phần nhiễu lẫn trong các mẫu đó, đây là tình trạng “học quá thuộc” của mạng. Vấn đề nêu trên có thể làm cho nhiều loại mạng nơron, đặc biệt là mạng MLP có thể có những trường hợp cho kết quả dự đoán rất sai lệch với thực tế. Một số giải pháp cho vấn đề học quá của mạng:  Sử dụng tập số liệu có tính đại diện tốt để luyện mạng: Đây được xem là một cách khá tốt để tránh hiện tượng overfitting. Khi tập mẫu dùng để luyện mạng thể hiện được nhiều trạng thái có thể xẩy ra của quá trình cần nghiên cứu thì sau khi học mạng sẽ có khả năng tổng quát hoá tương đối tốt từ tập dữ liệu đó và sẽ không chịu ảnh hưởng nhiều của hiện tượng overfitting. Ngoài ra một số biện pháp dưới đây cũng có thể góp phần quan trọng giúp khắc phục hiện tượng overfitting của mạng.  Lựa chọn cấu trúc mô hình phù hợp: Việc lựa chọn mô hình của mạng (số lớp ẩn, số nơron trên mỗi lớp ẩn) có ảnh hưởng quan trọng đến hiện tượng học chưa đủ (underfitting) và học quá (overfitting) của mạng. Các mạng có độ phức tạp hơn tuy nó có thể học khá chính xác các mẫu được sử dụng nhưng chính điều này lại làm cho nó học quá nhiều cả thành phần nhiễu nên khả năng tổng quát hoá giảm và dẫn tới hiện tượng học quá (overfitting).  Dừng học đúng lúc: giải pháp dừng học đúng lúc để tránh hiện tượng học quá của mạng như sau :  Tập mẫu được chia làm hai phần: một phần dùng để luyện mạng và phần còn lại để kiểm thử.  Sử dụng các giá trị khởi tạo nhỏ.  Sử dụng hằng số tốc độ học có giá trị thấp.  Tính toán sự thay đổi lỗi kiểm thử trong quá trình luyện mạng.  Dừng học khi thấy lỗi kiểm thử bắt đầu tăng. c. Lựa chọn kích thước mạng Các công trình dựa trên định lý của Kolmogorov dự kiến rằng toàn bộ các ánh xạ liên tục từ [0,1]p đến [0,1]n đều có thể được xấp xỉ bằng một mạng perceptron ba lớp có lớp vào gồm p nơron, lớp ra gồm n nơron và lớp ẩn gồm (2p+1) nơron. Tuy nhiên không thể chỉ ra được chính xác số lượng nơron tối ưu trong mạng, tính chất của các nơron, tức là dạng phi tuyến cụ thể thực hiện phép xấp xỉ này. Một số công trình nghiên cứu về chủ đề này cho rằng số nơron tối ưu ở lớp ẩn thường nhỏ hơn (2p+1). Ngoài ra cũng cần phải nói cơ sở dữ liệu học phải có kích thước phù hợp với kiến trúc mạng. Theo Vapnik và Chervonenkis, cơ
13 sở dữ liệu học phải có số mẫu thoả mãn: N ≈ 10.Nw, ở đó Nw là số trọng số của mạng. Gọi số nơron thuộc lớp ẩn là L, số nơron ở lớp vào là p thì trọng số của các kết nối giữa lớp vào và lớp ẩn thứ nhất (kể cả ngưỡng) là: D=(p+1).L . Theo một số kết quả nghiên cứu, số mẫu của cơ sở dữ liệu học cần phải thoả mãn: N ≈ 4.D. Khi số lượng mẫu của cơ sở dữ liệu học chưa đạt đến giới hạn cần thiết thì ta nên làm giảm số lượng các kết nối để tránh hiện tượng học thuộc lòng.