Huấn luyện mạng neuron nhân tạo

Chia sẻ: Pham Ngoc Hai | Ngày: | Loại File: PDF | Số trang:22

Thêm vào BST

Báo xấu

161
lượt xem 50
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Một bước rất quan trọng của mạng neuron đó là việc huấn luyện mạng (training) hay còn gọi là việc học Huấn luyện x1 W2 Đầu ra...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Huấn luyện mạng neuron nhân tạo

Huấn luyện mạng neuron nhân tạo Phần GV: Lê Hoài Long
Học của mạng neuron Một bước rất quan trọng của mạng  neuron đó là việc huấn luyện mạng (training) hay còn gọi là việc học Huấn luyện x1 W2 x2 Đầu vào Đầu ra Neuron Wn xn Các thông số huấn luyện GV: Lê Hoài Long
Học của mạng neuron Có hai cách học khác nhau trong  mạng neuron nhân tạo : Học tham số (parameter learning) và học cấu trúc (structure learning).  Hầu hết trong các nghiên cứu trong ngành quản lý xây dựng, ta dùng cách học thông số để huấn luyện mạng GV: Lê Hoài Long
Học thông số Học thông số là phương pháp học  bằng cách cập nhật trọng số kết nối.  Vấn đề đặt ra là tìm cách nào để tìm ra một ma trận trọng số thực sự của mạng xấp xỉ với ma trận W trong quá trình xử lý thông tin?  Chế độ học thông số được áp dụng là chế độ học giám sát GV: Lê Hoài Long
Học giám sát (supervised) Mạng neuron X (Đầu vào) W Y (Đầu ra thực sự) Tín hiệu sai số d (Đầu ra mong muốn) Khâu phát sinh tín hiệu sai số GV: Lê Hoài Long
Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation) Giải thuật được sử dụng để huấn  luyện các mạng nuôi tiến nhiều lớp với các phần tử xử lý trong mạng có hàm tác động là hàm phi tuyến.  Giải thuật sẽ cung cấp một thủ tục cho việc cấp nhật các trọng số kết nối trong mạng truyền ngược từ lớp neuron đầu ra đến lớp neuron đầu vào. GV: Lê Hoài Long
Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation) Giải thuật vận hành theo hai luồng dữ liệu.  Đó là: Đầu tiên, các mẫu huấn luyện được truyền  từ lớp neuron đầu vào đến lớp đầu ra và cho kết quả thực sự y(k) của lớp neuron đầu ra. Sau đó, tín hiệu sai lệch giữa đầu ra mong  muốn và đầu ra thực sự của mạng truyền ngược từ lớp đầu ra đến các lớp đứng trước để cập nhật các trọng số kết nối trong mạng. GV: Lê Hoài Long
Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation) Việc áp dụng phương pháp lan truyền  ngược là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính : ánh xạ và lan truyền ngược sai số. Quá trình luyện mạng được bắt đầu với các  trọng số tùy ý có thể là các số ngẫu nhiên và tiến hành lặp đi lặp lại. Mỗi lần lặp được gọi là một thế hệ. Trong mỗi thế hệ, mạng hiệu chỉnh các  trọng số sao cho sai số giảm dần. GV: Lê Hoài Long
Thuật toán tối ưu hóa trong huấn luyện Ba thuật toán hay sử dụng nhất đó là:  Steepest descent,   Newton,  và conjugate gradient Ba thuật toán này có thể tìm hiểu sâu  trong tài liệu được giao GV: Lê Hoài Long
Nhiễu Thiếu thông tin   Thông tin không chính xác  Thông tin thiếu. GV: Lê Hoài Long
Quá khớp (lack of generality) Mạng bị quá khớp được đặt biệt quan  tâm.  Nghĩa là mạng không có khả năng tổng quát hoá, điều mà ta cần khi sử dụng mạng  Mạng sẽ trả lời chính xác những gì nó được học còn những gì nó không được học nó không quan tâm GV: Lê Hoài Long
Quá khớp (lack of generality) Việc huấn luyện mạng với số bước lớn  hơn cần thiết. Nguyên nhân là mạng đã được luyện quá khớp với dữ liệu học (kể cả nhiễu).  Tính linh động của lan truyền ngược là lý do khiến nó có thể thực hiện công việc tạo mô hình tốt hơn hồi qui tuyến tính, nhưng cũng vì thế có thể dễ dẫn đến vấn đề quá khớp. GV: Lê Hoài Long
Quá khớp (lack of generality) 8500 thế hệ 3000 thế hệ 15000 thế hệ 7000 thế hệ 101000 thế hệ GV: Lê Hoài Long
Quá trình phát triển của mô hình neuron GV: Lê Hoài Long
Đánh giá mô hình Đánh giá dựa trên sai số  Sai số phần trăm (percentage error) (Predicted  Actual) PE  *100% Actual Sai số phần trăm tuyệt đố trung bình  (Mean absolute percentage error) 1 n Predicted  Actual MAPE   *100% n1 Actual GV: Lê Hoài Long
Đánh giá mô hình Sai số bình phương trung bình (Mean  squared error) n Predicted  Actual2  1 MSE  n Sai số căn bậc hai bình phương trung  bình (Root mean squared error) n Predicted  Actual2  1 RMSE  n GV: Lê Hoài Long
Đánh giá mô hình Đánh giá dựa trên độ phù hợp (goodness of fit)  Hệ số xác định (coefficient of determination) Sum of squared errors 2 R  1 Total sum of squares  Hệ số xác định điều chỉnh (Adjusted coefficient of determination) n 1   2 1 R2 AdjR  1  n  p 1 GV: Lê Hoài Long
Precision và Accuracy Không precise và không accurate Không precise và accurate GV: Lê Hoài Long
Precision và Accuracy Precise và không accurate Precise và accurate GV: Lê Hoài Long
Bài đọc HÃY CHỈ RA NHỮNG VẤN ĐỀ CỦA NGHIÊN CỨU SAU ĐÂY Ước lượng chi phí xây dựng chung cư bằng mạng neuron nhân tạo (Phan Văn Khoa và các Tác giả) Tạp chí phát triển Khoa học và Công nghệ - Quyển 10, Số 11, 2007 GV: Lê Hoài Long