intTypePromotion=1
ADSENSE
 » 
 » 

Bài giảng Máy học và mạng neural: Bài 4 - TS. Vũ Đức Lung

Chia sẻ: Ngocnga Ngocnga | Ngày: | Loại File: PDF | Số trang:41

Thêm vào BST
Báo xấu
119
lượt xem 26
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Máy học và mạng neural - Bài 4 trang bị cho người học những kiên thức về mạng nơron nhân tạo (Artificial Neural Networks). Các nội dung chính được trình bày trong chương này gồm có: Các bài toán phù hợp với ANNs, cấu tạo ANNs, các hàm ngưỡng, kiến trúc ANNs,... Mời các bạn cùng tham khảo.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Máy học và mạng neural: Bài 4 - TS. Vũ Đức Lung

  1. 07/08/2013 Bài 04 – Mạng nơron nhân tạo Artificial Neural Networks 1 Nội dung  Giới thiệu  Các bài toán phù hợp với ANNs  Cấu tạo ANNs  Các hàm ngưỡng  Kiến trúc ANNs  Các qui tắc học  Mạng neuron McCulloch-Pitts  Perceptrons  ANNs nhiều tầng và giải thuật lan truyền ngược  Các vấn đề liên quan 2 1
  2. 07/08/2013 Giới thiệu  Định nghĩa: mạng nơ-ron là một tập hợp các dây thần kinh kết nối với nhau  Mạng nơ-ron sinh học: là một mạng lưới các nơ-ron có kết nối hoặc có liên quan về mặt chức năng trực thuộc hệ thần kinh.  Mạng nơ-ron nhân tạo: được thiết kế để mô hình một số tính chất của mạng nơ-ron sinh học (Bắt chước cách học của các hệ thần kinh sinh vật)  ANN khác với hệ thống nơron thần kinh: – Nhiều vấn đề phức tạp trong hệ thống neural thần kinh mà không được mô tả bởi ANN. – Nhiều đặc trưng của ANN không phù hợp với những hệ thống nơron sinh vật. 3 Giới thiệu  Bộ não người được ước tính có chứa: – Khoảng 1011 nơron thần kinh. – Mỗi kết nối sẽ có104 nơron. – Thời gian trao đổi thông tin giữa các nơron là10-3 giây (chậm hơn nhiều so với máy tính là 10-10 giây). – Tuy nhiên con người có thể đưa ra những quyết định phức tạp và nhanh chóng một cách đáng ngạc nhiên. Ví dụ, một người cần khoảng 10-1 giây để nhận ra mẹ của họ.  Khả năng xử lý thông tin của hệ thần kinh phải xử lý song song tốc độ cao và hoạt động trên những nơron tiêu biểu. 4 2
  3. 07/08/2013 Giới thiệu  Mạng nơron nhân tạo được bắt nguồn từ mạng nơron thần kinh trong các sinh vật. 5 Giới thiệu - Mô hình hóa mạng NN Cấu trúc của các neurons (tế bào thần kinh) Não Tín hiệu nhận từ các neurons khác Tín hiệu truyền đi các neurons khác Phần thân tế bào với các cấu trúc tế bào kết hợp Mô hình hóa Mô hình các thành phần của hệ thần kinh Neurocomputer Tín hiệu nhận từ các thành phần khác Tín hiệu X1 truyền đi các W1 thành phần khác W X2 Z 1 Y W2 K .X K Z X3 W3 Hàm x.định g.trị Giá trị xuất Giá trị nhập ngưỡng Trọng 6 số 3
  4. 07/08/2013 Giới thiệu - Cơ chế học của mạng Lặp nhiều lần việc biểu diễn mạng với các dữ liệu mẫu bao gồm các mối liên kết giữa các giá trị nhập và các giá trị đích (ví dụ, các giá trị này gần giống như kết xuất) Các nút sẽ tự điều chỉnh trọng số của chúng cho đến khi đạt được giá trị xuất mong muốn với một bộ dữ liệu đầu vào cho trước (ví dụ: cho đến khi biên lỗi giữa giá trị xuất và giá trị mong muốn đạt bằng nhau và bằng không) Xây dựng cơ chế giải quyết bài toán bằng mạng neuron Giá trị nhập Lớp nhập Lớp ẩn Lớp xuất Giá trị xuất Giá trị mong muốn 1 0 0 0 0 1 1 0 So sánh 0 7 Ngược) Thay đổi trọng số cho đến khi giá trị lỗi đầu xuất đạt bằng không (phương pháp Lan Truyền Giới thiệu  Mô hình học của mạng nơron là một phương pháp tốt để giải quyết các vấn đề như: – Tính xấp xỉ các hàm có giá trị dạng số thực, số rời rạc, vector. – Các dạng dữ liệu cảm biến phức tạp.  Một số ứng dụng của mạng nơron (mạng lan truyền ngược): – Nhận dạng chữ viết tay. – Nhận dạng giọng nói. – Nhận dạng mặt người. 8 4
  5. 07/08/2013 VD: Autonomous Land Vehicle In a Neural Network  Một ví dụ điển hình về mô hình học của mạng nơron là hệ thống ALVINN (Autonomous Land Vehicle In a Neural Network) của Pomerleau (1993).  Camera thu ảnh 30x32 pixel.  Hệ thống học 5 phút.  Hệ thống điều khiển xe với tốc độ 70 dặm/giờ trên đoạn đường 90 dặm. 9 Các bài toán phù hợp với ANN  Bài toán phân loại (classification): quyết định một giá trị đưa vào thuộc loại hay nhóm nào,  Bài toán nhận dạng mẫu (pattern recognition): nhận dạng cấu trúc trong các dữ liệu có thể là bị nhiễu.  Bài toán dự đoán (prediction): chẳng hạn như nhận dạng bệnh từ các triệu chứng, nhận dạng tác nhân từ các hiệu ứng,…  Bài toán tối ưu (optimization): tìm một tổ chức ràng buộc tốt nhất  Bài toán lọc nhiễu (Noise filtering): hay phân biệt các tín hiệu với nền, tìm ra các thành phần không quan trọng trong một tín hiệu. 10 5
  6. 07/08/2013 Các bài toán phù hợp với ANN 11 Các bài toán phù hợp với ANN 12 6
  7. 07/08/2013 Cấu tạo một neural  Các tính hiệu đầu vào  Tập các trọng số  Một mức kích hoạt  Một hàm ngưỡng (hàm truyền, hàm thích nghi) 13 Các hàm ngưỡng  Hàm Harlimit ánh xạ giá trị bất kỳ từ (-,+) vào tập {0,1} nên thích hợp cho các mạng thực hiện chức năng phân loại.  Các hàm nén sigmoid và tansigmoid ánh xạ giá trị bất kỳ từ (-,+) vào các khoảng [0,1] và [-1,1] tương ứng.  Hàm purelinear trả về bất kỳ giá trị thực nào và thường được sử dụng ở các Nơrons trong lớp xuất. Theo Thuyết Cybenko về xấp xỉ hàm phi tuyến tính, bất kỳ một hàm nào đều có thể được xấp xỉ với một độ chính xác tùy ý bởi một mạng với 3 lớp Nơron có các hàm truyền tuyến tính trong lớp xuất và các hàm truyền nén trong hai lớp ẩn còn lại. 14 7
  8. 07/08/2013 Các hàm ngưỡng A hard limiting and bipolar linear threshold 15 Kiến trúc NN 16 8
  9. 07/08/2013 Kiến trúc NN 17 Kiến trúc NN 18 9
  10. 07/08/2013 Các qui tắc học 19 Điều chỉnh tham số Đích (Target) Đầu vào Các trọng So sánh (Input) số Điều chỉnh trọng số Sơ đồ huấn luyện Mạng Nơron, học có giám sát  Mạng được điều chỉnh trọng số dựa trên tập huấn luyện (training set). -Ý tưởng: mạng sẽ được điều chỉnh theo một cách nào đó sao cho nó có thể học được các mẫu (pattern) hiện hữu trong tập huấn luyện. Sau khi hoàn tất điều chỉnh, mạng được trang bị khả năng tổng quát hóa từ các mẫu đã học để dự báo các giá trị trong tương lai. - Cơ chế điều chỉnh trọng số: sử dụng hàm sai số hay hàm đánh giá. 20 10
  11. 07/08/2013 Mạng neuron McCulloch-Pitts  Đầu vào của một neuron McCulloch-Pitts là +1 (kích thích) hoặc –1 (ức chế)  Có thể tính toán bất cứ hàm logic nào, 21 Perceptrons 22 11
  12. 07/08/2013 Perceptrons 23 Perceptron x0=1 x1 w1 w0 w2 x2  o . . wn . xn 1 if i=0n w x >0 o(xi)= { -1 otherwise i i 12
  13. 07/08/2013 Perceptrons  Một percetron đơn chỉ có thể phân tách được những tập mẫu có thể phân tách chuyến tính (có thể dùng một siêu phẳng để chia tập mẫu thành n -1 phần nếu giá trị nhập có n chiều).  Một ứng dụng đơn giản của Percetron là dùng để mô tả các hàm logic như AND, OR, NAND, NOR. Ví dụ  Với w0 = -0.8 và w1 = w2 = 0.5 ta có hàm AND.  Với w0 = -0.3 và w1 = w2 = 0.5 ta có hàm OR. Chú ý là x0 = 1 và x1, x2 nhận giá trị 0 hoặc 1 25 Luật Học Perceptron 26 13
  14. 07/08/2013 Luật Học Perceptron 27 Ví dụ perceptron  Tập dữ liệu huấn luyện Perceptron dùng để phân loại bài toán 28 14
  15. 07/08/2013 Giới hạn của perceptron – tính tách rời tuyến tính của bài toán  bài toán phân loại không tuyến tính đó là phép toán ex-or. Bảng chân trị Đồ thị các điểm dữ liệu của bài toán Ex-Or 29 Phương pháp hạ dốc và luật delta  Đây là luật để huấn luyện perceptron mà không cần ngưỡng.  Tập dữ liệu huấn luyện không nhất thiết phải phân tách tuyến tính. Vì luật huấn luyện này tìm ra một xấp xỉ tốt nhất với các mẫu huấn luyện.  Ý tưởng chính là sử dụng việc hạ dốc để tìm kiếm trong không gian H một vector trọng số phù hợp với mẫu huấn luyện nhất.  Là cơ sở cho giải thuật BACKPROPAGATION 30 15
  16. 07/08/2013 Phương pháp hạ dốc và luật delta 31 Trực Quan Hóa Không Gian Giả Thuyết 32 16
  17. 07/08/2013 Đạo Hàm Của Luật Hạ Dốc 33 Đạo Hàm Của Luật Hạ Dốc 34 17
  18. 07/08/2013 Giải Thuật Hạ Dốc 35 Nhận xét  Hạ dốc là một mô hình tổng quát quan trọng cho việc học.  Việc tìm kiếm được thực hiện trên toàn bộ không gian giả thuyết – không gian này có thể rất lớn hoặc vô hạn.  Do đó có thể phải cần tới hàng ngàn lần lặp mới hội tụ. Nếu mặt phẳng sai số có nhiều cực tiểu địa phương thì giải thuật này không đảm bảo tìm ra được giá trị nhỏ nhất.  Một biến thể của giảm độ dốc nhằm giảm bớt số lần điều chỉnh trọng số là hạ dốc ngẫu nhiên. 36 18
  19. 07/08/2013 ANNs nhiều tầng và giải thuật lan truyền ngược 37 Giải thuật lan truyền ngược 38 19
  20. 07/08/2013 Giải thuật lan truyền ngược 39 Cấu trúc mạng 40 20
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN
TRỢ GIÚP
HỖ TRỢ KHÁCH HÀNG
Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2009-2019 TaiLieu.VN. All rights reserved.

 

Đồng bộ tài khoản
2=>2