intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE
 » 
 » 

Bài giảng Hệ thống thông minh: Phần 5 - Học có giám sát mạng nơ ron

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:47

Thêm vào BST
Báo xấu
1
lượt xem 0
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng "Hệ thống thông minh: Phần 5 - Học có giám sát mạng nơ ron" trình bày các nội dung chính sau đây: Mạng nơ-ron, nơ-ron nhân tạo (neuron), và cách Perceptron — một trong những mô hình đầu tiên trong học máy, đã được phát triển. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Hệ thống thông minh: Phần 5 - Học có giám sát mạng nơ ron

  1. HỌC CÓ GIÁM SÁT MẠNG NƠ RON Supervised Learning NEURALNETWORK
  2. NỘI DUNG • Lịch sử • Mạng nơ ron • Nơ ron • Perceptron • Perceptron đa tầng 2
  3. LỊCH SỬ • 1940: Alan Turing – Máy Turing • 1943: Warren McCULLOCH & Walter PITTS – nơ ron hình thức • 1948: Von Neuman – Các mạng ô tô mát • 1949: Donald HEBB – Giả thuyết về tính hiệu quả tiếp hợp. Khái niệm bộ nhớ kết hợp, những quy tắc đầu tiên cục bộ của học • 1958: Frank ROSENBLATT & Bernard WIDROW – Perceptron và Adaline • 1959: Marvin MINSKY & Seymour PAPERT – Phân tích lý thuyết các khả năng tính toán của cacs mạng dựa trên perceptron. Perceptron đa tầng (multi-layer perceptron) 3
  4. LỊCH SỬ (cont.) • Stephen GROSSBERG & Teuvo KOHONEN – Các mạng tự tổ chức (SOM) và quá trình thích nghi • 1980: Sự ra đời của connexionism John HOPFIELD: Sự tương đương của một số lớp mạng đối xứng với mô hình vật lý của tương tác giữa các nguyên tử trong các “ly xoay”. Vật lý thống kê Ứng xử cử các hệ thống được tạo nên từ một số lớn các phần tử đơn giản tích hợp mạnh Áp dụng nhiều kết quả của vật lý lý thuyết vào connexionism Máy BOLZMANN và perceptron đa tầng – cơ chế học hiệu năng 4
  5. MẠNG NƠ RON • Mạng nơ non – Một mạng phỏng nơ ron là một đồ thị định hướng có trọng lượng, các đỉnh của nó được gọi là các nơ ron và ứng xử như một ô tô mát 5
  6. MẠNG NƠ RON (cont.) – Các đặc trưng của mạng nơ ron • Kiến trúc / topology của mạng: phân tầng, đầy đủ … • Độ phức tạp của mạng: số nơ ron • Kiểu của nơ ron: các chức năng bắc cầu 6
  7. NƠ RON – Nơ ron sinh học: một tế bào với các đặc trưng • Các khớp thần kinh (synapse): các điểm nối với các nơ ron khác • Các rễ thần kinh (dendrite): các đầu vào nơ ron • Sợi trục thần kinh (axon): đầu ra của nơ ron hướng tới các nơ ron khác • Nhân: kích hoạt đầu ra tuỳ theo kích thích của các đầu vào 7
  8. NƠ RON (cont.) – Nơ ron hình thức – mô hình McCULLOCH &PITTS dendrites neurone X1 w1  w2 axon Y X2 output inputs . . wk . Xk (sum/threshold) X1 w1 w2 P=wi xi +w0 X2 . + f Y=f(P) . wk X. k f= hàm kích hoạt/hàm bắc cầu/hàm truyền w0 8
  9. NƠ RON (cont.) – Hàm kích hoạt 1 x > ngưỡng • Nhị phân: f (x) =  x  ngưỡng  0  −1 x < -b  1 • Hàm tuyến tính với cận f (x) =  x -b  x  b  b 1 x>b  1 • Hàm mũ sigmoid f (x) = 1+ e−x e −1 x • Hàm tang sigmoid f (x) = x e +1 9
  10. NƠ RON (cont.) – Giải thích hình học chức năng của nơ ron x1 w1 w2 P=wixi x2 . + P =  wi xi = w,x = w . wk . xk x cos(w, x) Nếu chuẩn hoá các vector w, x (||w|| = 1, ||x||=1) ta được P = cos(w, x) Như vậy hàm tổng của nơ ron McCULLOCH & PITTS xác định “sự đồng hướng” của hai vector trọng lượng w và vector kích thích x Hàm bắc cầu giữ vai trò chọn nơ ron đáp ứng một tiêu chuẩn (vượt quá ngưỡng?) 10
  11. NƠ RON (cont.) X1 w1 P=w1*X1 +w2*X2 w2 + X2 Quy tắc kích hoạt: f (P)= 1 P >q 0 Pq q = ngưỡng  Về phương diện hình học, ta chia mặt phẳng “kích thích” thành hai miền bởi đường thẳng w1*x1 + w2*x2 – q = 0 X2 w1x1 + w2 x2 − q = 0 q Xuất ra 1 w2 Xuất ra 0 X1 11
  12. NƠ RON (cont.) – Kiến trúc / hình thái mạng nơ ron input output input output Nối kết trực tiếp Nối kết trực tiếp – đầy đủ input output Nối kết hồi quy 12
  13. NƠ RON (cont.) Mạng đa tầng Mạng feedforward Mạng feedbackward Mạng phức tạp 13
  14. PERCEPTRON – Perceptron (Frank Rosenblatt 1960) Kiến trúc: 2 tầng (input (retina), output) Retina (Võngmạc) Mục tiêu: kết hợp các dạng được giới thiệu ở đầu vào với các trả lời Vd: retina 20x20 phần tử (ảnh của một chữ) output: 26 phần tử (nhận biết 26 chữ cái) 14
  15. PERCEPTRON (cont.) output 1 A … … U 23 retina … 24 Z Các nơ ron 15
  16. PERCEPTRON (cont.) Sự vận hành của perceptron X1 w1j w2j X2 aj=wijXi . aj f f(aj)=oj . wkj . Xk xi = {0, 1} output của tế bào thứ i của võng mạc wij = cường độ của nối kết giữa đầu vào i với đầu ra j aj = kích hoạt của tế bào j Quy tắc kích hoạt: o = 0 a j  θ   1 a j θ j  Quy tắc học: tìm các giá trị của khớp thần kinh (trọng lượng) sao cho các input được dịch thành các output 16
  17. PERCEPTRON (cont.) Phương thức học: để rèn luyện perceptron phải biết nó phạm lỗi và nó phải biết câu trả lời phải cho ra  học có giám sát quy tắc cục bộ: một tế bào học không cần câu trả lời của các tế bào khác Quy tắc học: nếu tế bào output là kích hoạt khi nó phải là không kích hoạt, nó giảm cường độ của các khớp thần kinh (synapse) tương ứng với các tế bào của võng mạc kích hoạt hoặc ngược lại ta đưa tập hợp để học nhiều lần 17
  18. PERCEPTRON (cont.) Điều chỉnh các synapse: w i, j = w i, j) + (t j −o j )xi = w i, j) + wi, j (t+1) (t (t xi = {0, 1} giá trị output của tế bào thứ i của retina oj = trả lời của tế bào thứ j của output (0 / 1) tj = trả lời lý thuyết của output (mong muốn)   [0, 1] hằng số học / tốc độ học Người ta chứng minh được rằng perceptron có thể học nếu phạm trù học là khả tách tuyến tính 18
  19. PERCEPTRON (cont.) Ví dụ: học hàm XOR X2 (1,1) X1 X2 Trả lời (0,1) Không thể tách các 0 0 0 với các 1 0 1 0 1 1 1 1 0 X1 (0,0) (1,0) perceptron hai tế bào w1 (1,0) => 1 1*w1+0*w2=1 =>w1=1 1*w1+1*w2=0 không thể (0,1) => 1 0*w1+1*w2=1 =>w2=1 0*w1+0*w2=0 khôngthể w2 Không thể tìm thấy các giá trị của wi cho phép perceptron học hàm XOR 19
  20. PERCEPTRON (cont.) Ta có thể tách cấu hình nếu sử dụng thêm đầu vào cho perceptron (tiếp cận phi tuyến) X1 X2 X1*X2 Response 0 0 0 0 1 0 0 1 0 1 0 1 1 1 1 0 w1 1*w1+0*w2+0*w3=1 => w1=1 X1 output 0*w1+1*w2+0*w3=1 => w2=1 X1*X 2 w3 1*w1+1*w2+1*w3=0 => w3=-2 w2 X2 0*w1+0*w2+0*w3=0 (Nghiệm đúng)  Tìm được w1, w2, w3 20
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN
TRỢ GIÚP
HỖ TRỢ KHÁCH HÀNG
Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright ©2025 TaiLieu.VN. All rights reserved.

 

Đồng bộ tài khoản
318=>0