Bài giảng Học sâu và ứng dụng: Bài 9 - Mạng hồi quy

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:56

Thêm vào BST

Báo xấu

3
lượt xem 0
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng "Học sâu và ứng dụng: Bài 9 - Mạng hồi quy" cung cấp cho sinh viên những kiến thức như: Bài toán dự đoán chuỗi; mạng hồi quy thông thường; lan truyền ngược theo thời gian ; mạng LSTM và GRU; một số áp dụng. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Học sâu và ứng dụng: Bài 9 - Mạng hồi quy

Bài 9: Mạng hồi quy 1
Nội dung • Bài toán dự đoán chuỗi • Mạng hồi quy thông thường • Lan truyền ngược theo thời gian (BPTT) • Mạng LSTM và GRU • Một số áp dụng 2
Bài toán dự đoán chuỗi 3
Bài toán dự đoán chuỗi • Trước giờ, ta chỉ tập trung vào vấn đề dự đoán với đầu vào và đầu ra kích thước cố định • Chuyện gì sẽ xảy ra nếu đầu vào và đầu ra là một chuỗi có kích thước thay đổi? 4
Phân lớp văn bản • Phân loại sắc thái (sentiment): phân loại bình luận một nhà hàng hay một bộ phim hay một sản phẩm là tích cực hay tiêu cực • “The food was really good” - “Thức ăn rất ngon” • “Máy hút bụi bị hỏng trong vòng hai tuần” • “Bộ phim có những phần buồn tẻ, nhưng tổng thể là rất đáng xem” • Cần dùng đặc trưng gì và mô hình phân loại gì để giải quyết bài toán này? 5
Phân loại sắc thái • “The food was really good” Classifier Trạng thái ẩn “Memory” h5 “Context” h1 h2 h3 h4 “The” “food” “was” “really” “good” Recurrent Neural Network(RNN) 6
Mô hình ngôn ngữ 7
Mô hình ngôn ngữ • Character RNN 9 Imagesource
Character RNN Kí tự đầu ra yi Lớp đầu ra (biến đổi tuyến tính + softmax) Trạng thái ẩn hi Mã hóa One-hot xi Ký tự đầu vào 9
Sinh mô tả bức ảnh • Cho một bức ảnh, cần sinh ra một câu mô tả nội dung bức ảnh “The dog ishiding” 10
Sinh mô tả bức ảnh “The” “dog” “is” “hiding” “STOP” Bộ phânloại Bộ phânloại Bộ phânloại Bộ phânloại Bộ phânloại h1 h2 h3 h4 h5 h0 h1 h2 h3 h4 CNN “START” “The” “dog” “is” “hiding” 11
Dịch máy https://translate.google.com/ 12
Dịch máy • Nhiều đầu vào – nhiều đầu ra (hay còn gọi là sequence to sequence) “Matches” “Nature” “is” “Correspondances” “La” “nature” 13
Tổng hợp các loại dự đoán Phân Sinh mô Phân Phân loại Dịch máy video lớp tả ảnh loại sắc mức ảnh thái câu frame 14
Mạng hồi quy thông thường 15
Mạng hồi quy Recurrent Neural Network (RNN) Đầu ra tại thời điểm t yt Bộ phân loại Trạng thái ẩn tại thời điểm t ht Lớp ẩn Dữ liệu vào tại thời xt điểm t 16
Duỗi (unroll) RNN y3 y2 Bộ phânloại y1 h3 Bộ phânloại h3 h2 Lớp ẩn Bộ phânloại h2 h1 h1 Lớp ẩn x3 Lớp ẩn t=3 x2 h0 x1 t=2 t=1 17
RNN thông thường ht W ht-1 xt J. Elman, Finding structure in time, Cognitive science 14(2), pp. 179–211,1990 18
RNN thông thường ht W ht-1 xt 𝜎 𝑎 tanh 𝑎 19 Imagesource
RNN thông thường ht W ht-1 xt 20 Imagesource