Bài giảng Các kỹ thuật học sâu và ứng dụng: Bài 7 - TS. Nguyễn Vinh Tiệp

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:36

Thêm vào BST

Báo xấu

2
lượt xem 0
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Các kỹ thuật học sâu và ứng dụng - Bài 7: Các biến thể của Recurrent Neural Network tiếp tục khám phá các kiến trúc RNN tiên tiến hơn để giải quyết những hạn chế của mô hình cơ bản. Chuyên đề này trình bày Long Short Term Memory (LSTM), Gated Recurrent Unit (GRU), Bidirectional RNN và Deep-stacked RNN. Nắm vững các biến thể này giúp bạn xử lý hiệu quả các chuỗi dài và phức tạp. Mời các bạn cùng tham khảo bài giảng để biết thêm chi tiết!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Các kỹ thuật học sâu và ứng dụng: Bài 7 - TS. Nguyễn Vinh Tiệp

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN CS431 – CÁC KỸ THUẬT HỌC SÂU VÀ ỨNG DỤNG BÀI 02 Các biến thể của Recurrent Neural Network TS. Nguyễn Vinh Tiệp Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 1
ÔN TẬP y1 y5 Output yt y2 y3 y4 s1 s2 s3 s4 s5 Hidden st x1 x2 x3 x4 x5 Input xt Step 1 Step 2 2
ÔN TẬP 3
NỘI DUNG 1. Long Short Term Memory 2. Gated Recurrent Unit 3. Bidirectional RNN 4. Deep-stacked RNN Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 4
Giới thiệu về LSTM ● Long short term memory (LSTM) là một biến thể của RNN ● Với 4 thành phần chính: cell, input gate, output gate và forget gate ● Cell ghi nhớ các giá trị trong một khoảng thời gian cụ thể ● 3 cổng còn lại điều hướng luồng thông tin vào / ra khỏi Cell 5
Giới thiệu về LSTM ● Mỗi cell trong mạng LSTM xử lý dữ liệu tuần tự ● LSTM thích hợp cho nhiệm vụ phân loại với dữ liệu tuần tự ● LSTM được giới thiệu để giải quyết vấn đề biến mất gradient khi đào tạo vanilla RNN 6
Kiến trúc Cell Src: Guillaume Chevalier 7
Công thức của LSTM Vector đầu vào Forget gate vector Vector cổng đầu vào Vector cổng đầu ra Vectơ đầu ra của mỗi cell Vectơ trạng thái của mỗi trạng thái Weights và bias cần được huấn luyện Giá trị được xem xét tại thời điểm t d và h là số chiều của vectơ đầu vào và đầu ra Init: 8
RNN vs. LSTM 9
Ứng dụng 10
Bài tập - LSTM Bài tập 2: Tính toán h1 với đầu vào: x1 = [2 3 -1] Các thông số của mạng: 11
Bài tập - LSTM Giải pháp: 12
Giải thích công thức Bước 1: Tính toán vector tại forget gate 13
Giải thích công thức Bước 2: Tính toán vector tại cổng đầu vào 14
Giải thích công thức Bước 3: Cập nhật c 15
Giải thích công thức Bước 4: Tính giá trị đầu ra 16
NỘI DUNG 1. Long Short Term Memory 2. Gated Recurrent Unit 3. Bidirectional RNN 4. Deep-stacked RNN Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 17
Gated Recurrent Unit ● Mô hình dựa trên RNN Lần đầu tiên được giới thiệu bởi Kyunghyun Cho và cộng sự Hiệu suất của nó tương đương với LSTM (về các nhiệm vụ mô hình hóa âm nhạc và mô hình hóa tín hiệu giọng nói) Bộ trọng số ít hơn Hiệu suất cao trên tập dữ liệu nhỏ 18
Gated Recurrent Unit Reset gate Update gate 19
Công thức của GRU Công thức của GRU 20