Bài 11:
Một số ứng dụng học sâu
trong xử lý ngôn ngữ tự nhiên
(Phần 2)
1
Nội dung
2
1. Bài toán sinh văn bản: Character-RNN
2. Giới thiệu về bài toán dịch máy
3. Mô hình NMT
4. Cơ chế chú ý (attention)
3
Bài toán sinh văn bản:
Character-RNN
Character-RNN
•Từ vựng:
[h, e, l, o]
•Ví dụ huấn
luyện mô
hình với xâu
“hello”
4
Character-RNN
•Từ vựng:
[h, e, l, o]
•Khi suy diễn:
Mỗi lần sinh một ký
tự và ký tự này được
dùng làm đầu vào
cho bước tiếp theo
5