ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
1
CS431 – CÁC KỸ THUẬT HỌC SÂU
VÀ ỨNG DỤNG
TS. Nguyễn Vinh Tiệp
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
Bài 06
Recurrent Neural Network
20/10/2023
NỘI DUNG
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 2
1. Mô hình ngôn ngữ (Bài toán trong NLP)
2. Giới thiệu về RNN
1. Các ví dụ thực tiễn
2. Kiến trúc
3. Các vấn đề & hướng giải quyết
1. Vanishing và Exploding Gradients
20/10/2023
Mô hình ngôn ngữ (Language Model)
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
20/10/2023 3
●Language Model là bài toán dự đoán các từ tiếp theo trong
một câu.
●Cho trước (m-1) từ, LM tính toán xác suất để dự đoán từ
thứ m.
Mô hình ngôn ngữ (Language Model)
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
20/10/2023 4
●Language Model tính toán xác suất của một chuỗi từ (chuỗi
ký tự):
●Sử dụng trong nhiều ứng dụng:
●Sắp xếp các từ theo đúng thứ tự
●Sử dụng các từ đúng ngữ pháp (ngữ pháp/cú pháp)
●Sử dụng các từ đúng ngữ nghĩa (ngữ nghĩa)
Mô hình ngôn ngữ (Language Model) - Ứng dụng
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
20/10/2023 5