ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
1
CS431 – CÁC KỸ THUẬT HỌC SÂU
VÀ ỨNG DỤNG
TS. Nguyễn Vinh Tiệp
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
Bài 08
Mô hình Sequence-to-Sequence
08/11/2023
NỘI DUNG
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 2
1. Dịch máy (Machine Translation)
2. Mô hình ngôn ngữ điều kiện (Conditional Language
Model)
3. Kiến trúc mô hình mã hóa-giải mã (Encoder-Decoder
Architecture)
08/11/2023
Dịch máy
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
08/11/2023 3
●Đầu vào: Một đoạn văn bản với ngôn ngữ ban đầu
●Đầu ra: Một đoạn văn bản với ngôn ngữ cần dịch sang
●Vấn đề điển hình trong xử lý ngôn ngữ tự nhiên (Understanding và
Generation)
●Nhu cầu dịch văn bản giữa các ngôn ngữ rất lớn
○Google Translate translates >100 billion words every day
○Facebook có hệ thống dịch máy riêng của mình
○eBay sử dụng dịch máy để phát triển thương mại xuyên biên giới
●Các phương pháp Dịch máy hiện tại sử dụng kho dữ liệu ngôn ngữ
song song để huấn luyện
NỘI DUNG
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 4
1. Dịch máy (Machine Translation)
2. Mô hình ngôn ngữ điều kiện (Conditional Language
Model)
3. Kiến trúc mô hình mã hóa-giải mã (Encoder-Decoder
Architecture)
08/11/2023
Mô hình ngôn ngữ điều kiện
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
08/11/2023 5
●Phân phối xác suất có điều kiện trên chuỗi (câu) đầu vào:
●Hàm chi phí cần phải tối ưu (minimize):