intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE
 » 
 » 

Bài giảng Các kỹ thuật học sâu và ứng dụng: Bài 6 - TS. Nguyễn Vinh Tiệp

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:37

Thêm vào BST
Báo xấu
1
lượt xem 0
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Các kỹ thuật học sâu và ứng dụng - Bài 6: Recurrent Neural Network giới thiệu về mạng nơ-ron hồi quy (RNN), một kiến trúc mạnh mẽ cho dữ liệu trình tự. Chuyên đề này phân tích mô hình ngôn ngữ và các bài toán trong NLP, đồng thời đi sâu vào giới thiệu về RNN cùng những vấn đề và hướng giải quyết thường gặp. Đây là kiến thức cốt lõi để xử lý các chuỗi dữ liệu. Mời các bạn cùng tham khảo bài giảng để biết thêm chi tiết!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Các kỹ thuật học sâu và ứng dụng: Bài 6 - TS. Nguyễn Vinh Tiệp

  1. ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN CS431 – CÁC KỸ THUẬT HỌC SÂU VÀ ỨNG DỤNG Bài 06 Recurrent Neural Network TS. Nguyễn Vinh Tiệp Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 20/10/2023 1
  2. NỘI DUNG 1. Mô hình ngôn ngữ (Bài toán trong NLP) 2. Giới thiệu về RNN 1. Các ví dụ thực tiễn 2. Kiến trúc 3. Các vấn đề & hướng giải quyết 1. Vanishing và Exploding Gradients 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 2
  3. Mô hình ngôn ngữ (Language Model) ● Language Model là bài toán dự đoán các từ tiếp theo trong một câu. ● Cho trước (m-1) từ, LM tính toán xác suất để dự đoán từ thứ m. 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 3
  4. Mô hình ngôn ngữ (Language Model) ● Language Model tính toán xác suất của một chuỗi từ (chuỗi ký tự): ● Sử dụng trong nhiều ứng dụng: ● Sắp xếp các từ theo đúng thứ tự ● Sử dụng các từ đúng ngữ pháp (ngữ pháp/cú pháp) ● Sử dụng các từ đúng ngữ nghĩa (ngữ nghĩa) 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 4
  5. Mô hình ngôn ngữ (Language Model) - Ứng dụng 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 5
  6. Mô hình ngôn ngữ (Language Model) - Ứng dụng 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 6
  7. Mô hình ngôn ngữ (Language Model) ● Sử dụng xác suất có điều kiện và giả định Markov : ● Việc ước tính các xác suất trên dựa vào phương pháp thống kê (đếm) trên tập dữ liệu văn bản: 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 7
  8. Mô hình ngôn ngữ (Language Model) Vấn đề nào sau đây nên sử dụng Mô hình ngôn ngữ? Nhận dạng giọng nói Dịch máy Phân tích tình cảm Tóm tắt văn bản Diễn giải Nhận dạng đối tượng được đặt tên riêng Phân tích cú pháp 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 8
  9. NỘI DUNG 1. Mô hình ngôn ngữ (Bài toán trong NLP) 2. Giới thiệu về RNN 1. Các ví dụ thực tiễn 2. Kiến trúc 3. Các vấn đề & hướng giải quyết 1. Vanishing và Exploding Gradients 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 9
  10. Recurrent Neural Network (RNN) Neural Network: Xử lý đầu vào đồng thời. Recurrent Neural Network (RNN): Xử lý đầu vào tuần tự. RNN phù hợp với dữ liệu dạng chuỗi: ● Văn bản ● Âm thanh ● Video ● Chứng khoán ● EEG (điện não đồ) 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 10
  11. Recurrent Neural Network (RNN) Ví dụ thực tế - Nhận diện các đối tượng tên riêng Lample et al., Neural Architectures for Named Entity Recognition, NAACL 2016. 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 11
  12. Recurrent Neural Network (RNN) Ví dụ thực tế - Dịch máy https://research.googleblog.co m/2016/09/a-neural-network- for-machine.html 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 12
  13. Recurrent Neural Network (RNN) Ví dụ thực tế - Phân tích cảm xúc 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 13
  14. Recurrent Neural Network (RNN) Ví dụ thực tế - LSTM and Seq2Seq 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 14
  15. Recurrent Neural Network (RNN) Kiến trúc 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 15
  16. Recurrent Neural Network (RNN) Kiến trúc - Input: x - Hidden state: h or s - Output: o or - Model parameters: U, V, W 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 16
  17. Recurrent Neural Network (RNN) Kiến trúc 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 17
  18. Recurrent Neural Network (RNN) Kiến trúc Cho các tham số như sau: Tìm kích thuớc của các ma trận: U, V, W 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 18
  19. Recurrent Neural Network (RNN) Kiến trúc ● Với từng bước t, hàm chi phí sẽ được tính toán như sau: ● Với tất cả bước T, ta có: 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 19
  20. Recurrent Neural Network (RNN) Kiến trúc 20/10/2023 Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 20
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN
TRỢ GIÚP
HỖ TRỢ KHÁCH HÀNG
Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright ©2025 TaiLieu.VN. All rights reserved.

 

Đồng bộ tài khoản
102=>0