Bài giảng Các kỹ thuật học sâu và ứng dụng: Bài 7 - TS. Nguyễn Vinh Tiệp

Tài liệu này giới thiệu về các biến thể của mạng nơ-ron hồi quy (RNN), một kiến trúc mạng nơ-ron sâu được sử dụng rộng rãi trong các bài toán xử lý chuỗi tuần tự. Tài liệu tập trung vào các kiến trúc nâng cao như Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), Bidirectional RNN và Deep-stacked RNN. Mục tiêu là cung cấp cho người đọc cái nhìn tổng quan về các kiến trúc này và cách chúng giải quyết các vấn đề khác nhau trong xử lý chuỗi.

Sinh viên, nhà nghiên cứu trong lĩnh vực học sâu và xử lý ngôn ngữ tự nhiên.

Tài liệu này trình bày chi tiết về các biến thể của mạng nơ-ron hồi quy (RNN), bao gồm Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), Bidirectional RNN và Deep-stacked RNN. LSTM được giới thiệu như một giải pháp cho vấn đề biến mất gradient trong quá trình đào tạo RNN truyền thống, với cấu trúc cell phức tạp bao gồm các cổng (gate) để kiểm soát luồng thông tin. GRU được trình bày như một kiến trúc đơn giản hơn LSTM nhưng vẫn đạt hiệu suất tương đương trong nhiều bài toán. Bidirectional RNN được giới thiệu để xử lý các chuỗi mà ngữ cảnh từ cả hai hướng là quan trọng. Cuối cùng, Deep-stacked RNN được trình bày như một cách để tăng khả năng biểu diễn của mạng bằng cách xếp chồng nhiều lớp RNN lên nhau. Tài liệu cũng cung cấp các bài tập và ví dụ minh họa để giúp người đọc hiểu rõ hơn về các kiến trúc này.