Bài giảng Học sâu và ứng dụng: Bài 12 - Mô hình sinh dữ liệu

Bài giảng giới thiệu về mô hình sinh dữ liệu, bao gồm mô hình tự mã hóa Autoencoder và mạng sinh đối kháng GANs. Mục tiêu là làm rõ sự khác biệt giữa dữ liệu thật và dữ liệu được tạo ra bởi các mô hình này, đồng thời phân biệt giữa học giám sát và học không giám sát trong bối cảnh sinh dữ liệu.

Bài giảng này dành cho sinh viên và các nhà nghiên cứu quan tâm đến lĩnh vực học sâu, đặc biệt là các mô hình có khả năng sinh dữ liệu mới. Nó cung cấp kiến thức cơ bản về Autoencoders, Variational Autoencoders và Generative Adversarial Networks, cũng như các ứng dụng và cải tiến của chúng.

Bài giảng này trình bày tổng quan về các mô hình sinh dữ liệu, tập trung vào Autoencoder (AE), Variational Autoencoder (VAE) và Generative Adversarial Networks (GAN).

1. **Tổng quan về Mô hình sinh:**
* Mô hình sinh được giới thiệu như một phương pháp học phân phối dữ liệu, với mục tiêu tạo ra dữ liệu mới tương tự như dữ liệu huấn luyện.
* Ứng dụng của mô hình sinh bao gồm khám phá thông tin ẩn trong dữ liệu, tạo ra dữ liệu đa dạng để giảm thiểu sai lệch, và phát hiện ngoại lệ.

2. **Autoencoder (AE):**
* AE là một mô hình học không giám sát, được sử dụng để học biểu diễn đặc trưng có số chiều thấp hơn từ dữ liệu không nhãn.
* AE bao gồm hai phần: Encoder (mã hóa dữ liệu vào không gian ẩn) và Decoder (tái tạo dữ liệu từ không gian ẩn).
* Số chiều của không gian ẩn ảnh hưởng đến chất lượng tái tạo dữ liệu; không gian ẩn quá nhỏ có thể tạo ra "nút thắt cổ chai".

3. **Variational Autoencoder (VAE):**
* VAE cải tiến AE bằng cách biểu diễn mỗi thuộc tính ẩn như một phân phối xác suất thay vì một giá trị đơn lẻ.
* Quá trình giải mã trong VAE bao gồm việc lấy mẫu ngẫu nhiên từ các phân phối của thuộc tính ẩn.
* VAE sử dụng hàm mục tiêu bao gồm reconstruction loss (để tái tạo dữ liệu) và regularization term (KL divergence, để đảm bảo tính liên tục của không gian ẩn).
* Kỹ thuật tái tham số hóa được sử dụng để cho phép lan truyền ngược qua lớp lấy mẫu.

4. **Generative Adversarial Networks (GANs):**
* GAN bao gồm hai mạng nơ-ron: Generator (tạo dữ liệu giả) và Discriminator (phân biệt dữ liệu thật và giả).
* Generator cố gắng tạo ra dữ liệu giả giống thật nhất để đánh lừa Discriminator, trong khi Discriminator cố gắng phân biệt dữ liệu thật và giả.
* Huấn luyện GAN là một quá trình đối kháng, trong đó hai mạng cùng cải thiện khả năng của mình.

5. **Ứng dụng và Phát triển của GANs:**
* GANs được sử dụng trong nhiều ứng dụng, bao gồm biến đổi ảnh (image-to-image translation) như pix2pix, CycleGAN.
* Các cải tiến của GANs bao gồm progressive growing GANs (tăng dần độ phân giải của ảnh) và style-based generator (điều khiển các đặc trưng của ảnh thông qua các "style" khác nhau).