Link xem tivi trực tuyến nhanh nhất xem tivi trực tuyến nhanh nhất xem phim mới 2023 hay nhất xem phim chiếu rạp mới nhất phim chiếu rạp mới xem phim chiếu rạp xem phim lẻ hay 2022, 2023 xem phim lẻ hay xem phim hay nhất trang xem phim hay xem phim hay nhất phim mới hay xem phim mới link phim mới

Link xem tivi trực tuyến nhanh nhất xem tivi trực tuyến nhanh nhất xem phim mới 2023 hay nhất xem phim chiếu rạp mới nhất phim chiếu rạp mới xem phim chiếu rạp xem phim lẻ hay 2022, 2023 xem phim lẻ hay xem phim hay nhất trang xem phim hay xem phim hay nhất phim mới hay xem phim mới link phim mới

intTypePromotion=1
ADSENSE

Bài giảng Học sâu và ứng dụng - Bài 5: Huấn luyện mạng nơ-ron (Phần 2)

Chia sẻ: Dương Hoàng Lạc Nhi | Ngày: | Loại File: PDF | Số trang:62

6
lượt xem
0
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Học sâu và ứng dụng - Bài 5: Huấn luyện mạng nơ-ron (Phần 2). Bài này cung cấp cho học viên những nội dung về: các giải thuật tối ưu cho mạng nơ-ron; chiến lược thay đổi tốc độ học; một số kỹ thuật chống overfitting; làm giàu dữ liệu (data augmentation); lựa chọn siêu tham số;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

Chủ đề:
Lưu

Nội dung Text: Bài giảng Học sâu và ứng dụng - Bài 5: Huấn luyện mạng nơ-ron (Phần 2)

  1. Bài 5: Huấn luyện mạng nơ-ron (Phần 2) 1
  2. Nội dung • Các giải thuật tối ưu cho mạng nơ-ron • Chiến lược thay đổi tốc độ học • Một số kỹ thuật chống overfitting • Làm giàu dữ liệu (data augmentation) • Lựa chọn siêu tham số • Kỹ thuật kết hợp nhiều mô hình (ensemble) • Kỹ thuật học tái sử dụng (transfer learning) 2
  3. Các giải thuật tối ưu 3
  4. Phương pháp SGD 4
  5. Vấn đề với SGD • Điều gì sẽ xảy ra khi hàm mục tiêu thay đổi nhanh theo một chiều và thay đổi chậm theo chiều khác? • Khi đó SGD sẽ làm việc như thế nào? Hàm mục tiêu có số điều kiện lớn: tỉ lệ giữa giá trị riêng lớn nhất và giá trị riêng nhỏ nhất của ma trận Hessian là lớn. 5
  6. Vấn đề với SGD • Điều gì sẽ xảy ra khi hàm mục tiêu thay đổi nhanh theo một chiều và thay đổi chậm theo chiều khác? • Khi đó SGD sẽ làm việc như thế nào? Thuật toán hội tụ rất chậm, nhảy từ bên này qua bên kia bề mặt hàm mục tiêu Hàm mục tiêu có số điều kiện lớn: tỉ lệ giữa giá trị riêng lớn nhất và giá trị riêng nhỏ nhất của ma trận Hessian là lớn. 6
  7. Vấn đề với SGD • Chuyện gì xảy ra nếu hàm mục tiêu có cực tiểu địa phương hoặc điểm yên ngựa (saddle point)? 7
  8. Vấn đề với SGD • Chuyện gì xảy ra nếu hàm mục tiêu có cực tiểu địa phương hoặc điểm yên ngựa (saddle point)? • Gradient bằng 0, thuật toán SGD bị tắc • Điểm yên ngựa thường xuất hiện với các hàm mục tiêu nhiều biến 8
  9. Vấn đề với SGD • SGD xấp xỉ gradient theo từng lô dữ liệu nên thường rất nhiễu 9
  10. SGD + momentum • Xây dựng đại lượng “vận tốc” bằng trung bình dịch chuyển của gradients • Lực ma sát rho thường bằng 0.9 hoặc 0.99. • Tại thời điểm ban đầu rho có thể thấp hơn do hướng di chuyển chưa rõ ràng, ví dụ rho = 0.5 10
  11. SGD + momentum • SGD + momentum có thể phát biểu theo nhiều cách khác nhau nhưng chúng tương đương nhau và đều đưa ra cùng một dãy x 11
  12. SGD + momentum 12
  13. Nesterov Momentum 13
  14. Nesterov Momentum • Thường người ta muốn tính theo • Đặt và chuyển về 14
  15. AdaGrad • Mỗi trọng số có tốc độ học riêng: “Per-parameter learning rates” hoặc “adaptive learning rates” • Tốc độ học của mỗi trọng số tỉ lệ nghịch với tổng bình phương độ lớn đạo hàm riêng của hàm mục tiêu đối với trọng số đó ở các bước trước 15
  16. AdaGrad • Q1: Điều gì xảy ra với AdaGrad? 16
  17. AdaGrad • Q1: Điều gì xảy ra với AdaGrad? Tốc độ di chuyển theo hướng dốc được hãm dần Tốc độ di chuyển theo hướng thoải được tăng tốc 17
  18. AdaGrad • Q2: Bước di chuyển thay đổi như thế nào khi số vòng lặp tăng dần? 18
  19. AdaGrad • Q2: Bước di chuyển thay đổi như thế nào khi số vòng lặp tăng dần? Tiến tới 0 19
  20. RMSProp 20
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

 

Đồng bộ tài khoản
2=>2