Bài giảng Học sâu và ứng dụng: Bài 1 - ĐH Bách khoa Hà Nội

Chia sẻ: Khánh Thành | Ngày: | Loại File: PDF | Số trang:34

Thêm vào BST

Báo xấu

34
lượt xem 7
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Học sâu và ứng dụng: Bài 1 Giới thiệu về học sâu, cung cấp cho người học những kiến thức như: Thế nào là học sâu; Tại sao cần học sâu; Tại sao giờ mới bùng nổ học sâu; Học máy có giám sát; Hiện tượng overfit và underfit;...Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Học sâu và ứng dụng: Bài 1 - ĐH Bách khoa Hà Nội

1
Học sâu và ứng dụng (IT4653) Bài 1: Giới thiệu về học sâu 2
Thế nào là học sâu? • Là phương pháp học máy sử dụng mạng nơ-ron nhân tạo để trích xuất đặc trưng tự động từ dữ liệu 3
Tại sao cần học sâu? • Phương pháp học máy truyền thống đòi hỏi trích xuất đặc trưng một cách thủ công, đòi hỏi kinh nghiệm và phụ thuộc từng bài toán cụ thể • Học sâu cho phép trích chọn đặc trưng tự động từ dữ liệu 4
Tại sao giờ mới bùng nổ học sâu? 5
Học máy có giám sát 6
Tập huấn luyện và tập kiểm tra Data acquisition Practical usage Universal set (unobserved) Training set Testing set (observed) (unobserved) 7
Hiện tượng overfit và underfit • Underfitting: mô hình quá “đơn giản” để biểu diễn các tính chất của dữ liệu • Bias cao và variance thấp • Sai số cao trên tập huấn luyện và tập kiểm tra • Overfitting: mô hình quá “phức tạp” dẫn tới học cả nhiễu trong dữ liệu • Bias thấp và variance cao • Sai số thấp trên tập huấn luyện và sai số cao trên tập kiểm tra 8 Adapted from L. Lazebnik
Minh họa Bias-Variance 9
Phân lớp tuyến tính 10
Phân lớp tuyến tính 11
Phân lớp tuyến tính: 3 góc nhìn 12
Hàm mục tiêu 13
Hàm mục tiêu 14
Hiệu chỉnh 15
Bộ phân loại softmax 16
Hồi quy tuyến tính ¡ 𝑓 𝑥; 𝑤 = 𝑤! + ∑% 𝑤 𝑥 "#$ " " = 𝑤 & 𝑥′ 17
Hồi quy tuyến tính • Nên chọn hàm mục tiêu nào? • Mỗi 𝑦 ! là một số thực • Bình phương tối thiểu là một lựa chọn tốt J ' 1 " ( 𝐽 𝑤; 𝐗, 𝐘 = / 𝑓 𝑥 " ; 𝑤 − 𝑦 𝑁 "#$ $ ' ! ( = ∑"#$ 𝑤 & 𝑥 " −𝑦 " ' $ & 𝐗′ − 𝐘 & = ' 𝑤 𝑤 &𝐗) − 𝐘 18
Tối ưu hàm mục tiêu 19
Gradient Descent 20