zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Công Nghệ Thông Tin

» Cơ sở dữ liệu

Bài giảng Học sâu và ứng dụng - Bài 4: Huấn luyện mạng nơ-ron (Phần 1)

Chia sẻ: Dương Hoàng Lạc Nhi | Ngày: | Loại File: PDF | Số trang:46

Báo xấu

26
lượt xem 7
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Học sâu và ứng dụng - Bài 4: Huấn luyện mạng nơ-ron (Phần 1). Bài này cung cấp cho học viên những nội dung về: hàm kích hoạt; tiền xử lý dữ liệu; khởi tạo trọng số; các kỹ thuật chuẩn hóa;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Học sâu và ứng dụng - Bài 4: Huấn luyện mạng nơ-ron (Phần 1)

1
Bài 4: Huấn luyện mạng nơ-ron (Phần 1) 2
Nội dung • Hàm kích hoạt • Tiền xử lý dữ liệu • Khởi tạo trọng số • Các kỹ thuật chuẩn hóa 3
Hàm kích hoạt 4
Hàm kích hoạt 5
Hàm kích hoạt • Nhận giá trị trong khoảng [0,1] • Được dùng phổ biến trong lịch sử mạng nơ- ron do chúng mô phỏng tốt tỉ lệ bắn xung (firing rate) của nơ-ron • Có 3 nhược điểm: - Nơ-ron bão hòa triệt tiêu gradient 6
Hàm kích hoạt • Điều gì sẽ xảy ra khi x = -10? • Điều gì sẽ xảy ra khi x = 0? • Điều gì sẽ xảy ra khi x = 10? 7
Hàm kích hoạt • Nhận giá trị trong khoảng [0,1] • Được dùng phổ biến trong lịch sử mạng nơ- ron do chúng mô phỏng tốt tỉ lệ bắn xung (firing rate) của nơ-ron • Có 3 nhược điểm: - Nơ-ron bão hòa triệt tiêu gradient - Trung bình đầu ra khác 0 8
Hàm kích hoạt • Điều gì xảy ra nếu tất cả đầu vào xi của nơ-ron đều dương? • Khi đó gradient của hàm mục tiêu đối với w sẽ ra sao? • Tất cả các phần tử của w đều cùng dấu với f’(w), tức là cùng âm hoặc cùng dương • Khi đó gradient chỉ có thể hướng theo một số chiều nhất định trong không gian tìm kiếm 9
Hàm kích hoạt • Nhận giá trị trong khoảng [0,1] • Được dùng phổ biến trong lịch sử mạng nơ- ron do chúng mô phỏng tốt tỉ lệ bắn xung (firing rate) của nơ-ron • Có 3 nhược điểm: - Nơ-ron bão hòa triệt tiêu gradient - Trung bình đầu ra khác 0 - Tính toán hàm mũ exp() tốn kém 10
Hàm kích hoạt • Nhận giá trị trong khoảng [-1,1] • Trung bình đầu ra bằng 0 - Vẫn bị hiện tượng bão hòa, triệt tiêu gradient 11
Hàm kích hoạt • Không bị bão hòa trong vùng dương • Tính toán hiệu quả • Trong thực tế hội tụ nhanh hơn sigmoid/tanh (khoảng 6 lần) - Đầu ra trung bình khác 0 - Và một vấn đề nữa… 12
Hàm kích hoạt • Điều gì sẽ xảy ra khi x = -10? • Điều gì sẽ xảy ra khi x = 0? • Điều gì sẽ xảy ra khi x = 10? 13
Hàm kích hoạt • ReLU bị “văng” ra khỏi tập dữ liệu dẫn tới đầu ra luôn âm và không bao giờ được cập nhật trọng số nữa è ReLU chết • Thường khởi tạo nơ-ron ReLU với bias dương bé (ví dụ 0.01) 14
Hàm kích hoạt • Không bị bão hòa trong vùng dương • Tính toán hiệu quả • Trong thực tế hội tụ nhanh hơn sigmoid/tanh (khoảng 6 lần) • Không bao giờ “chết” 15
Hàm kích hoạt • Không bị bão hòa trong vùng dương • Tính toán hiệu quả • Trong thực tế hội tụ nhanh hơn sigmoid/tanh (khoảng 6 lần) • Không bao giờ “chết” 16
Hàm kích hoạt ELU • Có tất cả ưu điểm của ReLU • Trung bình đầu ra gần 0 hơn • Không “chết” • Tính toán lâu do có hàm exp() 17
Hàm kích hoạt Maxout • Tổng quát hóa của ReLU và Leaky ReLU • Tính toán tuyến tính • Không bão hòa • Không chết • Gấp đôi số tham số mỗi nơ-ron 18
Hàm kích hoạt • Trong thực tế: - Thường dùng ReLU. Cẩn thận với tốc độ học để tránh ReLU bị chết. - Có thể thử Leaky ReLU / Maxout / ELU - Có thể thử tanh nhưng không kỳ vọng nhiều - Không dùng sigmoid • Gần đây xuất hiện một số hàm kích hoạt mới: - ReLU6 = min(6, ReLU(x)) - Swish - Mish 19
Tiền xử lý dữ liệu 20

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.