zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Công Nghệ Thông Tin

» Kỹ thuật lập trình

Bài giảng Các kỹ thuật học sâu và ứng dụng: Bài 2 - TS. Nguyễn Vinh Tiệp

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:34

Báo xấu

1
lượt xem 0
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Các kỹ thuật học sâu và ứng dụng - Bài 2: Mô hình máy học đi sâu vào các mô hình học máy cơ bản, tạo nền tảng cho học sâu. Chuyên đề này bao gồm mô hình hồi quy tuyến tính, hồi quy luận lý, softmax regression và giới thiệu về mạng nơ-ron truyền thống. Nắm vững các mô hình này là yếu tố then chốt để bạn hiểu cách học sâu hoạt động. Mời các bạn cùng tham khảo bài giảng để biết thêm chi tiết!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Các kỹ thuật học sâu và ứng dụng: Bài 2 - TS. Nguyễn Vinh Tiệp

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN CS431 – CÁC KỸ THUẬT HỌC SÂU VÀ ỨNG DỤNG BÀI 02 MÔ HÌNH MÁY HỌC TS. Nguyễn Vinh Tiệp Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 1
NỘI DUNG 1. MÔ HÌNH MÁY HỌC TỔNG QUÁT 2. MÔ HÌNH HỒI QUY TUYẾN TÍNH (LINEAR REGRESSION) 3. MÔ HÌNH HỒI QUY LUẬN LÝ (LOGISTIC REGRESSION) 4. MÔ HÌNH SOFTMAX REGRESSION 5. NEURAL NETWORK Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 2
Mô hình học tổng quát Mô hình Dữ liệu 𝑥 máy học dự đoán 𝑦෤ ≈ dữ liệu thực 𝑦 𝑓𝜃 (𝑥) ℒ(𝜃; 𝑥, 𝑦) 3
Mô hình học tổng quát Mô hình Data 𝑥 máy học dự đoán 𝑦෤ ≈ dữ liệu thực 𝑦 𝑓𝜃 (𝑥) ℒ(𝜃; 𝑥, 𝑦) • Huấn luyện mô hình từ tập dữ liệu huấn luyện 𝑥𝑖 , 𝑦𝑖 𝑖=1..𝑛 • Hãy tìm tham số 𝜃 của mô hình 𝑓 để 𝑦෤ ≈ 𝑦 • Hãy tìm tham số 𝜃 để hàm độ lỗi ℒ(𝜃; 𝑥, 𝑦) nhỏ nhất 4
Mô hình học tổng quát Mô hình Data 𝑥 máy học dự đoán 𝑦෤ ≈ dữ liệu thực 𝑦 𝑓𝜃 (𝑥) ℒ(𝜃; 𝑥, 𝑦) argmin ℒ(𝜃; 𝑥, 𝑦) 𝜃 𝑛 ≅ argmin ෍ D 𝑦෤𝑖 , 𝑦𝑖 𝜃 𝑖=1 𝑛 = argmin ෍ D 𝑓𝜃 (𝑥𝑖 ), 𝑦𝑖 𝜃 𝑖=1 5
Thuật toán Gradient Descent Mô hình Data 𝑥 máy học dự đoán 𝑦෤ ≈ dữ liệu thực 𝑦 𝑓𝜃 (𝑥) ℒ(𝜃; 𝑥, 𝑦) 𝛿ℒ • Tính đạo hàm riêng 𝛿𝜃 • Khởi tạo: 𝜃 ← 𝜃0 , hằng số 𝛼 > 0 và 𝜀 > 0 đủ nhỏ • Lặp: 𝛿ℒ(𝜃) • Cập nhật 𝜃 ← 𝜃 − 𝛼 𝛿𝜃 𝛿ℒ(𝜃) • Nếu < 𝜀: dừng lặp 𝛿𝜃 • 𝜃 là tham số để ℒ đạt cực tiểu 6
NỘI DUNG 1. MÔ HÌNH MÁY HỌC TỔNG QUÁT 2. MÔ HÌNH HỒI QUY TUYẾN TÍNH (LINEAR REGRESSION) 3. MÔ HÌNH HỒI QUY LUẬN LÝ (LOGISTIC REGRESSION) 4. MÔ HÌNH SOFTMAX REGRESSION 5. NEURAL NETWORK Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 7
Mô hình Linear Regression Mô hình Data 𝑥 máy học dự đoán 𝑦෤ ≈ dữ liệu thực 𝑦 𝑓𝜃 (𝑥) ℒ(𝜃; 𝑥, 𝑦) 𝑦 Chọn 𝑓𝜃 𝑥𝑖 = 𝜃1 𝑥𝑖 + 𝜃0 , khi đó ta cần tìm: 𝑛 𝑛 1 agrmin ෍ D 𝑓𝜃 (𝑥𝑖 ), 𝑦𝑖 ≅ agrmin ෍ 𝜃1 𝑥𝑖 + 𝜃0 − 𝑦𝑖 2 𝜃 𝜃1 ,𝜃0 2𝑛 𝑖=1 𝑖=1 𝛿ℒ 𝛿ℒ Cần tính và 𝛿𝜃1 𝛿𝜃0 𝑥 8
Mô hình Linear Regression 𝑛 1 ℒ 𝜃0 , 𝜃1 ≅ ෍ 𝜃1 𝑥𝑖 + 𝜃0 − 𝑦𝑖 2 2𝑛 𝑖=1 𝑛 𝛿ℒ 𝛿ℒ 1 • Tính đạo hàm riêng = ෍ 𝜃1 𝑥𝑖 + 𝜃0 − 𝑦𝑖 𝛿𝜃 𝛿𝜃0 𝑛 𝑖=1 • Khởi tạo: 𝜃0 , 𝜃1 ngẫu nhiên, 𝛼, 𝜀 > 0 đủ nhỏ • Lặp: 𝛿ℒ 𝑛 • 𝜃0 ← 𝜃0 − 𝛼 𝛿ℒ 1 𝛿𝜃0 𝛿ℒ = ෍ 𝜃1 𝑥𝑖 + 𝜃0 − 𝑦𝑖 𝑥𝑖 • 𝜃1 ← 𝜃1 − 𝛼 𝛿𝜃1 𝑛 𝛿ℒ 𝛿𝜃1 𝛿ℒ 𝑖=1 • Nếu 𝛿𝜃 < 𝜀 và 𝛿𝜃 < 𝜀: dừng lặp 0 1 • 𝜃 là tham số để ℒ đạt cực tiểu 9
Vector hóa công thức 𝜃0 1 1 1 1 … 𝑦𝑛 Đặt 𝛉 = , 𝐱ത = ,𝑋= … , 𝑌 = 𝑦1 𝑦2 𝜃1 𝑥 𝑥1 𝑥2 𝑥𝑛 𝑓𝛉 𝑥 = 𝛉𝑇 𝐱ത 𝑛 𝛿ℒ 1 1 𝑇 = ෍ 𝜃1 𝑥𝑖 + 𝜃0 − 𝑦𝑖 = (𝛉 𝑋 − 𝑌)𝑇 𝛿𝜃0 𝑛 𝑛 𝑖=1 𝑛 𝛿ℒ 1 1 = ෍ 𝜃1 𝑥𝑖 + 𝜃0 − 𝑦𝑖 𝑥𝑖 = (𝛉𝑇 𝑋 − 𝑌)𝑇 𝛿𝜃1 𝑛 𝑛 𝑖=1 10
Mô hình Linear Regression đa biến Dữ liệu đầu vào được ký hiệu: 𝐱 (𝑖) ∈ ℝ𝑚 , dữ liệu đầu ra 𝑦 (𝑖) ∈ ℝ, khi đó: 𝑛 1 2 ℒ 𝜃0 , 𝛉1 ≅ ෍ 𝛉1𝑇 𝐱 (𝑖) + 𝜃0 − 𝑦 (𝑖) 2𝑛 𝑖=1 𝑛 𝛿ℒ 𝛿ℒ 1 • Tính đạo hàm riêng 𝛿𝜃 = ෍ 𝛉1𝑇 𝐱 (𝑖) + 𝜃0 − 𝑦 (𝑖) • Khởi tạo: 𝜃0 , 𝛉1 ngẫu nhiên, 𝛼, 𝜀 > 0 đủ nhỏ 𝛿𝜃0 𝑛 𝑖=1 • Lặp: 𝛿ℒ 𝑛 • 𝜃0 ← 𝜃0 − 𝛼 𝛿𝜃0 𝛿ℒ 1 (𝑖) • 𝜃1,𝑘 ← 𝜃1 − 𝛼 𝛿ℒ , với 𝑘 = 1. . 𝑚 = ෍ 𝛉1𝑇 𝐱 (𝑖) + 𝜃0 − 𝑦 (𝑖) 𝑥𝑘 𝛿𝜃1,𝑘 𝛿𝜃1,𝑘 𝑛 𝛿ℒ 𝛿ℒ 𝑖=1 • Nếu 𝛿𝜃 < 𝜀 và 𝛿𝜃 < 𝜀: dừng lặp 0 1,𝑘 • 𝜃0 , 𝛉1 là tham số để ℒ đạt cực tiểu 11
Vector hóa công thức 𝜃0 1 1 1 Đặt 𝛉 = , 𝑋 = (1) … , 𝑌 = 𝑦 (1) 𝑦 (2) … 𝑦 (𝑛) 𝛉1 𝐱 𝐱 (2) 𝐱 (𝑛) 𝑛 𝛿ℒ 1 = ෍ 𝛉1𝑇 𝐱 (𝑖) + 𝜃0 − 𝑦 (𝑖) 𝛿𝜃0 𝑛 𝑖=1 𝑛 𝛿ℒ 1 (𝑖) = ෍ 𝛉1𝑇 𝐱 (𝑖) + 𝜃0 − 𝑦 (𝑖) 𝑥𝑘 𝛿𝜃1,𝑘 𝑛 𝑖=1 12
Dạng đồ thị của Linear Reg. 1 1 𝜃0 𝑥1 𝑥1 𝜃1 Với 𝐱 = 𝑥2 𝚺 𝑦෤ = 𝑓𝛉 𝐱 = 𝛉𝑇 𝐱 ⋮ 𝑥2 𝜃2 𝑥𝑚 𝜃𝑚 ⋮ 𝑥𝑚 13
NỘI DUNG 1. MÔ HÌNH MÁY HỌC TỔNG QUÁT 2. MÔ HÌNH HỒI QUY TUYẾN TÍNH (LINEAR REGRESSION) 3. MÔ HÌNH HỒI QUY LUẬN LÝ (LOGISTIC REGRESSION) 4. MÔ HÌNH SOFTMAX REGRESSION 5. NEURAL NETWORK Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 14
Mô hình Logistic Regression Mô hình Data 𝐱 máy học dự đoán 𝑦෤ ≈ dữ liệu thực 𝑦 𝑓𝜃 (𝑥) 𝑛 ℒ(𝜃; 𝑥, 𝑦) agrmin ෍ D 𝑓𝛉 (𝐱 (𝑖) ), 𝑦 (𝑖) 𝛉 𝑖=1𝑛 𝑥2 ≅ agrmin ෍(𝑓𝛉 𝐱 (𝑖) − 𝑦 (𝑖) )2 𝛉 𝑖=1 𝑥1 15
Mô hình Logistic Regression Mô hình Data 𝐱 máy học dự đoán 𝑦෤ ≈ dữ liệu thực 𝑦 𝑓𝜃 (𝑥) 𝑛 ℒ(𝜃; 𝑥, 𝑦) agrmin ෍ D 𝑓𝛉 (𝐱 (𝑖) ), 𝑦 (𝑖) 𝛉 𝑖=1 𝑛 ≅ agrmin − ෍ 𝑦 (𝑖) log 𝑓𝛉 (𝐱 (𝑖) ) + (1 − 𝑦 (𝑖) ) log(1 − 𝑓𝛉 (𝐱 (𝑖) )) 𝑥2 𝛉 𝑖=1 1 Với 𝑓𝛉 (𝐱)= 𝑇 1+𝑒 −(θ 𝐱ത) 𝑥1 16
Mô hình Logistic Regression 𝑛 𝑛 𝛿ℒ 𝛿 𝛉𝑇 𝐱ത (𝑖) 𝛿(𝛉𝑇 ത (𝑖) 𝐱 ) = −𝑦 (𝑖) ෍ 1 − 𝜎 𝛉𝑇 𝐱ത (𝑖) + (1 − 𝑦 (𝑖) ) ෍ 𝜎(𝛉𝑇 𝐱ത (𝑖) ) 𝛿𝜃𝑘 𝛿𝜃𝑘 𝛿𝜃𝑘 𝑖=1 𝑖=1 𝑛 𝑇𝐱 (𝑖) 𝑛 𝑇𝐱 (𝑖) ) 𝛿 𝛉 ത 𝛿(𝛉 ത = − ෍ 𝑦 (𝑖) + ෍ 𝜎(𝛉𝑇 𝐱ത (𝑖) ) 𝛿𝜃𝑘 𝛿𝜃𝑘 𝑖=1 𝑖=1 𝑛 𝑛 𝛿(𝛉𝑇 𝐱ത (𝑖) ) (𝑖) = ෍(𝜎 𝛉𝑇 𝐱ത (𝑖) (𝑖) −𝑦 ) = ෍(𝜎 𝛉𝑇 𝐱ത (𝑖) − 𝑦 (𝑖) )𝑥ҧ𝑘 𝛿𝜃𝑘 𝑖=1 𝑖=1 17
Dạng đồ thị của Logistic Reg. 1 𝑥1 1 Với 𝐱ത = 𝑥2 và 𝜎 𝑥 = 1+𝑒 −𝑥 ⋮ 𝑥𝑚 1 𝜃0 𝑥1 𝜃1 𝚺 𝝈 𝑦෤ = 𝑓𝛉 𝐱 = 𝜎(𝛉𝑇 𝐱ത) 𝑥2 𝜃2 ⋮ 𝜃𝑚 𝑥𝑚 18
NỘI DUNG 1. MÔ HÌNH MÁY HỌC TỔNG QUÁT 2. MÔ HÌNH HỒI QUY TUYẾN TÍNH (LINEAR REGRESSION) 3. MÔ HÌNH HỒI QUY LUẬN LÝ (LOGISTIC REGRESSION) 4. MÔ HÌNH SOFTMAX REGRESSION 5. NEURAL NETWORK Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 19
Phân loại đa lớp Dữ liệu đầu ra có nhiều hơn 2 lớp: 𝐾 > 2 y= y= { , } 0 0 0 1 1 1 1 nhãn duy đa nhãn nhất (multi-label) (single label) 20

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright ©2025 TaiLieu.VN. All rights reserved.