Gradient giảm
(Gradient Descent)
(Tài liệu nội bộ)
Tháng 3 năm 2020
Nội dung trình bày
1Nhắc lại về giải tích nhiều biến
2Thuật toán GD
3Thực hành với python
4Gradient descent ngẫu nhiên
5Mini-Batch GD
Nội dung trình bày
1Nhắc lại về giải tích nhiều biến
Đạo hàm riêng Véc gradient
Định nghĩa:
Hàm số n biến số tập xác định DRn ánh xạ
f:DR
x7→ f(x),x= (x1,x2, ..., xn)(1)
Để cho một hàm n biến, người ta thường viết đơn giản y=f(x),
x= (x1,x2, ..., xn)với miền xác định Dngầm hiểu miền trong Rnsao
cho biểu thức f nghĩa.
Đạo hàm riêng Đạo hàm của f(x)theo biến xi, các biến khác xem như
hằng số, được gọi đạo hàm riêng của ftheo biến xi, được hiệu
f0
xi(x), hay
xif(x)
1 / 21
Đạo hàm riêng Véc gradient
Biểu thức vi phân của hàm hai biến f(x1,x2)(để đơn giản):
Vi phân cấp 1: df(x1,x2) = f0
x1dx1+f0
x2dx2
Vi phân cấp 2: d2f(x1,x2) = f00
x2
1dx12+2f00
x1x2dx1dx2+f00
x2
2dx22
Véc Gradient của hàm nbiến f(x)được định nghĩa
f=f0
x1,f0
x2, ..., f0
xn(2)
2 / 21