Gradient giảm
(Gradient Descent)
(Tài liệu nội bộ)
Tháng 3 năm 2020
Nội dung trình bày
1Nhắc lại về giải tích nhiều biến
2Thuật toán GD
3Thực hành với python
4Gradient descent ngẫu nhiên
5Mini-Batch GD
Nội dung trình bày
1Nhắc lại về giải tích nhiều biến
Đạo hàm riêng và Véc tơ gradient
•Định nghĩa:
Hàm số n biến số có tập xác định D⊂Rnlà ánh xạ
f:D→R
x7→ f(x),x= (x1,x2, ..., xn)(1)
Để cho một hàm n biến, người ta thường viết đơn giản là y=f(x),
x= (x1,x2, ..., xn)với miền xác định Dngầm hiểu là miền trong Rnsao
cho biểu thức fcó nghĩa.
•Đạo hàm riêng Đạo hàm của f(x)theo biến xi, các biến khác xem như
hằng số, được gọi là đạo hàm riêng của ftheo biến xi, và được ký hiệu là
f0
xi(x), hay ∂
∂xif(x)
1 / 21
Đạo hàm riêng và Véc tơ gradient
•Biểu thức vi phân của hàm hai biến f(x1,x2)(để đơn giản):
Vi phân cấp 1: df(x1,x2) = f0
x1dx1+f0
x2dx2
Vi phân cấp 2: d2f(x1,x2) = f00
x2
1dx12+2f00
x1x2dx1dx2+f00
x2
2dx22
•Véc tơ Gradient của hàm nbiến f(x)được định nghĩa là
∇f=f0
x1,f0
x2, ..., f0
xn(2)
2 / 21