Gradient descent

Bài viết "Sự hội tụ của hàm lồi mạnh và hàm trơn" tìm hiểu các hàm trơn, hàm lồi, hàm lồi mạnh và các tính chất của chúng. Sau đó, chứng minh các bước lặp của thuật toán Gradient Descent là hội tụ sau một số vòng lặp...

7p kimphuong23 17-07-2023 11 3   Download

Thực hành Toán cao cấp - Chương 6: Hàm số, dãy và một số ứng dụng. Chương này cung cấp cho học viên những nội dung về: giới thiệu lập trình đệ quy trong Python; dãy số (sequence) đệ quy; revisit: phương pháp Gradient Ascent/Descent;... Mời các bạn cùng tham khảo!

21p gianghavan18 18-08-2022 22 2   Download

Bài giảng "Máy học nâng cao: Linear regression" cung cấp cho người học các kiến thức: Khái niệm hồi qui tuyến tính, hồi qui tuyến tính đơn biến, hồi qui tuyến tính đa biến, linear regression dùng gradient descent,... Mời các bạn cùng tham khảo.

64p abcxyz123_08 11-04-2020 28 4   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 5: Gradient descent" cung cấp cho người học các kiến thức: Gradient descent, gradient descent interpretation, fixed step size, backtracking line search,... Mời các bạn cùng tham khảo.

31p abcxyz123_08 11-04-2020 49 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 6: Subgradients" cung cấp cho người học các kiến thức: Last time - gradient descent, subgradients, examples of subgradients, monotonicity, examples of non-subdifferentiable functions,... Mời các bạn cùng tham khảo.

36p abcxyz123_08 11-04-2020 46 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 7: Subgradient method" cung cấp cho người học các kiến thức: Last last time - gradient descent, subgradient method, step size choices, convergence analysis, lipschitz continuity, convergence analysis - Proof,... Mời các bạn cùng tham khảo.

34p abcxyz123_08 11-04-2020 27 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 8: Proximal gradient descent (and acceleration)" cung cấp cho người học các kiến thức: Subgradient method, decomposable functions, proximal mapping, proximal gradient descent,.... Mời các bạn cùng tham khảo.

50p abcxyz123_08 11-04-2020 24 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 9: Stochastic gradient descent" cung cấp cho người học các kiến thức: Proximal gradient descent, stochastic gradient descent, convergence rates, early stopping, mini-batches. Mời các bạn cùng tham khảo.

24p abcxyz123_08 11-04-2020 53 3   Download

Bài giảng Khai phá dữ liệu (Data mining): Linear regression, chương này trình bày những nội dung về: khái niệm hồi qui tuyến tính (linear regression); hồi qui tuyến tính đơn biến; hồi qui tuyến tính đa biến; phương pháp ước lượng tham số; các mở rộng; linear regression dùng gradient descent;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

64p diepkhinhchau 18-09-2023 34 5   Download

Bài giảng Trí tuệ nhân tạo (Artificial intelligence) - Chương 6.2: Học máy. Chương này cung cấp cho sinh viên những nội dung gồm: học cây quyết định; phép biểu diễn dựa trên thuộc tính; cây quyết định; mạng nơron; biểu diễn mạng nơron; luật huấn luyện Perceptron;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

53p codabach1016 03-05-2024 14 5   Download

Tuyển tập báo cáo các nghiên cứu khoa học quốc tế ngành hóa học dành cho các bạn yêu hóa học tham khảo đề tài: A Neural Network MLSE Receiver Based on Natural Gradient Descent: Application to Satellite Communications Mohamed Ibnkahla

12p sting12 11-03-2012 48 7   Download

EURASIP Journal on Applied Signal Processing 2003:12, 1229–1237 c 2003 Hindawi Publishing Corporation Nonlinear System Identification Using Neural Networks Trained with Natural Gradient Descent Mohamed Ibnkahla Electrical and Computer Engineering Department, Queen’s University, Kingston, Ontario, Canada K7L 3N6 Email: mohamed.ibnkahla@ece.queensu.ca Received 13 December 2002 and in revised form 17 May 2003 We use natural gradient (NG) learning neural networks (NNs) for modeling and identifying nonlinear systems with memory.

9p sting12 10-03-2012 45 6   Download

descent with momentum Traingdx : Adaptive learning rate Trainrp : Resilient backpropagation Traincgf : Fletcher-Reeves conjugate gradient Traincgp : Polak-Ribiere conjugate gradient... 

12p ngochaigl 25-06-2011 377 67   Download

Data-Reusing Adaptive Learning Algorithms In this chapter, a class of data-reusing learning algorithms for recurrent neural networks is analysed. This is achieved starting from a case of feedforward neurons, through to the case of networks with feedback, trained with gradient descent learning algorithms. It is shown that the class of data-reusing algorithms outperforms the standard (a priori ) algorithms for nonlinear adaptive filtering in terms of the instantaneous prediction error.

14p doroxon 12-08-2010 103 10   Download