Gradient descent

Artificial neural network (ANN), a powerful technique, has been used widely over the last decades in many scientific fields including engineering problems. However, the backpropagation algorithm in ANN is based on a gradient descent approach.

15p vibecca 01-10-2024 2 1   Download

This article presents the results of improving an artificial neural network (ANN) to predict the tool wear in high-speed dry turning of SKD11 steel. The original ANN was a backpropagation (BPN) model with the Gradient Descent algorithm (GD).

15p viyoko 01-10-2024 4 1   Download

Bài giảng Trí tuệ nhân tạo (Artificial intelligence) - Chương 6.2: Học máy. Chương này cung cấp cho sinh viên những nội dung gồm: học cây quyết định; phép biểu diễn dựa trên thuộc tính; cây quyết định; mạng nơron; biểu diễn mạng nơron; luật huấn luyện Perceptron;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

53p codabach1016 03-05-2024 11 5   Download

Quyển sách Huấn luyện mạng nơ-ron học sâu được biên soạn bao gồm các lý thuyết về huấn luyện mạng nơ-ron dựa trên giải thuật Gradient Descent và các phương pháp cải tiến của giải thuật Gradient Descent. Các mô hình toán của quá trình huấn luyện được thực thi trên ngôn ngữ Python và thư viện numpy. Trong phần cuối của quyển sách, chúng ta sẽ phát triển một số ứng dụng thực tế áp dụng các mô hình mạng học sâu. Mời các bạn cùng tham khảo phần 2 dưới đây!

65p boghoado026 11-03-2024 7 4   Download

Bài giảng Khai phá dữ liệu (Data mining): Linear regression, chương này trình bày những nội dung về: khái niệm hồi qui tuyến tính (linear regression); hồi qui tuyến tính đơn biến; hồi qui tuyến tính đa biến; phương pháp ước lượng tham số; các mở rộng; linear regression dùng gradient descent;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

64p diepkhinhchau 18-09-2023 9 5   Download

Bài viết "Sự hội tụ của hàm lồi mạnh và hàm trơn" tìm hiểu các hàm trơn, hàm lồi, hàm lồi mạnh và các tính chất của chúng. Sau đó, chứng minh các bước lặp của thuật toán Gradient Descent là hội tụ sau một số vòng lặp...

7p kimphuong23 17-07-2023 11 3   Download

Thực hành Toán cao cấp - Chương 6: Hàm số, dãy và một số ứng dụng. Chương này cung cấp cho học viên những nội dung về: giới thiệu lập trình đệ quy trong Python; dãy số (sequence) đệ quy; revisit: phương pháp Gradient Ascent/Descent;... Mời các bạn cùng tham khảo!

21p gianghavan18 18-08-2022 21 2   Download

Bài viết này đề xuất phương pháp nhận dạng các thông số này bằng thuật toán Gradient Descent thích nghi. Kết quả thu được có thời gian hội tụ và độ chính xác tốt hơn khi so sánh với phương pháp nhận dạng hàm phi tuyến bằng thuật toán Levenberg–Marquardt. Mời các bạn cùng tham khảo!

8p tunelove 12-06-2021 40 2   Download

Trong bài viết này, tác giả sử dụng một phương pháp mới để nhanh chóng tìm kiếm tham số học (learning rate) hợp lý dựa trên ý tưởng của nguyên lý điều khiển luồng và chống tắc nghẽn trong mạng viễn thông nhằm tăng tốc khả năng hội tụ của bài toán so với phương pháp gradient descent thông thường.

8p vidoha2711 10-09-2020 57 3   Download

Bài giảng "Máy học nâng cao: Linear regression" cung cấp cho người học các kiến thức: Khái niệm hồi qui tuyến tính, hồi qui tuyến tính đơn biến, hồi qui tuyến tính đa biến, linear regression dùng gradient descent,... Mời các bạn cùng tham khảo.

64p abcxyz123_08 11-04-2020 23 4   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 5: Gradient descent" cung cấp cho người học các kiến thức: Gradient descent, gradient descent interpretation, fixed step size, backtracking line search,... Mời các bạn cùng tham khảo.

31p abcxyz123_08 11-04-2020 47 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 6: Subgradients" cung cấp cho người học các kiến thức: Last time - gradient descent, subgradients, examples of subgradients, monotonicity, examples of non-subdifferentiable functions,... Mời các bạn cùng tham khảo.

36p abcxyz123_08 11-04-2020 43 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 7: Subgradient method" cung cấp cho người học các kiến thức: Last last time - gradient descent, subgradient method, step size choices, convergence analysis, lipschitz continuity, convergence analysis - Proof,... Mời các bạn cùng tham khảo.

34p abcxyz123_08 11-04-2020 26 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 8: Proximal gradient descent (and acceleration)" cung cấp cho người học các kiến thức: Subgradient method, decomposable functions, proximal mapping, proximal gradient descent,.... Mời các bạn cùng tham khảo.

50p abcxyz123_08 11-04-2020 23 3   Download

Bài giảng "Tối ưu hóa nâng cao - Chương 9: Stochastic gradient descent" cung cấp cho người học các kiến thức: Proximal gradient descent, stochastic gradient descent, convergence rates, early stopping, mini-batches. Mời các bạn cùng tham khảo.

24p abcxyz123_08 11-04-2020 50 3   Download

Bài báo trình bày kết quả nghiên cứu sử dụng lý thuyết mạng nơron kết hợp với mạng mờ-nơron để nhận dạng trực tuyến và điều khiển hệ động học phi tuyến. Mô hình nhận dạng là hệ mờ-nơron được huấn luyện bằng phương pháp gradient descent. Bộ điều khiển PID được thiết kế có cấu trúc dạng một nơron tuyến tính, trong đó ba trọng số kết nối của ba đầu vào nơron tương ứng là bộ ba thông số Kp, Ki và Kd của bộ điều khiển.

7p minhxaminhyeu4 15-07-2019 52 3   Download

Nhận diện chữ số viết tay (Handwritten Digit Recognition) là một kỹ thuật ứngdụng các thuật toán máy học dùng để nhận diện và phân lớp chữ số viết tay dưới dạng hình ảnh. Một số thuật toán máy học phổ biến hiện nay bao gồm K Nearest Neighbors (KNN), Support Vector Machine (SVM), Stochastic Gradient Descent, Artificial Neuron Network (ANN), Hidden Markov Model (HMM)…

9p sieunhansoibac3 12-04-2018 137 11   Download

Bài báo trình bày giải thuật kết hợp giữa bộ điều khiển feedforward và feedback để điều khiển hệ phi tuyến. Feedback phát lệnh điều khiển tức thời và feedforward phát lệnh điều khiển xác lập. Feedback chính là bộ điều khiển PID (Proportional Integral Devirative). Feedforward được huấn luyện dựa trên mạng nơron lan truyền ngược Gradient Descent với tốc độ học thích nghi. Bộ điều khiển này có vai trò bổ chính vào các thành phần không xác định có thể xảy ra lúc điều khiển đối tượng. Trong thực tế các đối tượng thường bị tác động bởi nhiều thành phần được cho...

10p sunshine_7 23-07-2013 109 5   Download

Tuyển tập báo cáo các nghiên cứu khoa học quốc tế ngành hóa học dành cho các bạn yêu hóa học tham khảo đề tài: A Neural Network MLSE Receiver Based on Natural Gradient Descent: Application to Satellite Communications Mohamed Ibnkahla

12p sting12 11-03-2012 47 6   Download

EURASIP Journal on Applied Signal Processing 2003:12, 1229–1237 c 2003 Hindawi Publishing Corporation Nonlinear System Identification Using Neural Networks Trained with Natural Gradient Descent Mohamed Ibnkahla Electrical and Computer Engineering Department, Queen’s University, Kingston, Ontario, Canada K7L 3N6 Email: mohamed.ibnkahla@ece.queensu.ca Received 13 December 2002 and in revised form 17 May 2003 We use natural gradient (NG) learning neural networks (NNs) for modeling and identifying nonlinear systems with memory.

9p sting12 10-03-2012 43 6   Download