Luận văn Thạc sĩ Toán học: Thuật toán đạo hàm gần kề và các dạng tăng tốc

Luận văn Thạc sĩ Toán học với đề tài "Thuật toán đạo hàm gần kề và các dạng tăng tốc" do Trần Thị Thanh Tươi thực hiện, dưới sự hướng dẫn của TS. Lê Hải Yến, Học viện Khoa học và Công nghệ, Viện Hàn lâm Khoa học và Công nghệ Việt Nam, năm 2024. Luận văn tập trung nghiên cứu thuật toán đạo hàm gần kề, một mở rộng của thuật toán hướng giảm gradient, và các phiên bản tăng tốc của nó, nhằm giải quyết bài toán tối ưu với hàm mục tiêu có dạng tổng.

Luận văn này phù hợp cho sinh viên, nghiên cứu sinh và các nhà nghiên cứu trong lĩnh vực tối ưu hóa, học máy và xử lý tín hiệu, những người quan tâm đến việc áp dụng các thuật toán đạo hàm gần kề và các biến thể tăng tốc của chúng để giải quyết các bài toán thực tế.

Luận văn đi sâu vào thuật toán đạo hàm gần kề (ISTA) và các biến thể tăng tốc của nó, bao gồm FISTA, MFISTA và Restarted-FISTA, trong bối cảnh bài toán tối ưu có hàm mục tiêu dạng tổng. ISTA được coi là một mở rộng của thuật toán hướng giảm gradient, phù hợp cho các bài toán có số chiều lớn nhờ tính đơn giản. Tuy nhiên, tốc độ hội tụ của ISTA khá chậm, thúc đẩy sự phát triển của các biến thể tăng tốc.

FISTA, được đề xuất bởi Beck và Teboulle (2009), cải thiện đáng kể tốc độ hội tụ so với ISTA. MFISTA (Monotone FISTA) giải quyết nhược điểm của FISTA là không đảm bảo tính đơn điệu của hàm mục tiêu sau mỗi bước lặp. Restarted-FISTA khởi động lại thuật toán sau một số bước lặp nhất định để tăng tốc độ hội tụ, đặc biệt hiệu quả khi hàm mục tiêu là lồi mạnh.

Luận văn trình bày chi tiết về sự hội tụ của ISTA trong các trường hợp tổng quát, lồi và lồi mạnh. Các dạng tăng tốc của thuật toán cũng được phân tích dựa trên các nghiên cứu trước đó. Ngoài ra, luận văn còn đề cập đến ứng dụng của các thuật toán này trong các bài toán thực tế như bài toán bình phương tối thiểu chỉnh hóa l1 và bài toán khử nhiễu ảnh, kèm theo thử nghiệm số để so sánh hiệu quả của các thuật toán.

Cấu trúc luận văn bao gồm 4 chương: (1) Kiến thức chuẩn bị, (2) Thuật toán đạo hàm gần kề cho bài toán tối ưu dạng tổng, (3) Các dạng tăng tốc của thuật toán đạo hàm gần kề, (4) Thử nghiệm số.