Ứng dụng Soft Actor ‑ Critic cho điều hướng UAV trong môi trường 2D/3D

Điều hướng máy bay không người lái (UAV) trong môi trường phức tạp là một thách thức kỹ thuật quan trọng, với các ứng dụng đa dạng từ giám sát, cứu hộ đến vận chuyển. Việc phát triển các hệ thống điều khiển tự động có khả năng vượt qua chướng ngại vật và đạt mục tiêu an toàn là yếu tố then chốt. Nghiên cứu này tập trung vào việc ứng dụng thuật toán Soft Actor-Critic (SAC) – một phương pháp học tăng cường ngoài chính sách tiên tiến – để giải quyết bài toán này. Chúng tôi chứng minh hiệu quả của SAC trong việc cho phép UAV học các chính sách điều khiển tối ưu, đảm bảo quỹ đạo mượt mà và tỉ lệ thành công cao trong cả môi trường mô phỏng 2D và 3D phức tạp, vượt trội hơn các phương pháp hiện có.

Các nhà nghiên cứu, kỹ sư và sinh viên trong lĩnh vực trí tuệ nhân tạo, robot học, hệ thống điều khiển và kỹ thuật hàng không, đặc biệt quan tâm đến học tăng cường và điều hướng tự hành cho UAV.

Bài báo trình bày một nghiên cứu chuyên sâu về việc áp dụng thuật toán Soft Actor-Critic (SAC) nhằm phát triển khả năng điều hướng tự động cho máy bay không người lái (UAV) trong các môi trường mô phỏng 2D và 3D có độ phức tạp cao. SAC, một thuật toán học tăng cường ngoài chính sách (off-policy), được triển khai với kiến trúc mạng nơ-ron đa lớp, kết hợp kỹ thuật clipped double-Q của DDPG và entropy regularization. Điều này giúp tối ưu chính sách ngẫu nhiên, khuyến khích sự khám phá môi trường rộng lớn và tránh hội tụ cục bộ, đồng thời tận dụng hiệu quả bộ nhớ kinh nghiệm. Nghiên cứu mô tả chi tiết mô hình vật lý của UAV, thiết kế môi trường mô phỏng (cột thẳng đứng trong 2D, khối hộp trong 3D) và cách xây dựng hàm phần thưởng đa thành phần để định hướng UAV tránh va chạm, duy trì độ cao an toàn và hãm tốc độ khi gần đích. Quá trình huấn luyện diễn ra trong 1 triệu timesteps với các siêu tham số được tối ưu cẩn thận, bao gồm tốc độ học, hệ số chiết khấu và kích thước lô. Các kết quả thực nghiệm cho thấy SAC đạt tỉ lệ thành công cao và quỹ đạo bay mượt mà, vượt trội đáng kể so với các thuật toán phổ biến như PPO và A2C. Phương pháp này chứng minh tính khả thi và hiệu quả trong việc giải quyết bài toán điều hướng UAV phức tạp, đặc biệt trong không gian ba chiều, nhờ khả năng tổng quát hóa cao và sử dụng hiệu quả bộ đệm kinh nghiệm. Hướng phát triển trong tương lai bao gồm nghiên cứu ablation study để hiểu rõ hơn đóng góp của từng thành phần trong hàm phần thưởng và mở rộng ứng dụng SAC với các cảm biến ảnh, phối hợp đa tác nhân, cũng như so sánh với các thuật toán off-policy hiện đại khác.