Luận án Tiến sĩ Kỹ thuật: Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:136

Thêm vào BST

Báo xấu

10
lượt xem 7
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận án Tiến sĩ Kỹ thuật "Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy" trình bày tổng quan về mô hình động lực học tàu thủy và tình hình nghiên cứu; Điều khiển bám tối ưu cho tàu thủy khi có mô hình; Điều khiển bám tối ưu cho tàu thủy khi không có mô hình.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án Tiến sĩ Kỹ thuật: Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VŨ VĂN TÚ XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU CHO HỆ LÁI TÀU THỦY LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA Hà Nội - 2022
BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VŨ VĂN TÚ XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU CHO HỆ LÁI TÀU THỦY Ngành: Kỹ thuật điều khiển và tự động hóa Mã số: 9520216 LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. PGS. TS. Đào Phương Nam 2. GS. TS. Phan Xuân Minh Hà Nội - 2022
Lời cam đoan Tôi xin cam đoan đây là công trình nghiên cứu của cá nhân tôi dưới sự hướng dẫn của giáo viên hướng dẫn và các nhà khoa học. Tài liệu tham khảo trong luận án được trích dẫn đầy đủ. Các kết quả nghiên cứu của luận án là trung thực và chưa từng được các tác giả khác công bố. Hà Nội, ngày ….. tháng …. năm 2022 Tập thể hướng dẫn Nghiên cứu sinh PGS.TS. Đào Phương Nam GS.TS. Phan Xuân Minh Vũ Văn Tú i
LỜI CẢM ƠN Đầu tiên, nghiên cứu sinh xin gửi lời cảm ơn chân thành, sâu sắc nhất đến GS.TS. Phan Xuân Minh, PGS.TS. Đào Phương Nam đã dành nhiều thời gian, tâm huyết để hướng dẫn, định hướng, tạo động lực nghiên cứu và hỗ trợ nghiên cứu sinh về mọi mặt để hoàn thành luận án. Cho phép nghiên cứu sinh được bày tỏ sự biết ơn sâu sắc tới các Thầy Cô trong nhóm cơ sở Lý thuyết điều khiển tự động đã có những chia sẻ quý báu về kiến thức, về phương pháp nghiên cứu và những lời động viên tới NCS trong suốt tiến trình nghiên cứu đề tài. Trong suốt quá trình học tập, nghiên cứu nghiên cứu sinh luôn luôn nhận được sự giúp đỡ tận tình của các Thầy Cô của Khoa Tự động hóa, Trường Điện-Điện tử và Phòng Đào tạo, Đại học Bách Khoa Hà Nội đã tận tình giúp đỡ về mặt chuyên môn, hỗ trợ các thủ tục trong quá trình học tập và hoàn thành luận án. Nghiên cứu sinh cũng xin được gửi lời cảm ơn đến Ban Giám Hiệu trường Đại học Hải Phòng, đặc biệt Khoa Điện Cơ, nơi tôi công tác đã tạo mọi điều kiện thuận lợi nhất cho NCS trong quá trình thực hiện đề tài nghiên cứu. Cuối cùng, nghiên cứu sinh xin được gửi lời biết ơn tới đồng nghiệp, gia đình, người thân đã luôn động viên, chia sẻ, ủng hộ và giúp đỡ NCS trong suốt toàn bộ thời gian thực hiện nghiên cứu. Hà Nội, ngày … tháng… năm 2022 Nghiên cứu sinh Vũ Văn Tú ii
MỤC LỤC MỤC LỤC .............................................................................................................. iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ............................................ vi DANH MỤC CÁC BẢNG ........................................................................................ x DANH MỤC HÌNH VẼ ............................................................................................ x MỞ ĐẦU ................................................................................................................ 1 1. Tính cấp thiết của đề tài .......................................................................................... 1 2. Mục đích nghiên cứu .............................................................................................. 2 3. Đối tượng và phạm vi nghiên cứu của luận án ....................................................... 2 4. Ý nghĩa khoa học và thực tiễn của luận án ............................................................. 2 5. Phương pháp nghiên cứu ........................................................................................ 2 6. Bố cục của luận án .................................................................................................. 3 Chương 1 TỔNG QUAN VỀ MÔ HÌNH ĐỘNG LỰC HỌC TÀU THỦY VÀ TÌNH HÌNH NGHIÊN CỨU ................................................................. 4 1.1 Mô hình động lực học tổng quát của tàu thủy ................................................. 4 1.1.1 Các chuyển động của tàu thủy trong hệ quy chiếu ............................... 4 1.1.2 Mô hình động lực học của tàu thủy sáu bậc tự do ................................ 7 1.1.3 Mô hình động lực học của tàu thủy ba bậc tự do trên mặt phẳng nằm ngang ........................................................................................................... 13 1.2 Tổng quan tình hình nghiên cứu trong và ngoài nước về điều khiển chuyển động của tàu thủy .......................................................................................................... 15 1.2.1 Tổng quan tình hình nghiên cứu trong nước ....................................... 15 1.2.2 Tổng quan tình hình nghiên cứu ngoài nước ...................................... 16 1.3 Hướng nghiên cứu của luận án ...................................................................... 19 1.4 Cơ sở phương pháp luận của luận án ............................................................. 19 1.4.1 Mạng nơ-ron xấp xỉ hàm ..................................................................... 19 1.4.2 Ổn định UUB ...................................................................................... 20 1.4.3 Giải thuật quy hoạch động thích nghi cho hệ phi tuyến...................... 22 1.5 Kết luận chương 1 .......................................................................................... 32 Chương 2 ĐIỀU KHIỂN BÁM TỐI ƯU TÀU THỦY KHI CÓ MÔ HÌNH .... 33 2.1 Tổng hợp bộ điều khiển cho hệ lái tàu thủy .................................................. 33 2.1.1 Biến đổi mô hình của tàu thủy ............................................................ 33 iii
2.1.2 Mô tả bài toán điều khiển tối ưu cho tàu thủy..................................... 35 2.1.3 Thiết kế bộ điều khiển bám tối ưu dựa trên cấu trúc Actor-Critic ...... 35 2.1.4 Phát biểu định lý và chứng minh về tính ổn định của hệ kín .............. 39 2.1.5 Mô phỏng kiểm chứng ........................................................................ 42 2.2 Thiết kế bộ điều khiển bám tối ưu dựa trên cấu trúc ADP-RISE cho tàu thủy có nhiễu đầu vào ....................................................................................................... 46 2.2.1 Tổng hợp bộ điều khiển bám tối ưu dựa trên cơ sở cấu trúc Actor- Critic............................................................................................................. 46 2.2.2 Thiết kế bộ điều khiển phản hồi RISE ................................................ 49 2.2.3 Phát biểu định lý và chứng minh tính ổn định của hệ kín ................... 51 2.2.4 Mô phỏng so sánh và đánh giá ............................................................ 56 2.3 Thiết kế bộ điều khiển bám tối ưu dựa trên giải thuật ADP kết hợp với bộ ước lượng nhiễu DO cho tàu có nhiễu đầu vào ........................................................... 65 2.3.1 Thiết kế điều khiển bù nhiễu ............................................................... 65 2.3.2 Tổng hợp bộ điều khiển bám tối ưu dựa trên cơ sở cấu trúc Actor- Critic............................................................................................................. 67 2.3.3 Phương pháp xác định véc-tơ hàm kích hoạt ...................................... 70 2.3.4 Phát biểu định lý và chứng minh tính ổn định của hệ kín ................... 72 2.3.5 Mô phỏng, so sánh và đánh giá ........................................................... 76 2.4 Kết luận chương 2 .......................................................................................... 83 Chương 3 ĐIỀU KHIỂN BÁM TỐI ƯU TÀU THỦY KHI KHÔNG CÓ MÔ HÌNH ....................................................................................................... 84 3.1 Phương trình HJI bám quỹ đạo và sự ổn định của phương pháp .................. 84 3.1.1 Biến đổi mô hình của tàu thủy ............................................................ 84 3.1.2 Phương trình Hamilton-Jacobi-Isaacs cho bài toán điều khiển bám tối ưu quỹ đạo ........................................................................................................ 85 3.1.3 Sự suy giảm nhiễu và độ ổn định của giải pháp cho phương trình HJI ............................................................................................................. 87 3.2 Thuật toán off-policy IRL để giải phương trình HJI bám quỹ đạo ............... 88 3.2.1 Thuật toán off-policy RL cho điều khiển tối ưu bền vững ................. 88 3.2.2 Phân tích sự hội tụ của thuật toán 3.1 ................................................. 89 3.2.3 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững ................ 95 3.2.4 Phân tích sự hội tụ của thuật toán 3.2 ................................................. 97 3.2.5 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững sử dụng mạng nơ-ron .......................................................................................................... 98 3.2.6 Mô phỏng, so sánh và đánh giá ......................................................... 101 3.3 Kết luận chương 3 ........................................................................................ 108 iv
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN ............................ 109 DANH MỤC CÁC CÔNG TRÌNH ĐƯỢC CÔNG BỐ ................................... 111 TÀI LIỆU THAM KHẢO................................................................................... 112 PHỤ LỤC ............................................................................................................ 118 v
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Danh Mục Các Ký Hiệu STT Ký hiệu Giải thích 1  Tập các số thực Không gian các tọa độ thực (không gian Euclide) n 2 n chiều. Tập các ma trận có kích thước n  m chứa các phần 3 nm tử số thực 4 x Tập compact x   n 5 () Tập của các luật điều khiển chấp nhận được C (v) Ma trận Coriolis và lực hướng tâm của phương tiện 6 hàng hải Ma trận Coriolis và lực hướng tâm thủy động lực học 7 C A(v) khối lượng nước kèm 8 D Ma trận suy giảm thủy động lực học tuyến tính 9 Dn (v) Ma trận suy giảm thủy động lực học phi tuyến 10 D(v ) Ma trận suy giảm thủy động lực học 11 g () Véc-tơ lực đẩy và lực trọng trường 12 I0 Ma trận quán tính hệ thống xung quanh điểm O 13 J 1() Ma trận quay chuyển đổi vận tốc dài 14 J 2 () Ma trận quay chuyển đổi vận tốc góc 15 J () Ma trận quay chuyển đổi vận tốc dài và vận tốc góc 16 m Khối lượng của vật rắn 17 MA Ma trận quán tính hệ thống của khối lượng nước kèm 18 MRB Ma trận quán tính hệ thống vật rắn Lực và mô-men tác động lên thân tàu trong hệ tọa độ 19   [  T1 ,  T2 ]T gắn thân tàu (b-frame) T Véc-tơ lực tác động lên thân tàu trong hệ tọa độ (b- 20  1  X Y Z    frame) vi
T Véc-tơ mô-men tác động lên thân tàu trong hệ tọa độ 21  2  K M N    (b-frame) 22 D Véc-tơ lực và momem suy giảm 23 H Véc-tơ lực và momen thủy động lực Véc-tơ lực và mô-men do nhiễu tác động bên ngoài 24  (sóng, gió, dòng chảy,…) Véc-tơ lực và mô-men tổng quát tác động lên tàu trong 25 RB khung tọa độ gắn thân Véc-tơ biểu diễn vị trí và góc hướng của tàu trong hệ 26   [T1 , T2 ]T tọa độ gắn trái đất Véc-tơ biểu diễn vị trí của tàu trong hệ tọa độ gắn trái 27 1  [x , y, z ]T đất Véc-tơ biểu diễn góc hướng của tàu trong hệ tọa độ 28 2  [  ]T gắn trái đất Véc-tơ vận tốc dài và vận tốc góc trong hệ tọa độ gắn 29 v  [v1T , vT2 ]T thân 30 v1  [u, v, w ]T Véc-tơ vận tốc dài trong hệ tọa độ gắn thân 31 v2  [ p, q, r ]T Véc-tơ vận tốc góc trong hệ tọa độ gắn thân 32 u Tốc độ trượt dọc của tàu 33 v Tốc độ trượt ngang của tàu 34 w Tốc độ trượt đứng của tàu 35 p Tốc độ lắc ngang của tàu 36 q Tốc độ lắc dọc của tàu 37 r Tốc độ quay trở của tàu 38 x Tọa độ của tàu theo phương x hệ tọa độ NED 39 y Tọa độ của tàu theo phương y hệ tọa độ NED 40 z Tọa độ của tàu theo phương z hệ tọa độ NED 41  Góc lắc ngang của tàu 42  Góc lắc dọc của tàu 43  Góc hướng, xung quanh trục z của tàu 44 W Ma trận trọng số lý tưởng của NN 45 (x ) Véc-tơ hàm kích hoạt của NN vii
46 J (x, u ) Hàm chi phí 47 V * (x ) Hàm Bellman 48 u Véc tơ đầu vào điều khiển 49 u* Véc tơ đầu vào điều khiển tối ưu 50 d Véc-tơ nhiễu của hệ thống 51 In Ma trận đơn vị có chiều n  n Không gian Banach, nếu d  L2[0, ) thì 52 L2[0, )  2  d dt   0 Danh Mục Các Chữ Viết Tắt Ký hiệu Thuật ngữ tiếng Anh Giải thích ADP Adaptive Dynamic Programming Quy hoạch động thích nghi Cấu trúc điều khiển Actor-Critic trong của giải thuật gồm hai NN: AC-NNs Actor-Critic Neural Netwoks Mạng critic xấp xỉ hàm đánh giá tối ưu, mạng actor xấp xỉ luật điều khiển tối ưu NN Neural Netwok Mạng nơ-ron nhân tạo Actor NN Actor Neural Network Mạng nơ-ron actor Critic NN Critic Neural Network Mạng nơ-ron critic MLP Multi-Layer Perceptron NN truyền thẳng nhiều lớp ARE Algebraic Riccati Equation Phương trình đại số Riccati Phương trình vi phân đạo hàm HJB Hamilton-Jacobi-Bellman riêng HJB Phương trình vi phân đạo hàm HJI Hamilton-Jacobi-Isaacs riêng HJI PE Persistence of Excitation Điều kiện PE Thuật toán lặp để xấp xỉ luật PI Policy Iteration điều khiển tối ưu của giải thuật quy hoạch động thích nghi Thuật lặp giá trị để xấp xỉ hàm VI Value Iteration đánh giá tối ưu của giải thuật quy hoạch động thích nghi viii
RL Reinforcement Learning Học tăng cường Unifomly Ultimate UUB Bị chặn tới hạn đều Bounded UB Ultimate Bounded Bị chặn tới hạn Globally Uniformly GUUB Bị chặn tới hạn đều toàn cục Ultimately Bounded Globally Uniformly GUB Bị chặn đều toàn cục Bounded Lý thuyết trò chơi sai phân tổng bằng Zero-sum Differential không ứng dụng trong lý thuyết điều ZDGT Game Theory khiển tối ưu H  LS Least Square Phương pháp bình phương tối thiểu Robust Integral of the Sign Tích phân bền vững hàm dấu sai lệch RISE of the Error bám DO Disturbance Observer Bộ quan sát nhiễu Off-Policy Off-Policy Integral Học tăng cường tích phân với luật điều IRL Reinforcement Learning khiển ngoại tuyến DOF Degree Of Freedom Bậc tự do Body–fixed reference Khung tọa độ quy chiếu gắn với thân BODY frame tàu CG Center of gravity Trọng tâm CB Center of buoyancy Tâm nổi GPS Global Positioning System Hệ thống định vị toàn cầu INS Inertial Navigation System Hệ thống dẫn đường quán tính International Federation of IFAC Hiệp hội quốc tế về tự động hóa Automatic Control Hệ tọa độ có các trục hướng bắc – NED North-East-Down hướng đông – hướng tâm trái đất Society of Naval SNAME Architects and Marine Hiệp hội kiến trúc hải quân và hàng hải Engineers The Earth-centered inertial Khung tọa độ quán tính gốc trùng tâm ECI frame trái đất Earth-centered Earth-fixed Khung tọa độ tham chiếu có gốc trùng ECEF reference frame tâm trái đất ix
DANH MỤC CÁC BẢNG Bảng 1.1 Các ký hiệu của SNAME (nguồn: [17]) ..................................................... 5 Bảng 2.1 Các thông số của bộ điều khiển ................................................................ 78 Bảng 2.2 RMSE của hai bộ điều khiển .................................................................... 81 DANH MỤC HÌNH VẼ Hình 1.1 Mô tả các chuyển động của tàu đại dương (nguồn: [19]) ........................... 4 Hình 1.2 Các khung tọa độ quy chiếu (nguồn: [18]) ................................................. 5 Hình 1.3 Mô tả động lực học tàu thủy trong khung tọa độ quy chiếu quán tính gắn với trái đất và khung tọa độ gắn thân tàu (nguồn:[17]) .............................................. 8 Hình 1.4 Mô tả các thành phần chuyển động của tàu thủy trong mặt phẳng nằm ngang .................................................................................................................................. 13 Hình 1.5 Xấp xỉ hàm bằng mạng MLP một lớp ẩn.................................................. 20 Hình 1.6 Cấu trúc AC-NNs xấp xỉ nghiệm phương trình HJB................................ 24 Hình 2.1 Cấu trúc điều khiển hệ thống lái tàu thủy sử dụng giải thuật ADP .......... 39 Hình 2.2 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển .................................................................................................................................. 43 Hình 2.3 Quỹ đạo bám – quỹ đạo đường tròn sử dụng giải thuật ADP cấu trúc AC- NNs ........................................................................................................................... 43 Hình 2.4 Sai lệch bám quỹ đạo theo trục x - quỹ đạo hình tròn .............................. 44 Hình 2.5 Sai lệch bám quỹ đạo theo trục y - quỹ đạo hình tròn .............................. 44 Hình 2.6 Sai lệch bám quỹ đạo theo góc  - quỹ đạo hình tròn ............................. 44 Hình 2.7 Đầu vào điều khiển của hệ thống – quỹ đạo hình tròn ............................. 44 Hình 2.8 Cấu trúc điều khiển ADP-RISE cho hệ lái tàu thủy ................................. 51 Hình 2.9 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển .................................................................................................................................. 57 Hình 2.10 So sánh điều khiển bám quỹ đạo tròn, khi chưa có nhiễu ...................... 58 Hình 2.11 So sánh sai số điều khiển bám quỹ đạo tròn theo trục x, khi chưa có nhiễu .................................................................................................................................. 58 Hình 2.12 So sánh sai số điều khiển bám quỹ đạo tròn theo trục y, khi chưa có nhiễu .................................................................................................................................. 58 Hình 2.13 So sánh sai số điều khiển bám quỹ đạo tròn theo trục  , khi chưa có nhiễu .................................................................................................................................. 59 Hình 2.14 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “1” tác động ............. 59 Hình 2.15 So sánh sai số điều khiển bám quỹ đạo tròn theo trục x ......................... 59 Hình 2.16 So sánh sai số điều khiển bám quỹ đạo tròn theo trục y ......................... 60 Hình 2.17 So sánh sai số điều khiển bám quỹ đạo tròn theo trục  ....................... 60 Hình 2.18 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “2” tác động ............. 61 Hình 2.19 Sai lệch bám quỹ đạo theo trục x - quỹ đạo đường tròn ........................ 61 Hình 2.20 Sai lệch bám quỹ đạo theo trục y - quỹ đạo đường tròn ....................... 61 Hình 2.21 Sai lệch bám quỹ đạo theo góc  - quỹ đạo đường tròn ......................... 61 Hình 2.22 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào f1   n 1 ....... 62 Hình 2.23 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào f2   n 2 ....... 62 Hình 2.24 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào f3   n 3 ....... 62 x
Hình 2.25 Đầu vào điều khiển trên trục x .............................................................. 63 Hình 2.26 Đầu vào điều khiển trên trục y .............................................................. 63 Hình 2.27 Đầu vào điều khiển trên trục  .............................................................. 63 Hình 2.28 Cấu trúc bộ điều khiển tối ưu sử dụng giải thuật ADP cấu trúc AC-NNs .................................................................................................................................. 72 Hình 2.29 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển .................................................................................................................................. 78 Hình 2.30 So sánh điều khiển bám quỹ đạo tròn của bộ điều khiển đề xuất ADP-DO với bộ điều khiển AOBC [63] .................................................................................. 79 Hình 2.31 So sánh sai số bám trục x của hai bộ điều khiển .................................... 80 Hình 2.32 So sánh sai số bám trục y của hai bộ điều khiển .................................... 80 Hình 2.33 So sánh sai số bám trục  của hai bộ điều khiển ................................... 80 Hình 2.34 Ước lượng thành phần bất định và nhiễu đầu vào h1 của bộ DO và ...... 81 Hình 2.35 Ước lượng thành phần bất định và nhiễu đầu vào h2 của bộ DO và ...... 82 Hình 2.36 Ước lượng thành phần bất định và nhiễu đầu vào h3 của bộ DO và ...... 82 Hình 2.37 Đầu vào điều khiển của hệ thống theo các trục x, y,  .......................... 82 Hình 3.1 Cấu trúc điều khiển tối ưu bền vững cho mô hình tàu thủy sử dụng ...... 100 Hình 3.2 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi không có nhiễu tác động ................................................................................... 102 Hình 3.3 So sánh sai số bám trục x của Actor-Critic và off-policy IRL ............... 102 Hình 3.4 So sánh sai số bám trục y của Actor-Critic và off-policy IRL ............... 102 Hình 3.5 So sánh sai số bám trục  của Actor-Critic và off-policy IRL.............. 103 Hình 3.6 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi chịu tác động của nhiễu hàm “1”...................................................................... 103 Hình 3.7 So sánh sai số bám trục x của của off-policy IRL và Actor-Critic, khi chịu tác động của nhiễu hàm “1”.................................................................................... 104 Hình 3.8 So sánh sai số bám trục y của của off-policy IRL và Actor-Critic, khi chịu tác động của nhiễu hàm “1”.................................................................................... 104 Hình 3.9 So sánh sai số bám trục  của off-policy IRL và Actor-Critic khi chịu tác động của nhiễu hàm “1” ......................................................................................... 104 Hình 3.10 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi chịu tác động của nhiễu hàm “2”...................................................................... 105 Hình 3.11 Sai số bám theo trục x của off-policy IRL với nhiễu hàm “2” ........... 105 Hình 3.12 Sai số bám theo trục y của off-policy IRL với nhiễu hàm “2” ........... 106 Hình 3.13 Sai số bám theo trục  của off-policy IRL với nhiễu hàm “2” ........... 106 Hình 3.14 Đầu vào điều khiển trên trục x của off-policy IRL với ....................... 106 Hình 3.15 Đầu vào điều khiển trục y của off-policy IRL với .............................. 107 Hình 3.16 Đầu vào điều khiển trục  của off-policy IRL với .............................. 107 xi
MỞ ĐẦU 1. Tính cấp thiết của đề tài Vận tải biển đóng một vai trò rất quan trọng trong thương mại quốc tế bởi vì khoảng 80% lượng hàng hóa xuất nhập khẩu được vận chuyển qua đường biển. Vận tải biển là một thị trường lớn và vì lợi ích thiết yếu của nó, chẳng hạn như phạm vi vận chuyển rộng, khối lượng vận chuyển lớn, chi phí vận chuyển thấp…Vì vậy, những nghiên cứu cải thiện hệ thống điều khiển bám quỹ đạo của tàu thủy nhằm nâng cao hiệu quả vận chuyển và đảm bảo an toàn hàng hải luôn là cấp thiết và có ý nghĩa to lớn. Tuy nhiên, việc điều khiển chuyển động của tàu thủy đạt được chất lượng cao là một thách thức đối với các nhà khoa học vì những lý do chính sau đây: 1) Phương tiện hàng hải hoạt động trong môi trường động, phức tạp, không có cấu trúc xác định và chịu ảnh hưởng của nhiễu đầu vào không dự báo được đối với hệ thống điều khiển, ví dụ như: dòng chảy đại dương, sóng, gió,... nên hiệu suất bám quỹ đạo bị giảm đáng kể [1]. 2) Mô hình động lực học của tàu thủy là mô hình phi tuyến bất định và các tham số của mô hình phụ thuộc vào các biến trạng thái của tàu. Động lực học của tàu thường được mô tả là hệ phương trình vi phân phi tuyến bậc cao. Động học của tàu thủy có các tính chất đặc thù như: hằng số thời gian quán tính lớn, biên độ dự trữ ổn định nhỏ và có dao động [2, 3]. Để nâng cao độ chính xác bám quỹ đạo cho tàu thủy, có rất nhiều phương pháp điều khiển khác nhau đã được nghiên cứu, đề xuất [2,4–9]. Mặc dù vậy, việc đảm bảo bám quỹ đạo và ổn định trong môi trường có nhiễu tác động đối với tàu thủy luôn luôn là một thách thức. Trong khi đó, nguồn năng lượng lữu trữ trên tàu là hữu hạn do vậy để đảm bảo tàu chuyển động trên quãng đường dài, bài toán tối ưu năng lượng cũng cần được đề cập tới. Tuy nhiên, cho đến nay, có rất ít các công trình nghiên cứu phương pháp điều khiển tối ưu cho tàu thủy. Thông thường, bài toán điều khiển tối ưu cho tàu thủy là bài toán phi tuyến, nên để tìm nghiệm tối ưu người ta thường đưa về bài toán tìm nghiệm của phương trình HJB [10]. Đối với hệ tuyến tính phương trình HJB trở thành phương trình Riccati. Cho đến nay, chưa có lời giải tổng quát cho phương trình HJB vì việc tìm nghiệm của phương trình này rất khó khăn. Trong những năm gần đây nghiên cứu xấp xỉ nghiệm của phương trình HJB bằng quy hoạch động thích nghi (ADP) được quan tâm phát triển [10, 11, 12, 13]. Giải thuật ADP sử dụng NN để xấp xỉ các hàm giá trị, đặc điểm chung của cấu trúc điều khiển ADP thường sử dụng hai NN hoặc ba NN để xấp xỉ hàm. Trong đó, một NN xấp xỉ luật điều khiển tối ưu (actor NN), một NN còn lại xấp xỉ hàm chi phí tối ưu (critic NN), một NN (disturber NN) có thể được thêm vào cấu trúc ADP để xấp xỉ luật nhiễu xấu nhất. Nghiệm xấp xỉ trên cơ sở giải thuật ADP thường được giải trực tuyến. Những năm gần đây, ứng dụng giải thuật ADP trong bài toán bám tối ưu quỹ đạo cho các hệ thống phi tuyến liên tục được nghiên cứu và phát triển mạnh mẽ [14, 15], nhưng riêng áp dụng cho hệ thống lái tàu thủy được nghiên cứu rất ít. Chính vì vậy, việc nghiên cứu phát triển áp dụng giải thuật ADP trong điều khiển bám tối ưu quỹ đạo cho tàu thủy luôn là thách thức và động lực đối với các nhà khoa học. Đây cũng chính là động lực thúc đẩy việc lựa chọn đề tài nghiên cứu của tác giả. 1
2. Mục đích nghiên cứu Mục đích của đề tài là nghiên cứu, đề xuất và phát triển những bộ điều khiển bám tối ưu quỹ đạo mới nhằm nâng cao chất lượng điều khiển, tiết kiệm nặng lượng và đảm bảo tính ổn định cho hệ lái tự động tàu thủy trong điều kiện có nhiễu tác động. Để thực hiện được mục tiêu này, luận án đặt ra những nhiệm vụ chính sau: - Nghiên cứu mô hình động lực học của tàu thủy và các phương pháp điều khiển hiện đại cho hệ lái tàu thủy đã công bố trong nước và ngoài nước những năm gần đây, từ đó tìm ra hướng nghiên cứu mới cho luận án. - Nghiên cứu, đề xuất thuật toán điều khiển bám tối ưu mới dựa trên giải thuật ADP có cấu trúc điều khiển AC-NNs kết hợp với bộ ước lượng nhiễu. - Nghiên cứu, đề xuất giải thuật điều khiển tối ưu bền vững dựa trên thuật toán off- policy IRL cho hệ lái tàu thủy trong điều kiện có nhiễu tác động. 3. Đối tượng và phạm vi nghiên cứu của luận án Đối tượng nghiên cứu của luận án: Hệ thống lái tàu nổi như tàu tuần tra, tàu dịch vụ…, có mô hình phi tuyến bất định, chịu ảnh hưởng của nhiễu ngoài không biết trước (sóng, gió, dòng chảy…) và đủ cơ cấu chấp hành. Phạm vi nghi cứu của luận án: Luận án tập trung xây dựng bộ điều khiển bám tối ưu mới cho hệ thống dựa trên lý thuyết điều khiển phi tuyến và lý thuyết điều khiển tối ưu, cho các tàu hoạt động trên biển trong điều kiện có các nhiễu (sóng, gió, dòng chảy…) bị chặn. 4. Ý nghĩa khoa học và thực tiễn của luận án Luận án đã đưa ra được cấu trúc điều khiển mới. Các bộ điều khiển này được phân tích ổn định dựa trên lý thuyết ổn định Lyapunov và được đánh giá thông qua mô phỏng bằng phần mềm Matlab, kết quả phân tích lý thuyết và mô phỏng hoàn toàn phù hợp và đáp ứng được các chỉ tiêu chất lượng cho hệ thống lái tàu tự động. Luận án sẽ góp phần bổ sung các phương pháp điều khiển bám tối ưu quỹ đạo mới cho hệ lái tàu thủy. Chính vì vậy, kết quả nghiên cứu của luận án vừa có ý nghĩa khoa học vừa có ý nghĩa thực tiễn. 5. Phương pháp nghiên cứu Để đạt được mục tiêu đề ra, phương pháp nghiên cứu của luận án tiến hành như sau: - Phân tích các tài liệu khoa học, các công trình mới nhất đã được công bố trong và ngoài nước về điều khiển tàu thủy. Đặc biệt là các phương pháp điều khiển hiện đại áp dụng cho mô hình tàu thủy đủ cơ cấu chấp hành, trên cơ sở đó đưa ra định hướng nghiên cứu các giải thuật điều khiển mới cho hệ lái tàu thủy. - Dựa trên lý thuyết điều khiển phi tuyến và điều khiển tối ưu xây dựng bài toán điều khiển bám tối ưu cho hệ lái tàu thủy có xét tới ảnh hưởng của nhiễu. - Chuyển bài toán xác định nghiệm tối ưu về bài toán tìm nghiệm cho phương trình HJB, HJI. Nghiên cứu, xấp xỉ nghiệm của HJB dựa trên giải thuật ADP kết hợp các phương pháp kháng nhiễu. - Các giải thuật mới được đề xuất, phân tích tính ổn định dựa trên lý thuyết Lyapunov và khảo sát đánh giá thông qua mô phỏng bằng phần mềm Matlab. 2
6. Bố cục của luận án Luận án được trình bày trong 3 chương với nội dung chính được tóm tắt như sau: Chương 1: Tổng quan về mô hình động lực học tàu thủy và tình hình nghiên cứu Phân tích mô hình động học và động lực học của tàu thủy, phân tích đặc điểm của mô hình tàu thủy. Nghiên cứu tổng quan các phương pháp điều khiển tàu thủy trong nước và ngoài nước đã công bố và đề xuất hướng nghiên cứu của luận án. Trình bày một số cấu trúc điều khiển cơ bản của giải thuật ADP như: AC-NNs, off-policy IRL được luận án sử dụng để phục vụ cho việc xây dựng bộ điều bám tối ưu quỹ đạo mới ở các chương tiếp theo. Chương 2: Điều khiển bám tối ưu cho tàu thủy khi có mô hình Xây dựng bộ điều khiển bám tối ưu cho tàu thủy ba bậc tự do có xét tới ảnh hưởng của nhiễu dựa trên cấu trúc điều khiển AC-NNs. Các thành phần bất định của mô hình và nhiễu đầu vào được đưa về dạng véc-tơ hàm bất định và được ước lượng bởi các bộ ước lượng RISE và DO. Bộ điều khiển bám tối ưu cho hệ lái tàu thủy được đề xuất trên cơ sở kết hợp giữa ADP và các bộ ước lượng RISE, DO. Các định lý về tính ổn định của hệ kín được phát biểu và chứng minh chặt chẽ. Các kết quả phân tích lý thuyết được đánh giá thông qua mô phỏng bằng phần mềm Matlab. Chương 3: Điều khiển bám tối ưu cho tàu thủy khi không có mô hình Trong chương 3, luận án tập trung nghiên cứu xây dựng bộ điều khiển bám tối ưu bền vững cho mô hình tàu thủy. Bộ điều khiển tối ưu bền vững được thiết kế cho hệ lái tàu thủy dựa trên thuật toán off-policy IRL không yêu cầu thông tin động học của hệ thống, có xét tới ảnh hưởng của nhiễu đầu vào. Sự hội tụ của thuật toán được trình bày và chứng minh trong các định lý. Các kết quả phân tích lý thuyết được đánh giá thông qua mô phỏng bằng phần mềm Matlab. 3
Chương 1 TỔNG QUAN VỀ MÔ HÌNH ĐỘNG LỰC HỌC TÀU THỦY VÀ TÌNH HÌNH NGHIÊN CỨU Nội dung chính của chương này là xây dựng mô hình động lực học của tàu thủy dựa trên kết quả nghiên cứu của các công trình [16–19] được sử dụng thiết kế hệ thống điều khiển và phân tích ổn định của hệ kín. Trên cơ sở mô hình động lực học của tàu thủy, một số phương pháp điều khiển tàu thủy của các công trình trong và ngoài nước đã công bố trong thời gian gần đây được nghiên cứu, phân tích làm cơ sở cho các đề xuất cấu trúc điều khiển mới trong luận án. Một số nền tảng của điều khiển tối ưu, mạng nơ ron nhân tạo và khải niệm về ổn định UUB làm cơ sở cho các đề xuất mới của luận án cũng được trình bày trong chương này. 1.1 Mô hình động lực học tổng quát của tàu thủy 1.1.1 Các chuyển động của tàu thủy trong hệ quy chiếu Tàu thủy là một phương tiện hàng hải chuyển động trên mặt nước, trong một môi trường phức tạp, biến động và không có cấu trúc. Để xác định động lực học của tàu dựa vào định luật Newton, coi tàu thủy như một vật rắn chuyển động trong môi trường chất lỏng và chuyển động với sáu bậc tự do, sáu biến chuyển động độc lập dùng để xác định vị trí và hướng của tàu thủy [17], [18]. Các chuyển động của tàu thủy như Hình 1.1 gồm chuyển động trượt dọc (surge), chuyển động trượt ngang (sway), trượt đứng (heave), chuyển động lắc ngang (roll), chuyển động lắc dọc (pitch), chuyển động quay trở (yaw). Hình 1.1 Mô tả các chuyển động của tàu đại dương (nguồn: [19]) Các ký hiệu được sử dụng như chiều chuyển động, mô-men và lực, tốc độ dài và tốc độ góc, vị trí được ký hiệu như trong Hình 1.1 và Bảng 1.1, tuân thủ theo hiệp hội hàng hải Quốc tế SNAME. 4
Bảng 1.1 Các ký hiệu của SNAME (nguồn: [17]) Lực và Tốc độ dài Vị trí và Bậc tự do Các loại chuyển động và tốc độ mô-men góc Euler góc Chuyển động tiến theo trục x 1 X u x (surge) Chuyển động tiến theo trục y y 2 Y v (sway) Chuyển động tiến theo trục z 3 Z w z (heave) Chuyển động quay quanh 4 trục x K p  (roll) Chuyển động quay quanh q 5 trục y (pitch) M  Chuyển động quay quanh  6 N r trục z (yaw) Ba thông số tọa độ (x, y, z ) là vị trí của tàu thủy và đạo hàm theo thời gian của chúng tương ứng với (u, v,  ) là vận tốc chuyển động dọc theo các trục x, y và z . Trong khi ba tọa độ cuối cùng (, , ) là các góc mô tả hướng của tàu thủy quanh các trục (x, y, z ) và đạo hàm theo thời gian (p, q, r ) của chúng mô tả chuyển động quay quanh các trục (x, y, z ) . Hình 1.2 Các khung tọa độ quy chiếu (nguồn: [18]) Các hệ quy chiếu được mô tả như trên Hình 1.2 bao gồm: Hệ quy chiếu ECI (i-frame)- là khung tọa độ quán tính để định vị trái đất (ứng với khung quy chiếu không gia tốc trong định luật Newton để ứng dụng xét các chuyển động). Gốc của khung tọa độ ECI (x i y i z i ) được đặt tại tâm của trái đất với các trục được thể hiện trên Hình 1.2. 5
Hệ quy chiếu ECEF (e- frame) (x eye z e ) - có gốc gắn với thân trái đất nhưng trục quay so với khung quán tính ECI, với tốc độ quay là e  7.2921  105 (rad / s) . Đối với những phương tiện hàng hải, sự quay của trái đất có thể được bỏ qua và do đó khung e-frame có thể xem như là khung quán tính. Khung tọa độ e–frame được sử dụng cho việc dẫn đường, định vị và điều khiển nói chung. Hệ quy chiếu NED (n-frame) - hệ tọa độ North-East-Down (x nyn z n ) . Đó là hệ trục tọa độ chúng ta thường đề cập đến trong cuộc sống hàng ngày. Nó thường được định nghĩa như mặt phẳng tiếp tuyến trên bề mặt của trái đất và chuyển động cùng với phương tiện, trục chỉ theo hướng bắc, trục chỉ theo hướng đông, trục z chỉ theo hướng tới bề mặt trái đất. Hệ quy chiếu BODY (b-frame) - khung quy chiếu gắn thân (x byb z b ) là khung tọa độ được gắn với phương tiện, di chuyển cùng phương tiện. Vị trí và hướng của phương tiện được miêu tả trong khung tọa độ quy chiếu quán tính n-frame (vì khung tọa độ e-frame và n-frame xấp xỉ bằng nhau đối với phương tiện hàng hải), trong khi vận tốc góc và vận tốc dài của phương tiện thường được biểu diễn trong khung tọa độ gắn thân b-frame. Với tàu đại dương nói chung, vị trí thông dụng nhất của khung tọa độ gắn thân là tạo ra sự đối xứng xung quanh mặt phẳng (ob x b zb ) và sự xấp xỉ đối xứng xung quanh mặt phẳng (obybzb ) . Theo nghĩa này, trục gắn thân xb , yb và z b được chọn trùng với trục chính của quán tính và chúng thường được xác định như (Hình 1.1). x b – longitudinal axis – trục dọc (hướng từ đuôi tới mũi tàu). y b – transverse axis – trục ngang (hướng sang mạn phải của tàu). z b – normal axis – trục thẳng đứng (hướng từ đỉnh tới đáy tàu). Nhận xét: Các hệ tọa độ quy chiếu có ý nghĩa rất quan trọng trong thiết kế bộ điều khiển bám vị trí mong muốn (quỹ đạo đặt) cho hệ lái tự động phương tiện hàng hải vì các hệ tọa độ quy chiếu thường được sử dụng để xác định vị trí của phương tiện hàng hải và cách quy đổi giữa các hệ tọa độ để thể hiện được mối liên hệ giữa vị trí, hướng của tàu với các thông số động học (vận tốc và vận tốc góc) của nó. Để thực hiện được điều đó cần phải xác định rõ các hệ tọa độ quy chiếu và cách chuyển đổi giữa các hệ tọa độ. Như đã biết, vị trí và hướng của phương tiện trên toàn cầu phải được xác định trong hệ tọa độ gắn với trái đất, trong khi vận tốc góc và vận tốc dài của phương tiện được biểu diễn một cách thuận lợi trong hệ tọa độ gắn thân. Vì vậy để thấy được mối liên hệ và tác động của vận tốc góc và vận tốc dài đến vị trí và hướng của phương tiện thì cần quy đổi chúng về một hệ tọa độ. Các chuyển động chung của một tàu thủy theo Bảng 1.1 có thể được mô tả bởi các véc-tơ sau đây [17]: T T T    T1 T2  1  x y z  2            T T T v  v1T vT2  v1  u v w  v2   p q r        T T T     1  2  T T  1  X Y Z   2  K M N        trong đó: 6
 – véc-tơ vị trí và hướng trong hệ trục tọa độ Trái đất (n-frame). v – véc-tơ vận tốc dài và vận tốc góc trong hệ tọa độ gắn thân tàu (b-frame).  – véc-tơ lực và momen tác động lên tàu trong khung tọa độ gắn thân (b-frame). Trong các phương trình toán bắt nguồn từ chuyển động của tàu thủy, nghiên cứu về động lực học của tàu thủy được chia thành hai phần [16], [17]: - Phân tích động học của tàu thủy (Kinematic). - Phân tích động lực học của tàu thủy (Dynamic) 1.1.2 Mô hình động lực học của tàu thủy sáu bậc tự do 1.1.2.1 Mối quan hệ giữa vị trí, hướng chuyển động tàu thủy Đạo hàm bậc nhất theo thời gian của véc-tơ vị trí  1 có mối liên hệ với véc-tơ vận tốc tuyến tính v1 thông qua sự chuyển đổi sau [17]:  1  J1(2 )v1 (1.1) Với J1(2 ) là một ma trận chuyển đổi, thông qua hàm của góc Euler: chuyển động lắc ngang () , chuyển động lắc dọc ( ) chuyển động quay trở ( ) . Ma trận này được biểu diễn như sau: cos()cos()  sin()cos()  sin()sin()cos()  J1(2 )   sin()cos() cos()cos()  sin()sin()sin()   sin() sin()cos()  sin() sin()  sin() cos() cos()  (1.2)  cos() sin()  sin() sin() cos() cos() cos()   Cần lưu ý rằng ma trận J1(2 ) là ma trận trực giao J 11(2 )  J 1T (2 ) , mặt khác đạo hàm theo thời gian của vecto góc Euler  2 có liên quan đến vecto vận tốc dài trong tọa độ gắn thân thông qua việc chuyển đổi như sau:  2  J2(2 )v2 (1.3) Trong đó ma trận chuyển đổi J2(2 ) được viết như sau: 1 sin() tan() cos() tan()     J 2 (2 )  0 cos()  sin()  0 sin() / cos() cos() / cos() (1.4)   Chú ý rằng ma trận chuyển đổi J2 (2 ) không xác định đối với góc quay lật   và J2(2 ) không thỏa mãn tính chất của ma trận trực giao. Đối với phương 2 7