UBND TỈNH BÌNH DƯƠNG
TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT
LÊ HUY
TÊN ĐỀ TÀI
ĐIỀU KHIỂN TẮC NGHẼN MẠNG INTERNET BẰNG DEEP
REINFORCEMENT LEARNING
CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN
MÃ SỐ: 8480104
LUẬN VĂN THẠC SỸ
BÌNH DƯƠNG, năm 2020
UBND TỈNH BÌNH DƯƠNG
TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT
LÊ HUY
TÊN ĐỀ TÀI
ĐIỀU KHIỂN TẮC NGHẼN MẠNG INTERNET BẰNG DEEP
REINFORCEMENT LEARNING.
CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN
MÃ SỐ: 8480104
LUẬN VĂN THẠC SỸ
NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. LÊ TUẤN ANH
BÌNH DƯƠNG, năm 2020
i
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết
quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ
công trình nào khác.
Tôi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện Luận văn này đã
được cảm ơn và các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc.
Học viên thực hiện đề tài
ii
LỜI CẢM ƠN
Để hoàn thành được bài luận văn thạc sĩ này, tôi xin bày tỏ sự cảm kích đặc
biệt tới thầy hướng dẫn khoa học của tôi, Phó Giáo sư Tiến sĩ Lê Tuấn Anh - Người
đã định hướng, trực tiếp dẫn dắt và cố vấn cho tôi trong suốt thời gian thực hiện
luận văn. Xin chân thành cảm ơn những bài giảng và bài báo khoa học của thầy
giới thiệu đã giúp cho tôi mở mang thêm nhiều kiến thức hữu ích về điều khiển tắc
nghẽn mạng internet. Đồng thời, thầy cũng là người luôn cho tôi những lời khuyên
vô cùng quý giá về cả kiến thức chuyên môn cũng như định hướng phát triển sự
nghiệp. Một lần nữa, tôi xin gửi lời cảm ơn đến thầy bằng tất cả tấm lòng và sự
biết ơn của mình.
Tôi cũng xin gửi lời cảm ơn chân thành đến Viện Đào tạo Sau Đại học, trường
đại học Thủ Dầu Một, đã giảng dạy và đã hỗ trợ tôi trong suốt quá trình học và quá
trình làm luận văn thạc sĩ này.
Sau cùng, tôi xin tỏ lòng biết ơn đến cha mẹ, người thân và bạn bè đã luôn bên
cạnh ủng hộ, động viên tôi trong cuộc sống cũng như trong thời gian hoàn thành
luận văn thạc sĩ.
Học viên thực hiện đề tài
iii
MỤC LỤC
LỜI CAM ĐOAN .............................................................................................................. i
LỜI CẢM ƠN ................................................................................................................... ii
MỤC LỤC ....................................................................................................................... iii
DANH MỤC BẢNG ....................................................................................................... iv
DANH MỤC HÌNH, ĐỒ THỊ .......................................................................................... v
DANH MỤC CHỮ VIẾT TẮT ....................................................................................... vi
MỞ ĐẦU .......................................................................................................................... 1
Chương 1. TỔNG QUAN ................................................................................................. 3
1.1 Giao thức TCP/IP .................................................................................... 3
1.2 TCP và cơ chế điều khiển tắc nghẽn ....................................................... 5
1.2.1 Quá trình slow-start và congestion avoidance .............................................. 5
1.2.2 Quá trình Fast-Retransmit ............................................................................. 5
1.2.3 Quá trình Fast-Recovery ............................................................................... 5
1.3 Học tăng cường ....................................................................................... 6
1.3.1 Các khái niệm cơ bản .................................................................................... 6
1.3.2 Quy trình quyết định Markov (Markov Decision Process – MDP) .............. 7
1.3.3 Q – Learning ................................................................................................. 8
1.3.4 Học tăng cường sâu (Deep Q – Learning) .................................................... 9
Chương 2. CÁC NGHIÊN CỨU LIÊN QUAN .............................................................. 11
2.1 Kỹ thuật điều khiển tắc nghẽn dựa vào rule-based ............................... 11
2.1.1 TCP Tahoe .................................................................................................. 11
2.1.2 TCP Reno .................................................................................................... 11
2.1.3 TCP New Reno ........................................................................................... 12
2.1.4 TCP Cubic .................................................................................................. 13
2.2 Kỹ thuật điều khiển tắc nghẽn dựa vào ML .......................................... 14
2.3 DRL - PCC Aurora ............................................................................... 15
Chương 3. ĐỀ XUẤT GIẢI PHÁP ................................................................................ 17
3.1 Đề xuất cải tiến ...................................................................................... 17
3.2 Xây dựng mô hình ................................................................................. 21
2.4 Đánh giá mô hình đề xuất ..................................................................... 23
3.3.1 Đánh giá huấn luyện ................................................................................... 23
3.3.2 Đánh giá sự thích ứng và độ ổn định .......................................................... 24
2.5 Cài đặt thực nghiệm (Testbed) và kết quả ............................................ 25
2.6 Đánh giá kết quả thực nghiệm .............................................................. 27
KẾT LUẬN .................................................................................................................... 28
Tài Liệu Tham Khảo ....................................................................................................... 29
