HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
---------------------------------------
LÂM BẢO TUẤN
PHÁT HIỆN CẢNH BÁO BẤT THƯỜNG TRÊN HỆ
THỐNG MẠNG VÀ TRUYỀN THÔNG DỰA TRÊN
PHÂN TÍCH DỮ LIỆU LOG
LUẬN VĂN THẠC SỸ KỸ THUẬT
(Theo định hướng ứng dụng)
TP. HCM - 2022
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
---------------------------------------
LÂM BẢO TUẤN
PHÁT HIỆN CẢNH BÁO BẤT THƯỜNG TRÊN
HỆ THỐNG MẠNG VÀ TRUYỀN THÔNG DỰA TRÊN
PHÂN TÍCH DỮ LIỆU LOG
CHUYÊN NGÀNH
:
H
SỐ: 8.48.01.04
LUẬN VĂN THẠC SỸ KỸ THUẬT
(Theo định hướng ứng dụng)
NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS.TS. TRẦN MẠNH HÀ
TP.
HCM
20
2
2
i
LỜI CAM ĐOAN
Tôi cam đoan rằng luận văn: Phát hiện cảnh báo bất thường trên hệ thống
mạng truyền thông dựa trên phân tích dữ liệu logcông trình nghiên cứu
của chính tôi.
Tôi cam đoan các số liệu, kết quả nêu trong luận n trung thực chưa từng
được ai công bố trong bất kỳ công trình nào khác.
Không sản phẩm/nghiên cứu nào của người khác được sử dụng trong luận
văn này mà không được trích dẫn theo đúng quy định.
TP. Hồ Chí Minh, ngày 25 tháng 01 năm 2022
Học viên thực hiện luận văn
Lâm Bảo Tuấn
ii
LỜI CẢM ƠN
Trong quá trình học tập và thực hiện luận văn , tôi đã nhận được sự quan tâm
quý báu và hướng dẫn nhiệt tình của quý Thầy Cô, cùng với sự động viên và ủng hộ
của gia đình, bạn bè và đồng nghiệp.
Với lòng kính trọng và biết ơn, tôi xin gửi lời cảm ơn chân thành tới: Ban
Giám Đốc, Phòng đào tạo sau đại học của Học viện ng Nghệ Bưu Chính Viễn
thông cơ sở TP. Hồ Chí Minh và quý Thầy Cô đã tạo mọi điều kiện thuận lợi giúp tôi
hoàn thành luận văn.
Tôi xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất tới người thầy kính yêu
Thầy PGS.TS Trần Mạnh đã hết lòng giúp đỡ, trực tiếp hướng dẫn tận tình,
động viên khích lệ, tạo điều kiện cho tôi trong suốt quá trình thực hiện luận văn.
Từ đáy lòng nh tôi xin bày tỏ sự biết ơn hạn đến gia đình thân yêu của
tôi xin chân thành cảm ơn bạn thân thiết, đồng nghiệp trong quan đã động
viên, hỗ trtôi trong lúc khó khăn đi thể học tập hoàn thành luận văn.
Mặc dù đã có nhiều cố gắng, nỗ lực tìm tòi nghiên cứu, nhưng do thời gian có
hạn kinh nghiệm nghiên cứu khoa học n hạn chế nên không thể tránh khỏi những
thiếu sót. Tôi rất mong nhận được sự góp ý thiết thực của quý Thầy cùng bạn bè
đồng nghiệp để kiến thức của tôi ngày một hoàn thiện hơn.
Xin chân thành cảm ơn!
TP. Hồ Chí Minh, ngày 25 tháng 01 năm 2022
Học viên thực hiện luận văn
Lâm Bảo Tuấn
iii
MỤC LỤC
LỜI CAM ĐOAN .................................................................................................................. i
LỜI CẢM ƠN ....................................................................................................................... ii
MỤC LỤC ........................................................................................................................... iii
DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT ....................................................... v
DANH SÁCH BẢNG ......................................................................................................... vii
DANH SÁCH HÌNH VẼ .................................................................................................. viii
PHẦN MỞ ĐẦU ................................................................................................................... 1
1. Tính cấp thiết của đề tài .................................................................................................... 1
2. Mục đích nghiên cứu .......................................................................................................... 2
3. Đối tượng và phạm vi nghiên cứu ...................................................................................... 2
4. Phương pháp nghiên cứu ................................................................................................... 3
CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ CÁC GIAO THỨC GIÁM T LỖI
MẠNG VÀ TỔNG QUAN VỀ CÁC KỸ THUẬT HỌC MÁY ....................................... 4
1.1 Tổng quan về các giao thức giám sát lỗi mạng ................................................................ 4
1.1.1 Tổng quan về SNMP .................................................................................................. 4
1.1.2 Giới thiệu về Log ....................................................................................................... 8
1.1.3 Tổng quan về Syslog .................................................................................................. 9
1.1.4 Các ứng dung để ghi log .......................................................................................... 13
1.1.5 Tổng quan về IPFIX ................................................................................................. 17
1.1.6 Tổng quan về CLI .................................................................................................... 18
1.2 Một số thuật toán học máy ............................................................................................. 20
1.2.1 Mạng Nơ ron nhân tạo ............................................................................................. 20
1.2.2 Cây quyết định ......................................................................................................... 23
1.2.3 K-means Cluster ....................................................................................................... 25
1.3 Các công trình nghiên cứu có liên quan ......................................................................... 27
1.4 Kết luận chương ............................................................................................................. 31
CHƯƠNG 2: GIẢI PHÁP PHÂN LOẠI VÀ MÔ HÌNH DỮ LIỆU CẢNH BÁO ....... 32
2.1 Giới thiệu chương .......................................................................................................... 32
2.2 Mô hình dữ liệu .............................................................................................................. 32
2.2.1 Mô tả đầu vào ........................................................................................................... 32
2.3 Giải pháp phân loại ........................................................................................................ 34
2.4 Kỹ thuật TFx IDF .......................................................................................................... 37