BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC BÁCH KHOA HÀ NỘI
LÊ BÍCH PHƯỢNG
ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH
VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN
VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY
LUẬN ÁN TIẾN SĨ TOÁN HỌC
Hà Nội - 2023
BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC BÁCH KHOA HÀ NỘI
LÊ BÍCH PHƯỢNG
ÁP DỤNG CÁC PHƯƠNG PHÁP GIẢI TÍCH
VÀ TỐI ƯU TOÁN HỌC VÀO PHÂN LỚP NHỊ PHÂN
VÀ PHÂN ĐOẠN HÌNH ẢNH TRONG HỌC MÁY
Ngành: Toán học
Mã số: 9460101
LUẬN ÁN TIẾN SĨ TOÁN HỌC
NGƯỜI HƯỚNG DẪN KHOA HỌC
HD1: PGS.TS. NGUYỄN XUÂN THẢO
HD2: GS.TSKH. NGUYỄN TIẾN DŨNG
Hà Nội - 2023
LỜI CAM ĐOAN
Luận án này được viết dựa trên những nghiên cứu của tác giả tại Đại học
Bách khoa Hà Nội, dưới sự hướng dẫn của thầy PGS.TS. Nguyễn Xuân Thảo
và thầy GS.TSKH. Nguyễn Tiến Dũng.
Các kết quả trong luận án này là mới và chưa từng công bố trong bất kỳ
công trình khoa học nào của tác giả khác.
Hà Nội, ngày 24 tháng 3 năm 2023
Nghiên cứu sinh
Lê Bích Phượng
TM. Tập thể hướng dẫn
PGS. TS. Nguyễn Xuân Thảo
LỜI CẢM ƠN
Luận án được hoàn thành tại Đại học Bách khoa Hà Nội, dưới sự hướng dẫn
khoa học tận tình của thầy PGS.TS. Nguyễn Xuân Thảo và thầy GS.TSKH.
Nguyễn Tiến Dũng. Tác giả xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất
tới các thầy.
Tác giả xin chân thành cảm ơn Viện Toán ứng dụng và Tin học cũng như
Phòng Đào tạo - Đại học Bách khoa Hà Nội đã tạo mọi điều kiện thuận lợi
cho tác giả trong suốt quá trình học tập và nghiên cứu tại đây.
Tác giả xin bày tỏ lòng biết ơn sâu sắc đến GS.TSKH. Nguyễn Hùng Sơn
(Đại học Tổng hợp Warszawa, Ba Lan) và TS. Nguyễn Thị Thúy Nga (Torus
Actions SAS) người thầy và người bạn đã luôn động viên tác giả trong quá
trình học tập, nghiên cứu và có những ý kiến đóng góp sâu sắc về nội dung
khi tác giả hoàn thành luận án.
Tác giả xin chân thành cảm ơn Ban Giám hiệu, các thầy cô trong Khoa
Khoa học Cơ bản, Bộ môn Toán, Trường Đại học Mỏ - Địa chất, nơi tác giả
đang công tác, đã tạo mọi điều kiện thuận lợi cho tác giả trong quá trình hoàn
thành luận án.
Cuối cùng và đặc biệt quan trọng, tác giả xin gửi lời cảm ơn từ tận đáy lòng
đến gia đình mình, nơi luôn dành cho tác giả tình yêu thương vô hạn. Trong
quá trình học tập và hoàn thành luận án, các thành viên trong gia đình đã
luôn sát cánh, động viên và ủng hộ tác giả, đó chính là nguồn động lực to lớn
giúp tác giả hoàn thành luận án của mình.
Tác giả
Lê Bích Phượng
MỤC LỤC
LỜI CAM ĐOAN ........................................
LỜI CẢM ƠN ..........................................
MỤC LỤC ............................................ 1
DANH MỤC CÁC KÍ HIỆU ................................. 3
DANH MỤC CÁC CHỮ VIẾT TẮT ............................. 4
DANH MỤC CÁC BẢNG ................................... 5
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
DANH MỤC CÁC THUẬT NGỮ CƠ BẢN . . . . . . . . . . . . . . . . . . . . . . . . 8
DANH MỤC CÁC ĐỊNH NGHĨA QUAN TRỌNG .................... 10
MỞ ĐẦU ............................................. 11
Chương 1. KIẾN THỨC CHUẨN BỊ 20
1.1 Mô hình chung của quá trình học máy . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2 Dữ liệu cho học máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.3 Các “đặc trưng” trong học máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.4 Kiểm tra hiệu quả của máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.5 Biểu quyết và kiểm định chéo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.6 Tối ưu dựa trên Gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.7 Phép tích chập và mạng nơ-ron tích chập . . . . . . . . . . . . . . . . . . . . . . . . 35
1.8 Kết luận và bình luận cuối chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Chương 2. ĐỘ CHÍNH XÁC CỦA MÁY PHÂN LOẠI NHỊ PHÂN 38
2.1 Các thước đo độ chính xác của máy phân loại nhị phân . . . . . . . . . . . . . . . . 38
2.1.1 Âm tính, dương tính và ba tỉ lệ cơ bản . . . . . . . . . . . . . . . . . . . . . . 38
2.1.2 Độ chính xác có trọng số (weighted accuracy) . . . . . . . . . . . . . . . . . . 41
2.1.3 Độ chính xác cân bằng (balanced accuracy) . . . . . . . . . . . . . . . . . . . 42
2.1.4 Điểm số F (F-score) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.2 Đường cong ROC và các thước đo độ chính xác của các máy phân loại nhị phân mềm 45
2.3 Phép chiếu thông tin, hàm sigmoid và máy tối ưu . . . . . . . . . . . . . . . . . . . . 50
2.4 Cải thiện độ chính xác bằng biểu quyết . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.5 Kết luận và bình luận cuối chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Chương 3. ẢNH HƯỞNG CỦA HÀM MẤT MÁT ĐẾN CÁC BÀI TOÁN PHÂN LOẠI NHỊ PHÂN 57
3.1 Tổng quan về các hàm mất mát (loss function) . . . . . . . . . . . . . . . . . . . . . 57
3.1.1 Các hàm mất mát hồi quy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.1.2 Các hàm mất mát phân loại (phân lớp) . . . . . . . . . . . . . . . . . . . . . 59
3.1.3 Các hàm mất mát thường dùng trong bài toán phân đoạn hình ảnh . . . . . 60
3.2 Học máy vi phân và hàm mất mát . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3 Hàm mất mát lồi và xác suất bị bóp méo . . . . . . . . . . . . . . . . . . . . . . . . 67
3.4 Các hàm mất mát không lồi và các bẫy ngẫu nhiên . . . . . . . . . . . . . . . . . . . 69
3.5 Kết luận và bình luận cuối chương . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
1
