Khóa luận tốt nghiệp: Nghiên cứu một số phương pháp xử lí việc mất cân bằng dữ liệu trong bài toán khách hàng rời bỏ sử dụng các mô hình học máy

Trong lĩnh vực học máy, đặc biệt là các bài toán phân loại, dữ liệu mất cân bằng là một thách thức phổ biến và nghiêm trọng. Tình trạng này xảy ra khi một lớp dữ liệu chiếm ưu thế về số lượng so với lớp khác, dẫn đến các mô hình học máy bị thiên vị và kém hiệu quả trong việc dự đoán các trường hợp thuộc lớp thiểu số quan trọng. Điều này gây ảnh hưởng đáng kể đến độ chính xác và độ tin cậy của các hệ thống trong nhiều ứng dụng thực tế như chẩn đoán bệnh, phát hiện gian lận và dự báo khách hàng rời bỏ. Nghiên cứu này nhằm mục đích khám phá và đánh giá các phương pháp xử lý mất cân bằng dữ liệu, đồng thời phân tích tác động của chúng lên hiệu suất của các mô hình học máy phổ biến như Decision Tree, Random Forest, XGBoost và KNN, từ đó đề xuất giải pháp tối ưu cho từng loại dữ liệu và mô hình cụ thể.

Sinh viên ngành Công nghệ thông tin, Khoa học dữ liệu, Kỹ sư máy học, các nhà nghiên cứu và chuyên gia dữ liệu quan tâm đến tối ưu hóa hiệu suất mô hình trên dữ liệu mất cân bằng.

Nghiên cứu này tập trung vào giải quyết vấn đề mất cân bằng dữ liệu, một thách thức cốt lõi trong các bài toán phân loại của học máy. Khi dữ liệu mất cân bằng, các mô hình thường có xu hướng ưu tiên lớp đa số, dẫn đến hiệu suất dự đoán kém chính xác đối với lớp thiểu số – vốn thường chứa các thông tin quan trọng như trường hợp bệnh hiếm hoặc giao dịch gian lận. Để khắc phục tình trạng này, đề tài đã tiến hành khảo sát và phân tích sâu rộng các phương pháp xử lý mất cân bằng dữ liệu chính. Cụ thể, nghiên cứu trình bày chi tiết về hai nhóm kỹ thuật chính: Over Sampling và Under Sampling. Trong Over Sampling, các phương pháp như SMOTE, ADASYN và Borderline-SMOTE được xem xét, tập trung vào việc tạo ra các mẫu tổng hợp cho lớp thiểu số để cân bằng dữ liệu mà không gây mất thông tin. Ngược lại, các kỹ thuật Under Sampling như Random Under Sampling, NearMiss và Tomek Links được giới thiệu với mục tiêu giảm bớt số lượng mẫu của lớp đa số. Nghiên cứu cũng đi sâu vào cơ sở lý thuyết của các mô hình học máy phổ biến như K-Nearest Neighbors (KNN), Decision Tree, Random Forest và XGBoost, đồng thời đánh giá khả năng của chúng trong việc xử lý dữ liệu mất cân bằng. Thông qua việc ứng dụng các phương pháp này vào các bộ dữ liệu thực tế (như dữ liệu khách hàng rời bỏ của Telco và dữ liệu giao dịch thẻ tín dụng), nghiên cứu hướng tới việc so sánh hiệu quả và đề xuất chiến lược cân bằng dữ liệu tối ưu cho từng kịch bản cụ thể. Kết quả và hàm ý của nghiên cứu này có giá trị ứng dụng cao, góp phần cải thiện độ tin cậy và hiệu suất của các hệ thống dự báo trong nhiều lĩnh vực quan trọng như y tế, tài chính và quản lý rủi ro, giúp đưa ra các quyết định chính xác hơn dựa trên dữ liệu. Đây là một bước tiến quan trọng trong việc xây dựng các mô hình học máy mạnh mẽ và công bằng hơn.