Nâng cao hiệu quả phân lớp dữ liệu không cân bằng sử dụng kỹ thuật tăng mẫu thiểu số và đặc trưng của mỗi cụm

Bài báo "Nâng cao hiệu quả phân lớp dữ liệu không cân bằng sử dụng kỹ thuật tăng mẫu thiểu số và đặc trưng của mỗi cụm" của Phan Anh Phong và Lê Văn Thành, đăng trên Vinh University Journal of Science Vol. 53, No. 3A/2024, đề xuất một phương pháp mới để giải quyết vấn đề phân lớp dữ liệu không cân bằng. Phương pháp này kết hợp thuật toán phân cụm K-means và kỹ thuật sinh mẫu thiểu số VCIR nhằm tạo ra các mẫu nhân tạo có tính đại diện cao, phản ánh sát đặc trưng của dữ liệu thực tế. Kết quả thực nghiệm cho thấy phương pháp đề xuất có hiệu quả vượt trội so với các phương pháp phổ biến khác như SMOTE, Borderline-SMOTE, Kmeans-SMOTE và SVM-SMOTE trên một số độ đo đánh giá.

Nghiên cứu này hướng đến việc giải quyết bài toán phân lớp dữ liệu không cân bằng, đặc biệt trong các lĩnh vực như y tế, tài chính, và phát hiện gian lận, nơi mà việc nhận diện chính xác các mẫu thuộc lớp thiểu số (ví dụ: bệnh hiếm gặp, giao dịch gian lận) có ý nghĩa quan trọng. Mục tiêu là phát triển một phương pháp mới có thể cải thiện độ chính xác và hiệu suất của các mô hình phân lớp trên các tập dữ liệu có sự chênh lệch lớn giữa số lượng mẫu của các lớp.

Nghiên cứu này tập trung vào việc cải thiện hiệu quả phân lớp trong bối cảnh dữ liệu không cân bằng, một vấn đề phổ biến trong nhiều ứng dụng thực tế. Tác giả giới thiệu một phương pháp kết hợp giữa thuật toán phân cụm K-means và kỹ thuật sinh mẫu thiểu số VCIR (Variance-based Class Imbalance Reduction). Điểm nổi bật của phương pháp là tạo ra các mẫu dữ liệu tổng hợp (synthetic data) có tính đại diện cao, gần gũi với đặc trưng của dữ liệu gốc, từ đó giúp mô hình phân lớp hoạt động tốt hơn trên lớp thiểu số.

Phương pháp Kmeans-VCIR bao gồm các bước chính sau:

1. **Phân cụm dữ liệu:** Sử dụng thuật toán K-means để chia tập dữ liệu thành các cụm.
2. **Lọc cụm:** Loại bỏ các cụm có tỷ lệ mất cân bằng giữa lớp đa số và thiểu số vượt quá một ngưỡng cho trước (irt).
3. **Tính toán mật độ:** Xác định độ thưa thớt của lớp thiểu số trong mỗi cụm bằng cách sử dụng ma trận khoảng cách Euclid và tính khoảng cách trung bình giữa các mẫu.
4. **Sinh mẫu:** Áp dụng kỹ thuật VCIR để tạo ra các mẫu mới trong từng cụm, sử dụng trọng tâm (median) của lớp thiểu số thay vì điểm trung bình như trong CIR gốc. Công thức sinh mẫu: fmin + hj * C, trong đó fmin là bản ghi gần trọng tâm C nhất, và hj là một số ngẫu nhiên trong khoảng (0, 1).

Kết quả thực nghiệm cho thấy phương pháp Kmeans-VCIR đạt được hiệu suất tốt hơn so với các phương pháp SMOTE và các biến thể của nó trên một số bộ dữ liệu (Breast_tissue, Vehicle) khi sử dụng thuật toán Decision Tree. Tuy nhiên, hiệu quả có thể không cao trên các bộ dữ liệu có tỷ lệ mất cân bằng quá lớn giữa các cụm (Ecoli).

Nghiên cứu này đóng góp vào lĩnh vực xử lý dữ liệu không cân bằng bằng cách đề xuất một phương pháp sinh mẫu mới có khả năng tạo ra các mẫu nhân tạo chất lượng, cải thiện hiệu suất phân lớp. Hướng nghiên cứu tiếp theo có thể tập trung vào việc thử nghiệm phương pháp này trên nhiều bộ dữ liệu khác nhau và kết hợp với các thuật toán phân lớp khác để đánh giá tính tổng quát của phương pháp.