ĐẠI HỌC QUỐC GIA TP. HCHÍ MINH
TRƯỜNG ĐI HỌC CÔNG NGHTHÔNG TIN
1
Y DỰNG HÌNH MÁY
HỌC
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM
NỘI DUNG
Thực hiện bởi Trường Đại học Công nghệ Thông tin, ĐHQG-HCM 2
I. Model Selection Evaluation
A. Holdout Validation
B. Cross Validation
C. Adversarial Validation
D. Hyper-parameters Optimization
E. Evaluation Metric
II. Handle Imbalanced Data Method
A. Resampling
B. Cost sensitive learning
C. Tools
III. Error Analysis Model
18 May, 2024
Trường ĐH CNTT – Lập trình Python cho Máy học (CS116)
Làm thế nào để đánh giá/đo lường
mô hình có hoạt động tốt hay không?
Đánh giá hiệu
suất mô hình
Evaluation Metric?
Lựa chọn & so
sánh mô hình
Chỉ số đánh giá so sánh dự đoán của
các mô hình với các giá trị mục tiêu thực
tế
Khi phát triển các mô hình ML, người
ta thường thử nghiệm các thuật toán,
siêu tham số hoặc kỹ thuật kỹ thuật
tính năng khác nhau
Các chỉ số đánh giá cho phép so
sánh công bằng giữa các mô hình
khác nhau, giúp xác định mô hình
hoạt động tốt nhất
Tại sao lại dùng đánh giá số liệu?
Trường ĐH CNTT – Lập trình Python cho Máy học (CS116)
Tập trung vào việc cải thiện các khía
cạnh của hiệu suất của mô hình có
liên quan nhất đến vấn đề cụ thể
Tối ưu hóa mô
hình
Why Evaluation Metric?
Chẩn đoán sự
cố mô hình
Số liệu đánh giá có thể được sử dụng
làm hàm mục tiêu trong quá trình huấn
luyện mô hình
Các vấn đề như overfitting hoặc
underfitting, mất cân bằng lớp hoặc
phương sai cao trong dự đoán khi huấn
luyện mô hình
Một số chỉ số đánh giá có thể giúp
xác định vấn đề
Tại sao Evaluation Metric?
Trường ĐH CNTT – Lập trình Python cho Máy học (CS116)
Tại sao Evaluation Metric?
Làm thế nào để giúp truyền đạt hiệu
suất của một mô hình cho các bên
liên quan?
Giải thích hiệu
suất của mô
hình
Why Evaluation Metric?
Giám sát và
bảo trì
Chỉ số đánh giá cung cấp cơ sở để diễn
giải hiệu quả của mô hình tác động
kinh doanh tiềm năng
Hiệu suất của một mô hình học máy được
triển khai cần được theo dõi để đảm bảo
duy trì hiệu quả theo thời gian.
.
Các chỉ số đánh giá có thể được sử dụng
để theo dõi hiệu suất của mô hình và kích
hoạt cập nhật hoặc huấn luyện lại khi cần
thiết.