Học Máy
(IT 4862)
ễhậ
Nguy
ễ
n N
hậ
t Quang
quangnn-fit@mail.hut.edu.vn
Trường Đại học Bách Khoa Hà Nội
Viện Công nghệ thông tin và truyền thông
Năm học 2011-2012
Nội
d
ô
h
Nội
d
ung m
ô
n
h
ọc:
Giới thiệu chun
g
g
Đánh giá hiệunăng hệthống họcmáy
Cá
h
h
d
tê
á
ất
Cá
cp
h
ương p
p
h
ọc
d
ựa
t
r
ê
n x
á
csu
ất
Các phương pháp họccógiámsát
Các phương pháp học không giám sát
Lọc
cộng
tác
Lọc
cộng
tác
Họctăng cường
2
Học Máy – IT 4862
Đánh giá hiệu năng hệthống học máy (1)
Việc đánh giá hiệu năng hệ thống học máy thường được
thựchiệndựatrênthực nghiệm(
experimentally
)hơnlà
thực
hiện
dựa
trên
thực
nghiệm
(
experimentally
)
,
hơn
là
dựa trên phân tích (analytically)
•Các đánh
g
iá
p
hân tích
(
anal
y
tical evaluation
)
nhằm
gp ( y )
chứng minh một hệ thống là đúng đắn (correct) và
hoàn chỉnh (complete) (vd: các bộ chứng minh định lý
trong Logics)
trong
Logics)
•Không thể xây dựng một đặc tả (định nghĩa) hình thức
của vấn đề mà m
ộ
t h
ệ
thốn
g
h
ọ
c má
y
g
iải
q
u
y
ết
(
Đối
ộ ệ gọyg qy
(
với bài toán học máy, thì tính đúng đắn và tính hoàn
chỉnh là gì?)
3
Học Máy – IT 4862
Đánh giá hiệu năng hệthống học máy (2)
Tập trung vào việc đánh giá hiệu năng của hệ thống
•
Thựchiệnmộtcáchtựđộng
sửdụng mộttậpcácví
•
Thực
hiện
một
cách
tự
động
,
sử
dụng
một
tập
các
ví
dụ (tập thử nghiệm)
•Khôn
g
cần sự tham
g
ia
(
can thiệ
p)
của n
g
ười dùn
g
gg( p) g g
Các phương pháp đánh giá (evaluation methods)
→L
à
m
sao
có
được
m
ộ
t
đá
nh
g
i
á
đá
n
g
tin
cậy
v
ề
hi
ệu
àsaocóđượcộ đágáđág cậyề ệu
năng của hệ thống?
Các tiêu chí đánh
g
iá
(
evaluation metrics
)
g( )
→Làm sao để đo (tính toán) hiệu năng của hệ thống?
4
Học Máy – IT 4862
Các
p
hươn
g
p
há
p
đánh
g
iá (1)
p
gp p g
ấ
Được dùng để huấn
ố
Tậphu
ấ
n
luyện
luyệnhệth
ố
ng
Toàn bộ
tậpvídụTậptốiưu
Tùy chọn; và được dùng để tối
ưu các tham sốcủahệthống
T
ập
kiểm
Được dùng để đánh giá
hệthống đã(saukhi)
đ
hấ
lệ
ập
thử
đ
ược
h
u
ấ
n
l
uy
ệ
n
5
Học Máy – IT 4862