ĐÁNH GIÁ NGHIỆM PHÁP CHẨN ĐOÁN
PGS.TS. Kim Bảo Giang Trường Đại học Y Hà Nội
Nội dung
Đánh giá sự đồng nhất trong chẩn đoán
• • Đánh giá giá trị của nghiệm pháp chẩn
đoán
1
Tin cậy và giá trị (Reliability and validity)
1. Độ tin cậy (reliability) repeatability, reproducibility: đo lường cùng 1 chỉ số, trên cùng đối tượng,
trong cùng điều kiện
=> cùng kết quả
2
Độ tin cậy khi lặp lại test (Test-Retest Reliability): Nhất quán về kết quả đo lường khi thực hiện lại NPCĐ (The consistency of a measure from one time to another)
Độ tin cậy (reliability)
Độ tin cậy (đồng nhất) giữa những người chẩn đoán (Inter- Rater or Inter-Observer Reliability): Nhất quán về kết quả đo lường giữa những người chẩn đoàn khác nhau (The degree to which different observers give consistent estimates of the same phenomenon)
3
Độ đồng nhất giữa nhiều người chẩn đoán (Inter-Observer Reliability)
Kappa
4
Ý nghĩa của Kappa
• Kappa test (K) được sử dụng để đánh giá phần trăm
đồng ý giữa 2 người khi đánh giá về 1 hiện tượng sức khoẻ nào đó sau khi đã loại bỏ vai trò của các yếu tố may rủi (chance).
• Nếu cả hai đều thống nhất ý kiến trong tất cả mọi trường
hợp nhận định, K = +1.
• Nếu tỷ lệ đồng ý quan sát được (observed agreement)
giữa 2 người >= tỷ lệ đồng ý mong đợi (expected agreement) hay còn gọi là đồng ý do may rủi thì K 0. Nếu tỷ lệ đồng ý quan sát được nhỏ hơn hoặc bằng tỷ lệ đồng ý do may rủi; K 0.
BS1
-
Tổng
+
BS 2
+
a
b
p1
-
c
d
q1
Tổng
p2
q2
1
a, b, c, d = tỷ lệ %
5
Doctor 2
+
-
Total
+
Doctor 1
1467
1309
2776
-
782
16232
17014
Total
2249
17541
19790
Doctor 2
Positive
Negative
Total
Doctor 1
Positive
0.074
0.066
0.140
Negative
0.040
0.820
0.860
Total
0.114
0.886
1.000
= 0.54
KAPPA
<0.4
Yếu
0.4-0.6
TB
0.61-0.80
Tốt
0.81-1
Rất tốt
6
Bài tập
Mở file Kappa.dta
Dùng menue hoặc dùng câu lệnh
• kap
7
GIÁ TRỊ CỦA NGHIỆM PHÁP CHẨN ĐOÁN
2. Tính giá trị (validity) • Liệu test nhanh có giá trị trong chẩn đoán đái
tháo đường không?
• Liệu test PY có giá trị trong chẩn đoán ung thư dạ
dày?
• Sử dụng bộ câu hỏi có giá trị trong chẩn đoán
nghiện rượu?
- Tính giá trị là khả năng đo lường đúng đặc tính
quan tâm (cần đo)
8
Nghiệm pháp chẩn đoán là gì?
• Là bất cứ triệu chứng, nhóm triệu chứng lâm
sàng hay kết quả cận lâm sàng xuất hiện trong một bệnh nào đó được sử dụng để làm chỉ điểm định hướng cho chẩn đoán một bệnh/một tình trạng.
9
Hai loại nghiệm pháp chẩn đoán
• Nghiệm pháp định tính: kết quả là có-không hoặc
dương tính-âm tính: chụp phim có hình ảnh gãy xương hay không
• Nghiệm pháp định lượng: kết quả là các biến liên tục
hoặc các biến hạng mục như số đo huyết áp; hàm lượng đường máu; có bệnh nhẹ, vừa, nặng, v.v.
Đánh giá nghiệm pháp chẩn đoán Đánh giá dựa trên hình vẽ (1)
• Năm 1966 đơn vị chăm sóc mạch vành của bệnh viện Edinburg được thành lập. Đơn vị nhận tất cả các BN dưới 70 tuổi có nghi ngờ có NMCT trong vòng 48h. Đơn vị này nhanh chóng trë lªn qu¸ t¶i Làm thế nào để phân biệt được BN thực sự nhồi máu cơ tim? BN nghi ngờ và BN chắc chắn NMCT?
• Theo dõi nhận thấy tình trạng tăng men creatinin Kinase có thể giúp chẩn đoán NMCT sớm hơn là SGOT và SGPT
10
Đánh giá nghiệm pháp chẩn đoán Đánh giá dựa trên hình vẽ (2)
• Lấy máu của 360 BN vào viện, còn sống và tiến hành
XN Creatine kinase (CK) 2 lần: • Lúc nhập viện • Sáng hôm sau
• Lấy KQ điện tâm đồ, bệnh án, và KQ mổ tử thi làm tiêu chuẩn vàng. Một bác sĩ “mù” với KQ CK được phân công đọc KQ điện tâm đồ, mổ tử thi (nếu BN chết) và bệnh án • sóng Q khổng lồ, ST chênh, T muộn hoặc mổ tử thi (+):
• 35 BN trong nhóm có NM và 0 BN trong nhóm không NM có CK >= 480
Nhồi máu CK Không nhồi máu + 0 35 480 0 8 440 0 7 400 0 15 360 0 19 320 1 13 280 1 18
240
1 19 200
0
21 160 5 30 120 8 30 80 26 13 40
88
•2 Bn trong nhóm có Nm và 88 BN trong nhóm không Nm có CK <40
11
2 0 130 230
Nhồi máu Không nhồi máu CK
0
+ 15% 37% 0 480 3% 0% 0 440 3% 0 400 7%
0
Xác định 360 8% 1%
320
6% 1% 280 63% 8% 100% 1% 240 8% 0 200 9% 4% 160 13% 6% 120 13% 20% 80 6% 67% 40 1% 0 100% 100%
Nhồi máu CK Không nhồi máu + 0 15% 42% 480 0 3% 1% 440 0 3%
Xác định
400 0 7% 360 0 8% 320 1% 6% 280 1% 58% 8% 99% 240 1% 8% 200
0
9%
160
4% 13% 120 6% 13% 99% 33% 80 20% 6% 40
67%
12
1% Loại trừ 67% 0 100% 100% 1%
Đánh giá nghiệm pháp chẩn đoán Tính độ nhạy, độ đặc hiệu, giá trị dự đoán âm tính và dương tính • Độ nhạy (Sensitivity)= số trường hợp dương
tính với nghiệm pháp/ số trường hợp thực sự có bệnh khả năng phát hiện bệnh của nghiệm pháp, dương tính thật
• Độ đặc hiệu (Specificity)= số trườnghợp âm tính với nghiệm pháp/ số trường hợp thực sự không có bệnhkhả năng loại trừ TH không có bệnh của nghiệm pháp, âm tính thật
Giá trị dự đoán dương tính và giá trị dự đoán âm tính
• Độ nhạy và độ đặc hiệu giúp XĐ giá trị của một
nghiệmpháp nhưng trên lâm sàng khi một BN âm tính hay dương tính với một nghiệm pháp thì bác sĩ cần biết khả năng thực sự không có bệnh của BN(-) là bao nhiêu hoặc khả năng thực sự có bệnh của một BN (+) là bao nhiêu? Giá trị dự đoán • Giá trị dự đoán dương tính (Positive Predicted Value- PPV)= Số trường hợp dương tính có bệnh/ tổng số trường hợp dương tính
• Giá trị dự đoán âm tính (Negative Predicted Value-
NPV)= Số TH âm tính không có bệnh/ tổng số âm tính với nghiệm pháp
13
Giá trị dự đoán âm tính và dương tính
Tổng
Tình trạng nhồi máu
Chuẩn vàng Nghiệm pháp
Không
Có 215
16
231
Kết quả xét nghiệm
a+b
a c
b d
129
Dương tính Ck>=80 Âm tính CK<80
15
114
c+d
230
130
Tổng
a+c
b+d
360 a+b+c+d
PPV= a/(a+b)= 215/231= 93%-> 93% số TH dương tính thực sự có bệnh
NPV= d/(b+d)= 114/129=88% 88% số TH âm tính thực sự không có bệnh
Tỷ lệ hiện mắc= 230/360= 64%
Đặc điểm của PPV và NPV
• Độ nhạy và độ đặc hiệu thường không thay đổi ở các
quần thể có tỷ lệ hiện mắc bệnh khác nhau
• PPV tăng, giảm cùng chiều với tỷ lệ hiện mắc bệnh trong
quần thể
• NPV tăng giảm ngược chiều với tỷ lệ hiện mắc bênh trong
quần thể
• Tính lại PPV và NPV khi SD test để chẩn đoán ở các
quần thể khác nhau
14
Giá trị dự đoán âm tính và dương tính : Thay đổi tỷ lệ hiện mắc
Tổng
Tình trạng nhồi máu
Chuẩn vàng Nghiệm pháp
Không
Có 215
248
463
Kết quả xét nghiệm
a+b
a c
b d
1837
Dương tính Ck>=80 Âm tính CK<80
15
c+d
1822
230
2070
Tổng
a+b+c+d
a+c
b+d
PPV= a/(a+b)= 215/463= 46%
NPV= d/(b+d)= 1822/1837=99%
Tỷ lệ hiện mắc= 230/2300=10%
Các chỉ số thường dùng
Độ nhạy (Sensitivity)= khả năng một người có bệnh mà dương tính (tính đúng đắn của xét nghiệm đối với người mắc bệnh)
P(T+ | D+)
Độ đặc hiệu (Specificity) = khă năng một người không có bệnh mà âm tính (tính đúng đắn của xét nghiệm đối với người không mắc bệnh)
P(T- | D-)
Giá trị dự đoán dương tính (PV+): : khả năng một người dương tính mà có bệnh (tỉ lệ xét nghiệm đúng ở người có kết quả dương)
P(D+ | T+)
Giá trị dự đoán âm tính (PV-) : khả năng một người âm tính mà có bệnh (tỉ lệ xét nghiệm đúng ở người có kết quả âm)
P(D- | T-)
Khả năng phân biệt bệnh – không bênh của test: ROC analysis (AUC) : diện tích vùng dưới đường cong ROC Hệ số đúng (+/-)- (likelihood ratio- LK+/-)
15
Thực tế có bệnh
-
+
a
b
+
Test
-
d
c
Sensitivity: a / (a + c) Specificity: d / (b + d) a / (a + b) PV+: d / (c + d) PV-: (a+c)/(a+b+c+d) Prev:
Ví dụ
• Dùng test đo hàm lượng đường máu để chẩn đoán bệnh đái
tháo đường cho một nhóm gồm 10000 người. Biết rằng trong đó có 500 bệnh nhân đã được chẩn đoán đái tháo đường. Sử dụng test này cho kết quả dương tính trên 2250 người, tuy nhiên trong số dương tính chỉ có 350 người thực sự mắc bệnh.
16
Tình hình bệnh thực tế
-
+
350
1900
2250
+
Test
-
7600
7750
150
500
9500
Sensitivity: a / (a + c) = 350/ (350 + 150) =
70%
Specificity: d / (b + d) = 7600 / (1900 + 7600) = 80%
PV+:
a / (a + b) = 350 / (350 + 1900) =
15,6%
PV-:
d / (c + d) = 7600 / (150 + 7600) =
98%
Sử dụng stata
17
• Bài tập: Đối với bệnh lý phình động mạch não, chụp cộng hưởng từ không những đánh giá tốt các đặc điểm của túi phìnhcũng như tổn thương nhu mô não liên quan, mà còn đánh giá được hình ảnh toàn bộ mạch máu não, cho nhiều thông tin giúp đánh giá tổng thể tổn thương để có quyết định điều trị thích hợp Đánh giá khả năng phát hiện PĐMN trên CHT đối chiếu với CMSHXN người ta thực hiện trên 88 BN, CHT sử dụng xung TOF và xung mach Gd+ rồi sử dụng kết quả chụp mạch số hóa xóa nền làm chuẩn vàng để đánh giá. - File số liệu: chan doan phinh mach nao.dta - Biến số: - Chuẩn : pdmntrendsa - CHT: pdmntrentof, pdmntrengd
Đánh giá khả năng phát hiện PĐMN trên CHT đối chiếu với CMSHXN (tính theo số bệnh nhân)
CMSHXN
Tổng
CMSHXN
Số BN
CHT
Không
Có
Có
47
2
50
Xung TOF
Không
6
1
6
Tổng số BN
53
3
56
Tổng
CMSHXN
Số BN
Có
Không
Xung mạch
Có
47
2
49
+ Gd
Không
6
1
7
Tổng số BN
53
3
56
18
Với chuẩn vàng là Chụp mạch số hóa xóa nền (CMSHXN), CHT xung mạch TOF có: Độ nhạy = 47/53 = Độ đặc hiệu = 1/3 = Giá trị dự báo dương tính = 47/50 = Giá trị dự báo âm tính = 1/6 = CHT xung mạch có tiêm thuốc có: Độ nhạy = Độ đặc hiệu = Giá trị dự báo dương tính = Giá trị dự báo âm tính =
Phân tích ROC
Phân tích ROC để kiểm tra khả năng phân biệt của test giữa trường
hợp bệnh và không bệnh.
Vẽ đường cong ROC: nối các điểm cắt giữa độ nhạy (Sens) và 1-
độ đặc hiệu (1- Spe)
Diện tích vùng dưới đường cong ROC (AUC): Giá trị từ 0,5 đến 1
◦ Giá trị =0,5: khả năng phân biệt của test chỉ như may rủi
◦ Giá trị >=0,75: khả năng phân biệt chấp nhận được.
◦ Giá trị=1: test phân biệt được chính xác tất cả các trường hợp
bệnh- không bệnh
◦ Lưu ý khoảng tin cậy của AUC: không được chứa 0,5
19
.90-1 = rất tốt(A) .80-<.90 = tốt (B) 0.7- <.80 = TB .60-<.70 = kém (D) .50-.60 = rất kém (F)
Sử dụng Stata
• roctab
• File so lieu: nhoimaucotim.dta
20
Sens 99%; Spe. 95%
D+
D-
Tổng
D+
D-
Tổng
T+
495
475
970
T+
99
495
594
T-
5
9025
9030
T-
1
9405
9406
Tổng
500
9500 10000
Tổng
100
9900 10000
Prev: 5% Prev: 1%
21
Tỷ lệ hiện mắc không ảnh hưởng đến Sen and Spe
Sens 100%; Prev. 10%
D+
D-
Tổng
D+
D-
Tổng
1000
450
1450
T+
T+
1000
2700
3700
0
8550
8550
T-
T-
0
6300
6300
Tổng
1000
9000 10000
Tổng
1000
9000 10000
Sử dụng nhiều test chẩn đoán
• Lần lượt (Sequential tests)
Spe: 95% Spe: 70%
D+
D-
Tổng
D+
D-
Tổng
T+
315
190
505
T+
350
1900
2250
T-
35
1710
1745
T-
150
7600
7750
Tổng
350
1900
2250
Tổng
500
9500 10000
SD test 1 SD test 2 350 TH + 315 TH + 500 trường hợp bệnh
Sen=315/500=63%
22
Spe.=(1710 +7600)/9500=98%
Sử dụng nhiều test chẩn đoán
• Đồng thời (Simultenous
tests)
Test 1
Test 2
Có 350-315=35 TH chỉ (+) với Test 1
Có 450-315=135 TH chỉ (+) với Test 2 Co 315 TH + với cả 2 test
Sử dụng nhiều test chẩn đoán
• Đồng thời (Simultenous
Sens=485/500 Có 315 + 35 + 135=485 TH (+) với ít nhất 1 test =97%
tests)
Test 1
Test 2
23
Spe. =6840/9500=72% Co 6840 TH (-) với cả 2 test
Tính tỷ lệ mắc bệnh thực tế
AP + (Specificity-1) = ------------------------------------ (Sensitivity + Specificity-1)
Hệ số chẩn đoán đúng (Likehood ratio)
• Khả năng có kết quả nào đó ở nhóm có bệnh so với khả năng có
kết quả đó ở nhóm không có bệnh.
• Hệ số đúng (+) viết tắt là LK(+):
Khả năng test (+) ở nhóm có bệnh Sensitivity
------------------------------------------------------------- = -------------------------
• Hệ số đúng (-) viết tắt là LK(-)
Khả năng test (+) ở nhóm không có bệnh 1- Specificity
Khả năng test (-) ở nhóm có bệnh 1- Sensitivity
------------------------------------------------------------- = -------------------------
24
Khả năng test (-) ở nhóm không có bệnh Specificity
