TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008
140
ĐÁNH GIÁ SỰ TÁC ĐỘNG CỦA MỘT DỰ ÁN
HOẶC CHƯƠNG TRÌNH PHÁT TRIỂN: PHƯƠNG
PHÁP PROPENSITY SCORE MATCHING
IMPACT EVALUATION OF A DEVELOPMENT PROGRAM OR
PROJECT: APPROACH PROPENSITY SCORE MATCHING
APPROACH
LƢƠNG VINH QUỐC DUY
Trường Đại Học Kinh Tế Tp. Hồ Chí Minh
TÓM TẮT
Đánh giá tác động của dự án hoặc chương trình phát triển giúp cho chủ đầu tư
hoặc nhà tài trợ xác định liệu dự án đã mang lại kết quả như mong muốn không,
và liệu những kết quả đó có thực sự do dự án mang đến hay không. Bài viết này
sẽ trình bày một cách cô đọng việc đánh giá sự tác động bằng phương pháp
Propensity Score Matching (gọi tắt là phương pháp PSM), một phương pháp
được đánh giá cao trong việc đưa đến một kết quả có sức thuyết phục cao trong
đánh giá sự tác động của dự án đối với người tham gia dự án.
ABSTRACT
The impact evaluation of development projects or programs helps investors or
donors determine whether the outcomes have been reached, or such outcomes
really come from the projects. This paper briefly introduces the Propensity Score
Matching approach (PSM), an approach highly appreciated for showing rigorous
results in evaluation of impact on participants.
1. Giới thiệu
Thực chất của việc đánh giá sự tác động là so sánh lợi ích mà ngƣời tham
gia thu đƣợc sau khi dự án xuất hiện. Sự so sánh có thể thực hiện theo thời gian
hoặc theo không gian hoặc kết hợp cả hai. Theo thời gian thì gọi là so sánh trƣớc
và sau dự án còn theo không gian là so sánh giữa ngƣời tham gia và ngƣời không
tham gia1, và khi kết hợp đƣợc cả không gian và thời gian thì sự so sánh sẽ phản
ánh đầy đủ nhất tác động của dự án. Nội dung trung tâm trong hoạt động đánh giá
sự tác động là tạo ra đƣợc sự tương đồng trong quá trình so sánh, nghĩa là việc so
sánh theo thời gian phải đƣợc thực hiện đối với cùng một ngƣời tham gia, còn so
sánh theo không gian phải đƣợc diễn ra giữa những ngƣời tham gia và không tham
gia có những đặc điểm tƣơng tự nhau. Cần phải có sự tƣơng đồng trong so sánh,
nếu không kết quả thu đƣợc có thể sẽ quá cao hoặc quá thấp so với tác động thực,
sự tƣơng đồng trong so sánh giúp chúng ta có thể tiếp cận đến giá trị tác động đích
thực của dự án. Chẳng hạn, để so sánh năng suất của hai giống lúa khác nhau,
ngƣời ta sẽ trồng cả hai loại trong một điều kiện tự nhiên và dƣới sự săn sóc nhƣ
1 “Ngƣời không tham gia” là các tổ chức, hộ gia đình hoặc cá nhân không tham gia vào dự án.
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008
141
nhau, có nhƣ vậy thì sự khác biệt về năng suất sẽ thực sự xuất phát từ bản thân của
giống lúa. Tuy nhiên, trong lĩnh vực khoa học xã hội, việc tạo ra sự tƣơng đồng
trong so sánh không hề đơn giản. Chẳng hạn, rất khó có thể tìm đƣợc những hộ gia
đình có đặc điểm giống nhau hoàn toàn về nhân khẩu học, giá trị tài sản sở hữu,
năng lực và kinh nghiệm trong sản xuất-kinh doanh... Vì vậy, trên lý thuyết, các
phƣơng pháp đánh giá sự tác động hƣớng đến việc tạo ra sự tƣơng đồng trong khi
so sánh.
Có nhiều phƣơng pháp để tạo ra sự tƣơng đồng trong so sánh, bao gồm so
sánh theo không gian, so sánh theo thời gian và so sánh kết hợp không gian và thời
gian. Trong đó phƣơng pháp so sánh theo không gian mà cụ thể là phƣơng pháp
Propensity Score Matching (PSM) đƣợc đánh giá rất cao trong đánh giá tác động
của dự án. Tính ƣu việt của phƣơng pháp PSM chính là tính khả thi của nó. Đối
với các phƣơng pháp so sánh có liên quan đến thời gian nhƣ so sánh phản thân
(reflexive comparisons) và khác biệt kép (double difference), cần phải tổ chức
khảo sát trong nội bộ ngƣời tham gia trước và sau khi tham gia dự án, sau đó so
sánh kết quả của hai đợt khảo sát sẽ đƣợc so sánh để tìm ra tác động của dự án.
Yêu cầu cơ bản của phƣơng pháp này là cả hai đợt khảo sát phải đƣợc thực hiện
đối với cùng một ngƣời tham gia để tạo ra sự tƣơng đồng trong so sánh. Mặc dù
phƣơng pháp này không phức tạp về kỹ thuật nhƣng không phải dự án nào cũng có
tổ chức khảo sát tiền dự án nên việc áp dụng phƣơng pháp so sánh theo thời gian
trở nên khó áp dụng. Việc đánh giá sự tác động thông thƣờng chỉ đƣợc đề cập đến
sau khi dự án đã đi vào hoạt động, vì thế việc so sánh theo không gian bằng PSM
trở nên khả thi hơn so với so sánh theo thời gian.
Các bƣớc cơ bản để thực hiện so sánh bằng PSM đƣợc tóm tắt nhƣ sau2:
- Bước 1: Tiến hành điều tra chọn mẫu hai nhóm: nhóm ngƣời tham gia và
nhóm ngƣời không tham gia. Cuộc điều tra này phải bảm bảo đƣợc tính tƣơng
đồng, chẳng hạn nhƣ cùng phiếu điều tra, cùng thời điểm, cùng ngƣời phỏng vấn,
cùng địa bàn …
- Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logic trong đó
biến phụ thuộc là 0 cho ngƣời không tham gia và 1 cho ngƣời tham gia, còn biến
độc lập là những nhân tố có thể ảnh hƣởng đến khả năng tham gia vào dự án của
cả hai nhóm.
- Bước 3: Tiến hành hồi quy cho mô hình logic rồi tính giá trị dự đoán hay
xác suất dự đoán (predicted propability) cho từng cá thể trong hai nhóm. Giá trị
xác suất dự đoán đƣợc gọi là propesity score, giá trị này sẽ nằm trong khoảng từ 0
đến 1.
- Bước 4: Loại bớt những cá thể có xác suất dự đoán quá thấp hoặc quá cao
so với cả mẫu.
2 Theo Baker (2000) và Ravallion (2001)
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008
142
- Bước 5: Tƣơng ứng với mỗi cá thể trong nhóm ngƣời tham gia, chúng ta
tìm một hoặc một số cá thể trong nhóm ngƣời không tham gia mà có xác suất dự
đoán gần giống nhau nhất rồi so sánh với nhau. Chẳng hạn, so sánh thu nhập của
cá thể trong nhóm ngƣời tham gia với thu nhập bình quân của các cá thể trong
nhóm ngƣời không tham gia mà có xác suất dự đoán gần giống nhau nhất. Kết quả
của những so sánh này là tác động của dự án đối với mỗi cá thể tham gia dự án,
gọi là “individual gains”.
- Bước 6: Cuối cùng tính trung bình của tất cả “individual gains” để đƣợc
giá trị trung bình chung, giá trị trung bình chung này chính là tác động của dự án
đối với những ngƣời tham gia.
Những bƣớc cơ bản là nhƣ vậy, còn thực tế sẽ phức tạp hơn hay đơn giản
hơn tùy từng dự án. Trong các bƣớc trên, hai bƣớc đầu tiên là quan trọng nhất và
khó nhất. Nếu làm tốt hai bƣớc này, việc tính toán còn lại chỉ đơn thuần là một bài
tính trừ.
2. Ứng dụng
Phƣơng pháp PSM đã đƣợc tác giả áp dụng để đánh giá tác động của một
dự án phát triển đàn bò sữa đối với các hộ tham gia vào dự án tại huyện Củ Chi,
TP.HCM năm 2003. Các bƣớc tiến hành đƣợc tóm tắt nhƣ sau:
- Bước 1: Tiến hành điều tra chọn mẫu hai nhóm hộ: 150 hộ có tham gia
dự án và 150 hộ không tham gia dự án. Cuộc điều tra này phải bảm bảo đƣợc tính
tƣơng đồng, chẳng hạn nhƣ cùng phiếu điều tra, cùng thời điểm, cùng ngƣời phỏng
vấn, cùng địa bàn …
- Bước 2: Từ số liệu của cuộc điều tra, xây dựng mô hình logit trong đó
biến phụ thuộc là 0 cho hộ không tham gia dự án và 1 cho hộ có tham gia dự án,
còn biến độc lập là những nhân tố có thể ảnh hƣởng đến khả năng tham gia vào dự
án của cả hai nhóm, ví dụ: đặc điểm nhân khẩu học của hộ, đặc điểm về hoạt động
chăn nuôi của hộ.
- Bước 3: Tiến hành hồi quy cho mô hình logit rồi tính giá trị dự đoán hay
xác suất dự đoán cho từng hộ ở cả hai nhóm.
- Bước 4: Loại bớt những hộ có xác suất dự đoán quá thấp hoặc quá cao so
với cả mẫu.
- Bước 5: Tƣơng ứng với mỗi hộ trong nhóm tham gia dự án, tìm một hoặc
một số hộ trong nhóm không tham gia dự án có xác suất dự đoán gần giống nhau
nhất rồi so sánh với nhau. Tổng cộng có 144 lƣợt so sánh đƣợc thực hiện, có 6 hộ
tham gia bị loại khỏi so sánh vì có xác suất dự đoán quá cao so với mẫu.
- Bước 6: Kết quả đánh giá tác động chung của dự án đối với thu nhập bình
quân đầu ngƣời/tháng của những hộ tham gia là gần 200.000 đồng. Con số này có
nghĩa là dự án đã có tác động tích cực đến thu nhập từ sữa của các hộ tham gia vào
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008
143
dự án, và xét trên tổng thể, thu nhập bình quân đầu ngƣời/tháng từ sữa của những
hộ tham gia cao hơn những hộ không tham gia là gần 200.000 đồng.
Để so sánh thu nhập giữa hai nhóm bất kỳ, ngƣời ta còn có thể áp dụng
phƣơng pháp so sánh giá trị trung bình giữa hai nhóm có kèm kiểm định T
(Independent Sample T-test). Áp dụng phƣơng pháp này vào dữ liệu khảo sát ở
trên sẽ đƣợc kết quả nhƣ sau:
Bảng 1: Kết quả so sánh thu nhập bình quân đầu người
theo “Independent Sample T-Test”
Giá trị chênh
lệch thu nhập
bình quân
Sai số
chuẩn
Trung bình
sai số chuẩn
t
Bậc
tự do
Mức ý nghĩa
thống kê ở
95%
324.514
937.525
76.548
-4,239
149
0,000
Nguồn: Tính toán từ dữ liệu điều tra hộ nông dân nuôi bò sữa năm 2003
Bảng 1 cho thấy kết quả so sánh bằng phƣơng pháp thông thƣờng cho ra
kết quả thu nhập bình quân đầu ngƣời của những hộ tham gia cao hơn những hộ
không tham gia là gần 325.00 đồng, trong khi đó kết quả từ phƣơng pháp PSM là
gần 200.000 đồng. Khoảng tin cậy cho giá trị tính toán về chênh lệch thu nhập
giữa hai nhóm đƣợc tính toán từ công thức sau3:
với
Kết quả khoảng tin cậy là (1 - 2) = 165.568 đến 483.461 đồng, nên cả hai
kết quả tính toán về giá trị tác động của dự án đều có ý nghĩa về mặt thống kê,
nhƣng theo nhận xét của các chuyên gia trong lĩnh vực chăn nuôi bò sữa tại vùng
nghiên cứu thì kết quả của phƣơng pháp PSM có vẻ hợp lý hơn con số đƣợc tính
theo cách so sánh thông thƣờng.
3. Gợi ý cho việc áp dụng phương pháp PSM
Phƣơng pháp PSM giúp xác định và so sánh những đối tƣợng có nét tƣơng
đồng, vì vậy cần mẫu quan sát tƣơng đối lớn. Ngoài ra, cần nhận diện tốt những
nhân tố có thể tác động đến khả năng tham gia và không tham gia vào dự án của
các đối tƣợng nghiên cứu, làm cơ sở cho mô hình logic. Với các dự án và chƣơng
3 Wonnacott and Wonnacott (1990: 265-266)
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 3(26).2008
144
trình phát triển, các chủ đầu tƣ đôi khi miễn cƣỡng tiến hành đánh giá tác động đối
với đối tƣợng thụ hƣởng vì quan ngại kết quả đánh giá tác động có thể không nhƣ
kỳ vọng, sẽ ảnh hƣởng đến uy tín của chủ đầu tƣ. Thêm vào đó, hoạt động đánh
giá tác động cũng có thể chiếm một khoản kinh phí không nhỏ đối với chủ đầu tƣ
(khảo sát dữ liệu, xử lý dữ liệu, thuê chuyên gia…). Vì vậy, với một nguồn lực hạn
chế, hoạt động đánh giá tác động thƣờng bị bỏ qua trong tiến trình của một dự án.
Tuy nhiên, nếu xét trong dài hạn, kết quả đánh giá tác động của dự án này sẽ là bài
học kinh nghiệm quý giá cho những dự án tƣơng tự sau đó, nhờ đó, hiệu quả của
dự án sẽ đƣợc cải thiện và nâng cao.
Trong bối cảnh hiện nay khi hiệu quả của các dự án phát triển nhằm thực
hiện mục tiêu phát triển kinh tế không cao và đang là một vấn đề quan tâm của
chủ dự án – các tổ chức và chính quyền các địa phƣơng. Phƣơng pháp PSM này có
thể sử dụng tốt trong đánh giá tính hiệu quả của các dự án phát triển khi triển khai
thực hiện ở các địa phƣơng trƣớc khi đƣợc tiến hành đại trà trên diện rộng. Phƣơng
pháp này sẽ góp thêm một công cụ góp phần nâng cao hiệu quả các dự án qua đó
góp phần phát triển kinh tế bền vững cho địa phƣơng và đƣợc sử dụng bởi chính
quyền các địa phƣơng và các tổ chức tài trợ dự án.
TÀI LIỆU THAM KHẢO
[1] Baker, J.L. (2000) Direction in Development-Evaluating the Impact of
Development Projects on Poverty-A Handbook for Practicioners, Ngân hàng
Thế giới, Washington, D.C.
[2] http://www.worldbank.org/poverty/library/impact.pdf, ngày truy cập:
20/10/2002.
[3] Ravallion, M. (2001) „The Mystery of the Vanishing Benefits: An
Introduction to Impact Evaluation‟, The World Bank Economic Review, quyển
15, số 1, từ trang 115 đến trang 140.
[4] Wonnacott, T.H. và Wonnacott, R.J. (1990) Introductory Statistics. New
York: John Wiley&Son, tái bản lần thứ 5.