QUY TRÌNH THEO DÕI VÀ ĐÁNH GIÁ
PHIÊN BẢN 3
Chương trình hợp tác Nông nghiệp và Phát triển nông thôn
Việt Nam
Tháng 01/2010
January 2010
MỤC LỤC
2.1 2.2 2.3
3.1 3.2 3.3 3.4 3.5
5
5.1 5.2 5.3 5.4 5.5
Tóm tắt 1 KHUNG M&E CỦA CARD.............................................................................................. 1 Giới thiệu.................................................................................................................... 1 1.1 1.2 Tổng quan................................................................................................................... 1 1.3 M&E cấp Dự án ......................................................................................................... 2 1.4 M&E tại cấp độ Chương trình.................................................................................... 2 1.5 M&E cấp độ thể chế................................................................................................... 3 1.6 Sự phù hợp của M & E trong chu trình dự án CARD................................................ 3 1.7 Mục đích của tài liệu này ........................................................................................... 3 2 NGUYÊN TẮC CƠ BẢN THEO DÕI VÀ ĐÁNH GIÁ................................................... 4 Tổng quan................................................................................................................... 4 Năm câu hỏi chính...................................................................................................... 4 Dự án khác nhau, cách tiếp cận khác nhau................................................................. 5 3 M&E TRONG CHƯƠNG TRÌNH CARD ........................................................................ 6 Tổng quan................................................................................................................... 6 Phương pháp Khung Logic (Logframe) ..................................................................... 6 Kết quả / tác động trung gian và cuối cùng................................................................ 7 Thiết kế đối với tác động............................................................................................ 8 Khi nào Theo dõi và Đánh giá?.................................................................................. 8 4 KỸ THUẬT M & E VÀ ĐÁNH GIÁ TÁC ĐỘNG .......................................................... 9 Các tiêu chí kết quả .................................................................................................. 10 4.1 Các nguồn thông tin và thời điểm của Tác động...................................................... 11 4.2 Sử dụng những phát hiện tiêu cực............................................................................ 12 4.3 Thông tin cơ bản....................................................................................................... 12 4.4 Tùy chọn cho so sánh ............................................................................................... 14 4.5 Phân tích Đóng góp .................................................................................................. 14 4.6 Những công cụ M&E đặc biệt.................................................................................. 15 4.7 Những tác động được đánh giá ................................................................................ 17 4.8 Giám sát môi trường................................................................................................. 18 4.9 4.10 Đánh giá thành công của dự án ................................................................................ 18 PHÂN TÍCH LỢI ÍCH CHI PHÍ TRONG M & E........................................................... 19 Tổng quan................................................................................................................. 19 Xác định lợi ích và chi phí ....................................................................................... 19 Khái niệm nông trại đại diện .................................................................................... 21 Ngân sách trang trại.................................................................................................. 21 So sánh Chi phí và Lợi nhuận .................................................................................. 22 6 KẾ HOẠCH ĐÁNH GIÁ CHƯƠNG TRÌNH CARD ..................................................... 23 Tổng quan................................................................................................................. 23 Đánh giá giữa kỳ ...................................................................................................... 23 Đánh giá dự án và đánh giá hoàn thành Chương trình............................................. 23 Đánh giá sau dự án ................................................................................................... 24 Nhu cầu đào tạo thêm............................................................................................... 25 Kết luận .................................................................................................................... 25 6.1 6.2 6.3 6.4 6.5 6.6
Phụ lục 1: Thuật ngữ và các định nghĩa Phụ lục 2: Quy trình và Mô tả nhiệm vụ cho Đánh giá giữa kỳ Phụ lục 3: Quy trình và Mô tả nhiệm vụ cho Đánh giá hoàn thành dự án Phụ lục 4: Các Mẫu phân tích tài chính doanh nghiệp
January 2010
CARD – M&E Procedures
NHỮNG CHỮ VIẾT TẮT
Nhà thầu quản lý của Úc Báo cáo tiến độ hàng năm Cơ quan phát triển quốc tế của Úc Phân tích Lợi nhuận/Chi phí Tỷ số Lợi nhuận/Chi phí Chương trình Hợp tác NN và PTNT Đánh giá Tác động môi trường Kế hoạch quản lý môi trường Thư bày tỏ quan tâm Quỹ Phát triển NN quốc tế Giám sát và Đánh giá Bộ NN và PTNT Đánh giá giữa kỳ Ban Điều hành Chương trình Đánh giá hoàn thành dự án Báo cáo hoàn thành dự án Ban Quản lý Chương trình Vụ KHCN và Môi trường (thuộc Bộ NN và PTNT) Ban Tư vấn kỹ thuật Bản mô tả chức năng nhiệm vụ AMC APR AusAID BCA BCR CARD EIA EMP EOI IFAD M&E MARD MTR PCC PCE PCR PMU STED TAP TOR
LỜI CẢM ƠN Kế hoạch và thủ tục M & E CARD được mô tả trong tài liệu này dựa trên khuyến nghị của AusAID về theo dõi và đánh giá dự án như mô tả trong AusGuide được tải về từ www.ausaid.gov.au / ausguide. Tài liệu cũng có từ "Hướng dẫn M & E cho các dự án" của Quỹ Quốc tế về Phát triển Nông nghiệp (IFAD) và tải về từ www.ifad.org/evaluation/guide..
January 2010
2
CARD – M&E Procedures
KHUNG GIÁM SÁT VÀ ĐÁNH GIÁ CHƯƠNG TRÌNH CARD
DỰ ÁN CHƯƠNG TRÌNH BỘ NN&PTNT THỂ CHẾ PMU CÁC VIỆN NGHIÊN CỨU
THỰC HIỆN CHƯƠNG TRÌNH ĐÓNG GÓP CỦA DỰ ÁN Thông tin cơ sở
ĐÁNH GIÁ ĐẦU VÀO ĐỀ XUẤT DỰ ÁN/BÁO CÁO KHỞI ĐẦU Tham quan thực địa và báo cáo
Tự đánh giá. Nghiên cứu trường hợp Tự đánh giá. Phân tích các bên tham gia lúc bắt đầu
ĐÁNH GIÁ ĐẦU RA BÁO CÁO TIẾN ĐỘ DỰ ÁN Đánh giá tiến độ theo mục tiêu Báo cáo đánh giá tiến độ Tham quan thực địa và báo cáo
Đầu vào Khung Logic và đánh giá hoạt động Tỷ số định tính để đánh giá thành công của dự án Đánh giá Chương trình ĐÁNH GIÁ TÁC ĐỘNG ĐÁNH GIÁ KẾT THÚC DỰ ÁN Báo cáo kết thúc dự án Tự đánh giá lúc kết thúc. Nghiên cứu trường hợp lực chọn Tham quan thực địa và cho điểm tác động Đánh giá hoạt động nội bộ trong phạm vi Khung logic Đánh giá năng lực/thái độ lúc bắt đầu dự án Đánh giá hoạt động bên ngoài với tư vấn của Bô NN&PTNT. Đánh giá năng lực/thái độ lúc kết thúc dự án Đánh giá PMU và đánh giá tác động của CARD đến Bộ NN&PTNT. Đánh giá năng lực/thái độ lúc kết thúc dự án
ĐÁNH GIÁ TÁC ĐỘNG TỔNG THỂ
January 2010
1
CARD – M&E Procedures
GIÁM SÁT VÀ ĐÁNH GIÁ TRONG CHU TRÌNH DỰ ÁN CARD
Các hoạt động
EOI Thư bày tỏ sự quan tâmt
Các Cơ quan
Phản hồi và bài học kinh nghiệm
TAP Ban Tư vấn Kỹ thuật
PCC Ban Điều hành Chương trình CARD
chủ trì dự án xác định ý tưởng Dự án
PCR Báo cáo hoàn thành Dự án
Chuẩn bị Thư bày tỏ quan tâm (EOI), nộp CARD
Sửa và nộp lại EOI
Các giai đoạn M&E Đánh giá trước dự án Bắt đầu từ đây
Ban Trợ giúp KT (TAP) Đánh giá EOI
Kiến nghị của TAP gửi Ban Điều hành CARD (PCC)
PCC xem xét EOIs và đưa ra danh sách ngắn
Phản hồi của PCC
Bài học kinh nghiệm
Phản hồi của thẩm định
Và tiếp tục suốt quá trình thiết kế dự án
Cho các vòng tài trợ sau về thiết kế và thực hiện Dự án
Chủ trì Dự án viêt Thuyết minh dự án và Nộp cho thẩm định độc lập Sửa lại Thuyết minh dự án nếu cần và nộp TAP
TAP đánh giá Thuyết minh DA
Kiến nghị của TAP gửi cho PCC
Thẩm định lần cuối và PCC phê duyệt
Phản hồi của PCC
Hợp đồng xác định các kết quả, thành quả và các điểm mốc
Thỏa thuận hợp đồng và chi trả theo Điểm mốc giữa CARD và Dự án
Giám sát tiếp tục suốt giai đoạn thực hiện
Thực hiện Dự án Do chủ trì dự án thực hiện và tự Giám sát
Báo cáo Giám sát - Nghiên cứu tình hình thực tế - Các báo cáo 6 tháng - Các báo cáo kết quả - Các báo cáo Kỹ thuật - PCR
Số liệu giám sát được sử dụng cho quá trình đánh giá
Đánh giá hoàn thành dự án độc lập
Đánh giá khởi đầu được thực hiện lúc hoàn thành dự án
Đánh giá sau Dự án độc lập
Đánh giá sau Dự án được thực hiện một thời gian sau
Các báo cáo đánh giá - Tính thiết thực - Hiệu quả - Hiệu suất - Tác động - Bền vững - Bài học kinh nghiệm
Các đánh giá dự án được tổng hợp lại để đánh giá toàn bộ chương trình
Đánh giá độc lập tổng thể danh mục R&D của CARD-MARD
January 2010
i
CARD – M&E Procedures
TÓM TẮT
Một trong những mục tiêu chính của CARD là tăng cường năng lực của Bộ NN & PTNT trong việc quản lý các chương trình phát triển kỹ thuật và kiến thức nông nghiệp. Quản lý tốt các chương trình đó phụ thuộc vào việc có thể giám sát và đánh giá chương trình về tính Phù hợp, Hiệu quả, Hiệu suất, Tác động và Tính bền vững. Điều này cho thấy nghiên cứu và phát triển (R & D) là một đầu tư cần phải được đánh giá cùng với cơ hội đầu tư khác, để đảm bảo các khoản đầu tư tốt nhất được lựa chọn từ những thay thế rất khác nhau. CARD đang trong quá trình xây dựng năng lực cho Bộ NN & PTNT để thực hiện M & E cho các dự án R & D, bắt đầu thực hiện với các dự án hiện đang được CARD hỗ trợ. Là một phần của quá trình này CARD thuê chuyên gia M & E thực hiện tập huấn và thực hiện dịch vụ cho một nhóm cán bộ của Bộ NN & PTNT và các Viện nghiên cứu liên quan. Vòng tập huấn đầu tiên đã hoàn thành vào tháng 4/2007, vòng hai được thực hiện trong tháng 9 -10/2008, và một hội thảo đánh giá M & E đã được tiến hành vào tháng 01/2010. Khung M & E của CARD phục vụ cho yêu cầu M & E ở cấp dự án cũng như thể chế của quy trình CARD trong Bộ NN & PTNT. Các yếu tố chính của nó là: • M & E dự án nhằm đánh giá tiến độ và tác động của dự án hợp tác nghiên cứu về nâng cao năng suất và khả năng cạnh tranh của hộ sản xuất nhỏ; • M & E Chương trình CARD nhằm đánh giá tiến độ và tác động của toàn bộ Chương trình, cả về lợi ích đối với người sản xuất nhỏ và nâng cao năng lực của các tổ chức nghiên cứu, để thực hiện hiệu quả các dự án nghiên cứu; • M & E ở cấp thể chế Bộ NN & PTNT trong việc đánh giá cải thiện năng lực trong Bộ NN & PTNT (STED) trong tổ chức và quản lý Chương trình nghiên cứu của Bộ NN & PTNT Chương trình CARD đã tập trung vào việc giám sát ở cấp độ dự án riêng rẽ thông qua các báo cáo Điểm mốc và được đưa lên trang web. Trong năm 2008 và 2009 CARD bắt đầu đánh giá 8 Dự án đang thực hiện và 14 dự án đã kết thúc thông qua Đánh giá giữa kỳ (MTRs) và Đánh giá hoàn thành Dự án (PCEs) đã được cung cấp trong phiên bản trước đây của tài liệu này. Báo cáo này là bước đầu tiên hướng tới đánh giá tổng thể Chương trình CARD. Tài liệu này đưa ra các phương pháp tiếp cận đề xuất và thủ tục đánh giá dự án riêng rẽ dựa trên các dữ liệu giám sát đã được tích lũy, và sau đó tập hợp những đánh giá này để đánh giá cấp độ chương trình và cuối cùng đến cấp độ thể chế. Tài liệu đã được soạn thảo song song với một chương trình đào tạo một nhóm cán bộ Bộ NN & PTNT và các tổ chức nghiên cứu liên quan trong 3 buổi hội thảo và 21 nghiên cứu trường hợp. Chương trình đào tạo cho thấy sự tiến bộ đáng kể trong việc phát triển một nhóm đánh giá có khả năng bước đầu đánh giá tất cả các dự án CARD, và sau đó được tăng cường đánh giá cho toàn bộ danh mục đầu tư R&D của Bộ NN & PTNT. CARD đang đến giai đoạn cuối của thời hạn bảy năm và vì thế đây là thời gian thích hợp để thực hiện nhiều PCE. Tài liệu này đưa ra một lịch trình để tiến hành những đánh giá này trong thời gian còn lại của Chương trình. CARD sẽ hỗ trợ cung cấp huấn luyện và hướng dẫn cho các nhóm đánh giá hợp đồng cũng như đào tạo trên công việc về phương pháp đánh giá. Những lợi ích sẽ là cải thiện thiết kế dự án, xác định các lĩnh vực có lợi nhuận đầu tư cao (thấp), cải thiện tính phù hợp và tác động của dự án, và cải tiến tính rõ ràng, minh bạch trong phân bổ nguồn lực cho nông nghiệp và phát triển nông thôn
January 2010
ii
1 KHUNG M&E CỦA CARD 1.1 Giới thiệu Một trong những mục tiêu chính của CARD là tăng cường năng lực của Bộ NN & PTNT về quản lý chương trình phát triển kiến thức và kỹ thuật nông nghiệp và. Quản lý tốt các chương trình đó phụ thuộc vào việc có thể giám sát và đánh giá chương trình về tính Phù hợp, Hiệu quả, Hiệu suất, Tác động và Tính bền vững. CARD đang trong quá trình xây dựng năng lực cho Bộ NN & PTNT để thực hiện M & E cho các dự án R & D, bắt đầu với các dự án hiện đang được CARD hỗ trợ. Là một phần của quá trình này CARD thuê chuyên gia M & E để thực hiện đào tạo và thực hiện dịch vụ cho một nhóm cán bộ của Bộ NN & PTNT và các Viện nghiên cứu liên quan 1.2 Tổng quan Mục đích của M & E là để học để có những can thiệp phát triển trong tương lai có thể có hiệu quả hơn. M & E không phải là một kiểm tra hoặc thực nghiệm. Nó không phải là kiểm toán. Những kết quả tiêu cực có giá trị cung cấp để chúng tôi học hỏi. Quá trình học tập chủ yếu là nội bộ CARD và các đơn vị thành viên tham gia CARD. Tuy nhiên nhu cầu học tập nội bộ phải được cân bằng với trách nhiệm bên ngoài. Các dự án có trách nhiệm với các bên liên quan nói riêng và và xã hội Việt Nam nói chung tới tài khoản cho các chi tiêu, hoạt động, đầu ra và tác động. Có một tổng quan về M & E cấp dự án về phát triển nông nghiệp mà chủ yếu hướng tới những tác động lâu dài của dự án đầu tư lớn như những viện trợ của Ngân hàng Thế giới, ADB và IFAD. CARD bao gồm một bộ các dự án tương đối nhỏ có ý định tạo ra lợi ích cho các bên liên quan cả ngắn hạn và dài hạn. Về vấn đề này, CARD cần một cách tiếp cận M & E hơi khác với các mô hình sách giáo khoa tiêu chuẩn, và đó chắc chắn là rẻ hơn và ít phức tạp. Khung M & E CARD (xem sơ đồ trên trong tài liệu này) yêu cầu cách tiếp cận đáp ứng yêu cầu cho M & E ở cấp dự án, cấp Chương trình cũng như các thể chế của các quá trình CARD trong Bộ NN & PTNT. Các yếu tố chính của nó là: • M & E các Dự án nghiên cứu dự án nhằm đánh giá tiến độ và tác động của dự án hợp tác nghiên cứu về nâng cao năng suất và khả năng cạnh tranh của hộ sản xuất nhỏ; • M & E Chương trình CARD nhằm đánh giá tiến độ và tác động của toàn bộ Chương trình, cả về lợi ích đối với người sản xuất nhỏ và nâng cao năng lực của các tổ chức nghiên cứu, để thực hiện hiệu quả các dự án nghiên cứu- đây là hiệu quả tổng của tất cả các hiệu quả thực hiên từng dự án; và • M & E ở cấp thể chế Bộ NN & PTNT trong việc đánh giá cải thiện năng lực trong Bộ NN & PTNT (STED) trong tổ chức và quản lý Chương trình nghiên cứu của Bộ NN & PTNT Mục đích của Khung M&E đối với chương trình là để: • Tạo thông tin có sẵn kịp thời và phù hợp để hỗ trợ các quyết định quản lý hiệu quả của Ban QLDA, Ban điều phối Chương trình (PCC), AMC và AusAID. • Đánh giá tiến độ của dự án và xác định những vấn đề để việc quản lý có thể có những hành động cần thiết; và • Cung cấp thông tin cho quản lý nội bộ và báo cáo bên ngoài
January 2010
CARD – M&E Procedures
1.3 M&E cấp Dự án Chiến lược M & E ở cấp dự án xoay quanh việc phát triển một khung đơn giản hóa cho từng dự án, và từ đó phát triển các mốc đầu ra và kết quả và giao nộp sản phẩm đối với mỗi hợp đồng dự án. Các điểm mốc là báo cáo tiến độ sáu tháng ghi nhận những kết quả so với các hoạt động khung và xác định những điểm nổi bật và các vấn đề trong thực hiện dự án. Các điểm mốc đầu ra tập trung vào tác động ở cấp nông hộ nhỏ và thể chế. Một cột mốc quan trọng cho mỗi dự án là thiết lập các thông tin cơ bản về thực trạng, mức sản xuất và lợi nhuận. Các điểm mốc cuối cùng của mỗi dự án xác nhận về tác động của dự án liên quan đến thông tin cơ bản về thực trạng và viết Báo cáo hoàn thành dự án. Báo cáo Dự án gồm việc kết hợp các thành tích do các tổ chức tự đánh giá so với các biện pháp thực hiện cụ thể của họ, được chi tiết trong khung logic và mốc dự án. CB đánh giá của Ban QLDA theo dõi các dự án thông qua thẩm định các mốc kết quả đầu ra của Dự án. Một khi dự án hoàn thành, các nghiên cứu trường hợp độc lập của các dự án được chọn sẽ được đưa vào để đánh giá tác động tiềm năng về kinh tế, xã hội và môi trường. Ở cấp dự án báo cáo điểm mốc đầu ra gồm báo cáo tiến độ 6 tháng và Báo cáo hàng năm (APR) và Báo cáo hoàn thành Dự án (PCR). Báo cáo hàng năm và cuối của dự án so với kết quả các biện pháp thực hiện đã được quy định. Việc gửi báo cáo và thanh toán các mốc thực hiện được theo dõi trên cơ sở dữ liệu của Ban QLDA và bất cứ vấn đề có trong quá trình thực hiện đều được giải quyết thông qua các cuộc thảo luận giữa Ban QLDA và các Cơ quan nghiên cứu cộng tác. Báo cáo điểm mốc kết quả gồm đánh giá tác động ở quy mô nông hộ nhỏ và mức độ năng lực thể chế. Sử dụng dữ liệu thực trạng về kiến thức, kỹ năng và thực hành; và hoạt động thể chất và tài chính cấp nông hộ nhỏ, tất cả các dự án được yêu cầu phải đánh giá kết quả dự án của họ trong Bao cáo hoàn thành của dự án. 1.4 M&E tại cấp độ Chương trình Ở cấp độ chương trình chiến lược M & E là đánh giá tác động tổng hợp của các dự án và đánh giá những thay đổi về năng lực cơ quan nghiên cứu về chuẩn bị và thực hiện các dự án R & D chất lượng cao. Một cột mốc kết quả quan trọng cho tất cả các dự án gồm đánh giá các cải tiến về mức độ năng lực của CB nghiên cứu và khuyến nông. Ban quản lý dự án thăm các điểm nghiên cứu để đánh giá việc thực hiện và đánh giá tác động bằng cách sử dụng định dạng tiêu chuẩn được tổng hợp hợp với những đợt thăm và đánh giá của TAP để đánh giá chất lượng các dự án. Ở cấp độ chương trình Ban QLDA chuẩn bị một báo cáo hàng năm theo năm tài chính (từ tháng 7- tháng 6 năm sau) để trình bày trong các cuộc họp PCC vào tháng 3 để quyết toán trước 30 tháng 6 mỗi năm. Báo cáo hàng năm cung cấp bối cảnh cho sự phát triển của Kế hoạch hàng năm tiếp theo và cho phép các PMU / Điều phối viên kỹ thuật đưa vào bất kỳ sự can thiệp đáng kể để cải thiện quyền sở hữu của CARD trong Bộ và thông qua sự bền vững của CARD đó. Bằng cách này, M & E là một phần của quá trình lập kế hoạch và dự kiến đạt được kết quả trong tiếp tục cải tiến thực hiện Chương trình CARD. Báo cáo hàng năm bao gồm:
• Những điểm thực hiện chính, những vấn đề và lựa chọn. • Nhiều Dự án đã bắt đầu và tình hình thực hiện của từng Dự án trog mỗi năm. • Những kết quả đầu ra có ý nghĩa từ những dự án đã kết thúc. • Báo cáo tóm tắt dự án nghiên cứu gồm mục tiêu và các mốc sự kiện quan trọng và chấp nhận và thanh toán cho ácc các mốc dự án.
2 January 2010
CARD – M&E Procedures
• Tác động có ý nghĩa đáng kể của các kết quả nghiên cứu và xây dựng năng lực phát sinh từ Chương trình được tổ chức nghiên cứu tự đánh giá tính theo tự, nghiên cứu trường hợp và Báo cáo tiến độ của PMU.
• Tóm tắt các nguồn lực đầu vào và các hoạt động đạt được so với dự toán khung logic cũng như tỷ lệ chất lượng được tính toán từ việc phân tích hoạt động (thành tích so với các hoạt động trong khung Chương trình CARD. • Tóm lược xây dựng năng lực thể chế tăng lên từ phân tích từ các hoạt động nội bộ và bên ngoài liên quan đến Bộ NN & PTNT. • Các vấn đề, những khó khăn và đề xuất.
1.5 M&E cấp độ thể chế Ở cấp độ tổ chức một loạt các chỉ số hoạt động đã được thành lập để giám sát và đánh giá các thể chế về cơ cấu quản trị và quản lý và quy trình trong Bộ NN & PTNT. Một khía cạnh quan trọng của việc này là để đo lường sự thay đổi trong thái độ, niềm tin, hành vi và thực hành trong Bộ NN & PTNT (STED) liên quan đến chính sách, tổ chức và quản lý R & D. Một cuộc khảo sát được tiến hành sớm khi bắt đầu Chương trình để thiết lập thực trạng về năng lực thể chế. Cuộc khảo sát này sẽ được lặp lại trong nửa sau của năm 2010 để đánh giá mức độ thể chế hóa hệ thống, thủ tục và thực hành quản lý của CARD vào Bộ NN & PTNT và các tổ chức liên quan. 1.6 Sự phù hợp của M & E trong chu trình dự án CARD Các dự án CARD được thiết kế và thực hiện theo một trình tự các bước có thể được mô tả như là "Chu trình Dự án CARD". Phần 2 của Sơ đồ ở phía trên của tài liệu này đã chi tiết các bước trong chu trình. M & E bắt đầu sớm trong quá trình thiết kế, nơi các khung logic dự án xác định các tiêu chí về thành tích và các phương tiện xác minh. Dự án cũng được đánh giá độc lập ở giai đoạn Thư bày tỏ sự quan tâm (EOI), và một lần nữa ở giai đoạn đề nxuất dự án, để đánh giá kết quả đầu ra và tác động. Trong quá trình thực hiện, dự án dự kiến sẽ thu thập thông tin cơ bản và tự giám sát hoạt động của mình để cung cấp các dữ liệu cần thiết cho đánh giá tiếp theo. Đánh giá giữa kỳ (MTRs) có thể được thực hiện khi khoảng một nửa các mốc sự kiện quan trọng đã đạt được. Thẩm định hoàn thành dự án (PCE) độc lập diễn ra vào giai đoạn cuối của quá trình thực hiện dự án, và đánh giá hậu dự án được thực hiện một thời gian sau khi các tác động đầy đủ của dự án có thể rõ ràng. Các báo cáo M & E khác nhau được viết trong quá trình này để có sẵn cho thực hiện đánh giá tổng thể Chương trình. 1.7 Mục đích của tài liệu này
Cho đến nay Chương trình CARD đã tập trung vào việc giám sát ở cấp độ dự án. Giám sát đang được thực hiện với việc nộp và thẩm định báo cáo mốc sự kiện các chuyến làm làm việc tại thực địa. MTRs và PCEs đã được thực hiện trong năm 2008 và 2009. MTRs sẽ không tiếp tục được thực hiện, nhưng một số PCEs sẽ được thực hiện trong năm 2010 là năm cuối cùng của Chương trình. Điều này sẽ cho phép kết hợp tác động của từng dự án vào cấp độ chương trình. Tài liệu này đưa ra các phương pháp tiếp cận đề xuất, thủ tục đề nghị cho thực hiện đánh giá dự án riêng rẽ dựa trên các dữ liệu giám sát đã được tích lũy trong quá trình thực hiện, và sau đó tập hợp những đánh giá này lên đến cấp độ chương trình và cuối cùng đến cấp thể chế.
3 January 2010
CARD – M&E Procedures
2 NGUYÊN TẮC CƠ BẢN THEO DÕI VÀ ĐÁNH GIÁ 2.1 Tổng quan M & E là một công cụ thiết yếu trong việc quản lý các chương trình và dự án nghiên cứu và phát triển nông nghiệp và là một phần quan trọng trong khung khổ thực hiện CARD. Phần này mô tả các nguyên tắc cơ bản của M & E khi áp dụng trong chương trình CARD và theo sau là một phần mô tả các kỹ thuật có thể được sử dụng. Giám sát được định nghĩa là việc thu thập và phân tích thường xuyên thông tin để hỗ trợ ra quyết định kịp thời và cung cấp cơ sở để đánh giá và học tập. Nó là một chức năng liên tục tạo ra dữ liệu để cung cấp cho quản lý dự án và các bên liên quan với các tiêu chí ban đầu của tiến độ và việc đạt được các mục tiêu. Giám sát cung cấp dữ liệu để tạo ra những hiểu biết về tác động như là một phần của quá trình đánh giá. Giám sát chính quy liên quan đến việc thu thập dữ liệu về các tiêu chí được lựa chọn và các biện pháp thực hiện. Tuy nhiên giám sát chính quy liên quan đến định giá và chia sẻ những ấn tượng cũng là một thành phần quan trọng của quá trình. Không thể có đánh giá mà thiếu một hình thức giám sát Đánh giá được định nghĩa là một hệ thống (và khách quan nhất có thể) kiểm tra một dự án đã hoạch định, đang diễn ra hoặc đã hoàn thành. Nó nhằm mục đích trả lời câu hỏi quản lý cụ thể và đánh giá giá trị tổng thể của dự án và đưa ra các bài học kinh nghiệm để cải thiện kế hoạch hoạch và ra quyết định trong tương lai. 2.2 Năm câu hỏi chính Đánh giá thường tìm cách xác định mức độ phù hợp, hiệu quả, hiệu suất, tác động và tính bền vững của dự án (xem Hộp 1 dưới đây). Đánh giá cần cung cấp thông tin đáng tin cậy và hữu ích và đưa ra các bài học cụ thể kinh nghiệm để giúp các đối tác và cơ quan tài trợ ra quyết định tốt hơn. Hộp 1: Năm câu hỏi đánh giá chính 1. Tính Phù hợp: mức độ mà các mục tiêu của một dự án phù hợp với các ưu tiên của nhóm mục tiêu và các chính sách của Chính phủ. • Các mục tiêu có rõ ràng, thực tế và đo lường được? • Thiết kế dự án phù hợp để đạt được các mục tiêu? 2. Hiệu quả: thước đo mức độ mà một dự án đạt được, hoặc dự kiến sẽ đạt được, những mục tiêu một cách bền vững. • Tiến bộ trong việc đạt được mục tiêu • Chất lượng đầu ra • Mức độ lợi ích cho người dân mục tiêu 3. Hiệu suất: xác định cách mà các đầu vào được chuyển đổi vào đầu ra một cách kinh tế.
4 January 2010
CARD – M&E Procedures
• Tính kịp thời và phù hợp của thiết kế dự án và quy trình thực hiện • Hiệu quả thực hiện của các nhà thầu/hợp đồng. • Sức mạnh hỗ trợ của đối tác và giá trị của cuộc đối thoại. • Chất lượng quản lý CARD và hỗ trợ của Ban QLDA 4. Tác động: Sự thay đổi trong cuộc sống của người dân nông thôn, được họ và các đối tác của họ cảm nhận tại thời điểm đánh giá, cộng với thay đổi-tăng cường tính bền vững trong môi trường của họ mà dự án đã đóng góp. Việc đánh giá tác động là một phần đặc biệt quan trọng của quá trình M & E vì tác động là mục tiêu cuối cùng của bất cứ một sự khởi động R & D nông nghiệp nào. • Các tác động có thể về xã hội, tài chính, thể chế, công nghệ, hoặc môi trường tự nhiên. • Có thể tiến hành phân tích chi phí lợi ích để ước tính độ lớn của lợi ích tài chính. • Tác động có thể về chính sách cần được nhấn mạnh. 5. Tính bền vững: khả năng tác động tích cực của dự án (chẳng hạn như tài sản, kỹ năng, trang thiết bị, dịch vụ được cải thiện) sẽ kéo dài một thời gian dài sau khi dự án hoàn thành . • Tính bền vững của lợi ích. • Cần cho các chi phí liên tục tái phát hoặc đầu tư thêm. • Tính bền vững của năng lực thể chế. Đánh giá phải giải quyết tất cả các năm câu hỏi quan trọng để xác định bài học kinh nghiệm. Bài học kinh nghiệm: kiến thức tạo ra bởi phản ánh về kinh nghiệm, mà có tiềm năng để cải thiện các hành động trong tương lai. Bài học kinh nghiệm bao gồm ý nghĩa rộng lớn hơn các kết quả đánh giá trong quan hệ với chính sách ngành và thiết kế dự án trong tương lai và phương thức thực hiện với việc tập trung vào điểm mạnh và điểm yếu trong thiết kế và thực hiện dự án mà ảnh hưởng đến việc đạt được các mục tiêu. Năm câu hỏi đánh giá chính thường được cho điểm từ 1-5 trong đó 1 là kém nhất và 5 là tốt nhất. Cùng các câu hỏi được sử dụng cho cả MTR và PCE. Hướng dẫn áp dụng hệ thống chấm điểm được trình bày trong Phụ lục 2 (MTR) và Phụ lục 3 (PCE). M & E thực chất là một quá trình học tập nội bộ dựa vào thái độ xây dựng và đặt câu hỏi - nhưng nó cũng giúp đảm bảo trách nhiệm bên ngoài cho các cơ quan tài trợ và các bên liên quan khác. Nó thường là một bài tập có mục tiêu vì những khó khăn của quyền hạn, nghĩa là xác định khả năng các mối quan hệ nhân quả giữa đầu vào và đầu ra của dự án. Nó kêu gọi áp dụng các quan sát sâu sắc và ý thức phổ biến trong việc kể một câu chuyện đáng tin cậy về việc tại sao các hoạt động cụ thể tạo ra các kết quả cụ thể. M & E dựa trên logic thiết kế trong đó xác định các mối quan hệ nhân quả giữa đầu vào và đầu ra của dự án. Nếu logic thiết kế của dự án là yếu hoặc không chắc chắn, nó thường cho thấy để theo dõi và đánh giá. 2.3 Dự án khác nhau, cách tiếp cận khác nhau Các dự án khác nhau phải được đánh giá theo những cách khác nhau bởi vì bản chất của hoạt động dự án và những lợi ích và chi phí là khác nhau. Vì vậy không thể đưa ra một bộ tiêu chuẩn hóa thủ tục đánh giá. Bắt đầu mỗi bài tập đánh giá người đánh giá phải suy nghĩ cẩn thận về những thông tin họ sẽ cần và làm thế nào họ có thể có được nó tốt nhất. Các biện pháp
5 January 2010
CARD – M&E Procedures
gián tiếp hoặc ủy nhiệm đôi khi được sử dụng khi việc minh chứng đo lường trực tiếp không thể thực hiện được. Bước đầu tiên trong bất kỳ bài tập đánh giá nào là quá trình lập kế hoạch gồm các câu hỏi, danh sách kiểm tra và định dạng phân tích. Điều này sẽ khác nhau ví dụ giữa các dự án xây dựng năng lực và dự án phổ biến công nghệ, giữa các hoạt động sản xuất cây hàng năm và cây lâu năm, giữa các cây lương thực và cây công nghiệp, hoặc giữa các dự án về đào tạo chuyên sâu cho các nhóm nông dân lựa chọn và dự án phổ biến thông tin thông qua các phương tiện truyền thông đại chúng 3 M&E TRONG CHƯƠNG TRÌNH CARD 3.1 Tổng quan Trong Chương trình CARD, đánh giá tác động sẽ được sử dụng để đánh giá các dự án riêng rẽ do CARD tài trợ cũng như là đánh giá toàn bộ Chương trình CARD để xác định lý do thành công hoặc thất bại và các bài học kinh nghiệm. Điều này sẽ giúp quyết định có nên mở rộng hoặc lặp lại các tiếp cận của CARD cho R&D đối với toàn bộ danh mục đầu tư R&D của Bộ NN và PTNT không. Các hoạt động của dự án CARD nói chung là tự theo dõi của những người chủ trì hộ dự án thông qua hệ thống báo cáo tiến độ và báo cáo các mốc sự kiện quan trọng được quy định trong hợp đồng giữa CARD và những người chủ trì dự án. Việc tự giám sát được hỗ trợ bởi các chuyến thăm thực địa và các báo cáo tiến độ chính thức của các đối tác hợp tác. Khi các dự án CARD hoàn thành nó là thích hợp để bắt đầu quá trình đánh giá. Điều này sẽ được thực hiện với sự giúp đỡ của bên ngoài bằng cách sử dụng các đánh giá viên đã được đào tạo. Mặc dù đánh giá phải là một quá trình có sự tham gia, sự hỗ trợ bên ngoài là quan trọng để đảm bảo khách quan và đạt được những hiểu biết có thể không được rõ ràng cho những người đã gắn liền với các hoạt động dự án 3.2 Phương pháp Khung Logic (Logframe) Khung logic là phương tiện mô tả việc thiết kế các dự án và hình thành cơ sở để theo dõi và đánh giá tiếp theo. Các dự án CARD sử dụng một phiên bản đơn giản của phương pháp khung logic có cấu trúc như sau: tường thuật Hiệu suất Hiệu suất Mô tả Thông tin yêu cầu Các chỉ số thực hiện Biện pháp thực hiện Giả định và rủi ro
Mục tiêu Kết quả đầu ra Hoạt động Đầu vào Các yếu tố chính của các khung logic đơn giản của CARD được thể hiện trong Hộp 2: Hộp 2: Các yếu tố chính của các khung logic đơn giản của CARD Các mục tiêu: trình bày chi tiết những kết quả mong muốn của một dự án ở các cấp độ khác nhau (ngắn và dài hạn). Mục tiêu nên được định hướng theo tác động (hiệu quả), có thể đo
6 January 2010
CARD – M&E Procedures
lường, thời gian ràng buộc, cụ thể và thiết thực. Các kết quả đầu ra: kết quả cụ thể, có thể đo lường và các kết qủa dự định được tạo ra bởi việc cung cấp các đầu vào dự án để thực hiện các hoạt động dự án. Các hoạt động: hành động hoặc công việc được thực hiện trong một dự án để tạo ra các kết quả đầu ra cụ thể bằng cách sử dụng đầu vào như vốn, hỗ trợ kỹ thuật, máy móc và các nguồn lực khác. Đầu vào: tài chính, nhân lực và nguồn vật chất cần thiết để tạo ra các kết quả đầu ra. Kết quả và tác động được chi tiết theo các chỉ số hoạt động và các cách đo lường này được mô tả theo các biện pháp Đo lường kết quả hoạt động. Kết quả đầu ra là số ước lượng hoặc đo lường những thay đổi dự kiến sẽ diễn ra như là kết quả thực hiện dự án. Tác động mô tả sự thay đổi trong cuộc sống của người dân nông thôn được họ và đối tác của họ cảm nhận tại thời điểm đánh giá, cộng với thay đổi tính tăng tính bền vững trong môi trường của họ mà mà dự án dự kiến sẽ đóng góp. Xác định các kết nối hợp lý giữa các yếu tố khác nhau của khung logic là chìa khóa để ứng dụng thành công phương pháp khung logic, và ngụ ý, thành công trong theo dõi và đánh giá. Sau đây là một ví dụ về thiết kế logic được định nghĩa trong một bối cảnh khung logic: 1. Mục tiêu: nâng cao thu nhập, tiêu chuẩn đời sống và dinh dưỡng giữa các nông dân trồng lúa 2. Kết quả: Giới thiệu giống lúa năng suất cao 3. Hoạt động: Chương trình lai tạo giống cây trồng để tạo giống mới 4. Đầu vào: cán bộ, hạt giống, thiết bị, lô ruộng, phân bón vv 5. Kết quả: Cây trồng cải thiện cho năng suất cao trên đồng ruộng nông dân 6. Tác động: nông dân có nhiều thóc để ăn và bán dẫn đến có thu nhập và mức sống cao hơn Mục tiêu, kết quả đầu ra, hoạt động và đầu vào được quy định trong khung logic và tương đối dễ ước lượng hoặc đo lường. Tuy nhiên kết quả và tác động rất khó xác định, đo lường và đánh giá. Điều này thường đòi hỏi một mức độ phán xét về tỷ lệ chấp nhận và mức độ, tính chất của lợi ích cho các bên liên quan trong tương lai. Tính bền vững cũng là một vấn đề quan trọng trong việc đánh giá kết quả và tác động. Tại thời điểm đánh giá, thường chúng ta chỉ có thể suy luận hay đoán trước những tác động gì sắp tới có thể có được sau khi các lợi ích của dự án đã có thời gian để thể hiện đầy đủ. Điều này có thể là nhiều năm sau khi dự án hoàn thành và chỉ có thể được thực hiện thông qua đánh giá hậu dự án khách quan và chính thức (xem dưới đây). 3.3 Kết quả / tác động trung gian và cuối cùng
CARD hỗ trợ các dự án nhằm đem lại mục đích lợi cho nông hộ nhỏ nông thôn đông thông qua nâng cao năng suất, hiệu quả nâng cao và tính bền vững dẫn đến thu nhập của nông dân
7 January 2010
CARD – M&E Procedures
được cải thiện, an ninh lương thực và phúc lợi. Những lợi ích này có thể được xem như là kết quả và tác động cuối cùng. Do đó M & E phải trực tiếp đo lường hoặc tìm kiếm dấu hiệu về năng suất, hiệu quả, tính bền vững, an ninh ninh lương thực và phúc lợi được cải thiện trong thực tế, và những cải thiện như vậy có thể được quy (toàn bộ hoặc một phần) cho từ các sáng kiến của dự án. CARD cũng hỗ trợ các hoạt động khác như phát triển xây dựng năng lực các tài liệu khuyến nông, đào tạo giảng viên, vv. Các kết quả phát sinh từ hoạt động đó được xem là trung gian hơn là kết quả cuối cùng là nâng cao năng lực để có được kết quả và tác động cuối cùng về các hoạt động sản xuất được thực hiện bởi các hộ nhỏ. Điều duy nhất mà là vấn đề đối với nông dân là kết quả cuối cùng, và do đó M & E cần tập trung đánh giá kết quả và tác động ở cấp độ nông hộ. 3.4 Thiết kế đối với tác động M & E chỉ có thể là một công cụ hữu ích nếu dự án được thiết kế để đạt được tác động cụ thể xác định. Thiết kế cho các tác động là rất quan trọng đến chất lượng của thiết kế dự án và đối với theo dõi và đánh giá tiếp theo. Tại giai đoạn Thư Bày tỏ sự quan tâm(EOI), việc thiết kế cho các tác động đòi hỏi chủ trì dự án phải: • Mô tả đầu ra, lợi ích và tác động mong đợi; • Chỉ ra khung thời gian cho ứng dụng công nghệ và • Mô tả làm thế nào kết quả đầu ra / lợi ích sẽ được vững bền. Tại giai đoạn Đề xuất dự án, chủ trì Dự án trình bày phân tích các đối tượng hưởng lợi gồm những xác định: • lợi ích dự kiến và khoảng thời gian • nhu cầu thông tin cơ sở; • quy trình thu thập thông tin cơ sở; • thủ tục để đo lường lợi ích; và • thực hiện các chỉ tiêu và biện pháp thực hiện. Bản Đề xuất Dự án cần thêm: • mô tả tác động dự kiến - xã hội, tài chính, môi trường, thể chế, vv; • mô tả tiến độ và tác động như thế nào sẽ được đánh giá; và • mô tả làm thế nào dự án sẽ thu thập và phân tích thông tin để đo lường tiến độ và tác động và giải thích lý do thành công và thất bại Ở giai đoạn Hợp đồng, hợp đồng giữa CARD và chủ trì dự án làm rõ các mốc thực hiện quan trọng và kết quả đầu ra và đó là cơ sở để giải ngân nguồn vốn CARD cho chủ trì dự án. 3.5 Khi nào Theo dõi và Đánh giá? Như trong Biểu đồ 2 phía trên của tài liệu này, quá trình bắt đầu trong giai đoạn thiết kế dự án. Điều này được gọi là đánh giá trước khi thực hiện dự án khi dự án được đánh giá theo những kết quả và các tác động dự kiến của nó như quy định trong khung logic. Ở giai đoạn đánh giá EOI chủ yếu đánh giá về tính phù hợp và các lợi ích tiềm năng. Ở giai đoạn Đề xuất dự án, đánh giá tập trung vào tác động, khả năng thành công và tính bền vững và giá trị của đồng tiền. Quy trình đánh giá giai đoạn này cũng cụ thể các chỉ số thực hiện và các biện pháp thực hiện sẽ được sử dụng để giám sát, và cuối cùng là đánh giá kết quả và tác động. Đánh giá Ex ante liên quan đến việc đánh giá nhóm phát triển dự án từ các tổ chức đề xuất dự án cũng
8 January 2010
CARD – M&E Procedures
như nhóm tư vấn kỹ thuật Panel (TAP), thẩm định độc lập và Ban Điều hành Chương trình CARD (PCC) – nơi ra quyết định cuối cùng về danh sách dự án được tài trợ thực hiện. Giám sát diễn ra trong thời gian thực hiện dự án (thường 2-3 năm) và thường bao gồm một cuộc khảo sát cơ sở để xác định tình hình trước khi hoạt động dự án bắt đầu. báo cáo giám sát bao gồm một số hoặc tất cả các báo cáo sau đây: điều tra cơ bản, báo cáo tiến độ sáu tháng, báo cáo kết quả cột mốc quan trọng, báo cáo kỹ thuật, và báo cáo hoàn thành dự án (PCR). Cùng với các báo cáo đó, là việc cung cấp cho Ban Quản lý Chương trình CARD (PMU) và người quản lý của dự án các thông tin thường xuyên về việc các dự án đang tiến hành thế nào để hướng tới các mục tiêu đã đề ra. Nếu giám sát thường xuyên cho thấy cần thay đổi thiết kế dự án thì sự thay đổi có thể được thực hiện ở bất kỳ giai đoạn với sự chấp thuận của Ban QLDA. Đánh giá giữa kỳ (MTR) là một công cụ hữu ích trong việc giám sát dự án nó có thể bao gồm những nỗ lực ban đầu để thực hiện thẩm định và đánh giá tác động sơ bộ. MTR cần được thực hiện như là một bài tập hợp tác gồm các nhà thẩm định bên ngoài làm việc hợp tác với nhóm dự án. Một định dạng đề xuất, danh sách kiểm tra và các thuật ngữ tham chiếu chuẩn để thực hiện MTR được trình bày trong Phụ lục 2. MTR là một thủ tục hỗ trợ thực hiện gồm đánh giá tạm thời dự án để đánh giá tiến độ thực hiện các hoạt động và các kết quả đầu ra, xác định các vấn đề và đề xuất giải pháp. Trong một số trường hợp có thể đề xuất những thay đổi trong thiết kế dự án và ngân sách để đáp ứng với hoàn cảnh thay đổi và bài học kinh nghiệm cho đến nay, hoặc để khắc phục thiếu sót trong thiết kế ban đầu. MTR nên đánh giá các khía cạnh hoạt động như quản lý dự án và các hoạt động thực hiện, và mức độ mà các mục tiêu có khả năng đạt được. Nó nên tập trung vào hành động khắc phục cần thiết cho dự án để đạt được tác động, nhưng nói chung sẽ được tiến hành trước khi tác động xuất hiện rõ ràng. Đánh giá giữa kỳ cũng cần đánh giá kế hoạch để đánh giá tác động tại cuối dự án và các nguồn lực sẵn có để thực hiện nó. Đánh giá giữa kỳ cũng sẽ giúp xác định "các dự án có vấn đề" ở giai đoạn đầu- chỗ nào công việc không thực hiện theo kế hoạch, và chỗ nào hành động kém được xác nhận. Trong trường hợp đặc biệt thể hiện rõ ràng rằng mục tiêu sẽ không thể đạt được, có thể khuyến cáo việc sớm chấm dứt dự án. Đánh giá dự án diễn ra vào giai đoạn cuối của việc thực hiện dự án, được gọi là đánh giá hoàn thành dự án (PCE), và cần một thời gian nữa sau khi dự án hoàn thành các kết quả và tác động của dự án đã có thời gian để phát triển đầy đủ. Điều này được gọi là đánh giá hậu dự án và thường mất vài năm nữa sau khi hoàn thành dự án 4 KỸ THUẬT M & E VÀ ĐÁNH GIÁ TÁC ĐỘNG Phần này của tài liệu cung cấp một mô tả về các công cụ kỹ thuật chính và cách áp dụng cho dự án CARD, và cuối cùng để đánh giá tổng thể Chương trình CARD. Có một loạt các công cụ và kỹ thuật cho M & E và đánh giá tác động. Chúng được mô tả rộng rãi trong tài liệu rất dễ tiếp cận. Mô tả toàn diện nhất về các công cụ và kỹ thuật có thể áp dụng cho các dự án phát triển nông nghiệp và nông thôn là tài liệu "Hướng dẫn sử dụng Giám sát và đánh giá" của IFAD.
9 January 2010
CARD – M&E Procedures
4.1 Các tiêu chí kết quả Khung tiêu chuẩn CARD phải ghi rõ các tiêu chí kết quả và các phương cách được sử dụng để đo lường. Tiêu chí kết quả là những yếu tố định tính hay định lượng / thông số cung cấp một cơ sở đơn giản và đáng tin cậy để đánh giá thành tích, thay đổi hoặc việc thực thi. Mỗi một mục tiêu, kết quả đầu ra, và trong khung logic phải có chỉ số hoạt động để được theo dõi và đánh giá thành công. Các chỉ số hoạt động cho phép quản lý theo dõi tiến trình, trình diễn kết quả và có hành động khắc phục; và cho phép cán bộ đánh giá đánh giá được tác động. Nếu có thể, các bên liên quan chính cần được tư vấn trong việc lựa chọn các chỉ số để đảm bảo rằng hệ thống giám sát và đánh giá (M&E) đo lường được những vấn đề quan trọng. Để hạn chế thời gian và nỗ lực cần thiết để có được thông tin về chỉ số, nên lựa chọn các chỉ số mà có thể đo được từ các nguồn dữ liệu hiện có hoặc từ dữ liệu theo dõi dự án thường xuyên. Sự lôi cuốn để có quá nhiều tiêu chí nên được chống lại bằng cách áp dụng các "cần biết" trong Hộp 3 dưới đây Hộp 3: Nguyên tắc “cần biết” Nhiều hệ thống M & E dự án quá phức tạp và đắt tiền và thu thập rất nhiều thông tin không cần thiết và không bao giờ được sử dụng và thậm chí có thể che giấu mất những điều thực sự quan trọng. Các nguyên tắc "cần biết" phân biệt giữa những gì là thực sự cần thiết, những gì chỉ đáp ứng sự quan tâm hoặc chỉ là thông tin. Sau đây là một số hướng dẫn hữu ích • Số tiêu chí hoạt động càng ít càng tốt. • Tập trung vào những điều thiết yếu phải biết để theo dõi và đánh giá dự án. • Điều chỉnh kết quả/nỗ lực M & E theo quy mô của dự án: dự án nhỏ = kết quả M & E nhỏ. • Càng đơn giản càng tốt. • Tập trung vào nông dân và họ bị ảnh hưởng bởi dự án như thế nào
Các dạng khác nhau của các tiêu chí được sử dụng trong M & E bao gồm: • Định lượng đơn giản, ví dụ: Không có người được đào tạo, năng suất cây trồng trung bình. • Định lượng phức tạp, ví dụ: thực phẩm tiêu thụ/hộ gia đình, tổng thu nhập mùa vụ. • Hệ số, ví dụ: hệ số mùa vụ. • Chỉ số Proxy, ví dụ: % Hộ gia đình sở hữu xe gắn máy. • Chất lượng kết thúc mở, ví dụ: các bên liên quan suy nghĩ gì về kết quả / thực hiện • Chất lượng hội tụ/tập trung, ví dụ: chấp nhận một công nghệ cụ thể Một lỗi phổ biến trong việc lựa chọn tiêu chí thực hiện là nhầm lẫn giữa các tiêu chí về kết quả/thực hiện với các cách thức giải thích. Các chỉ số kết quả thì đo lường hiệu suất thực tế, trong khi các biện pháp giải thích cung cấp lời giải thích hoặc hiểu biết về lý do tại sao đạt được hiệu suất ở một mức độ nào đấy. Các chỉ số thực hiện phải đo lường kết quả và tác động cuối cùng, hoặc ít nhất là biện pháp proxy (tư cách) của chúng. Các chỉ số giải thích thường về kết quả và các tác động trung gian. Một ví dụ về sự khác biệt giữa chỉ số thực hiện và các biện pháp giải thích là: • Chỉ số hiệu suất: Tổng số sữa sản xuất mỗi trang trại
10 January 2010
CARD – M&E Procedures
Thời gian của tác động 2. Tiêu chí sơ bộ của tác động xẩy ra trong quá trình thực hiện • Đo lường giải thích: Số lượng bò / trang trại, sản lượng mỗi con bò sữa, cung cấp thức ăn gia súc, tiêm phòng bảo hiểm vv Không có gì sai trong việc thu thập thông tin về các đo lường tác động có tính giải thích nếu nó cung cấp các chỉ số hoạt động thực sự cần và cung cấp các nỗ lực được sử dụng trong việc thu thập thông tin giải thích mà không làm giảm khả năng đo lường các chỉ số kết quả. 4.2 Các nguồn thông tin và thời điểm của Tác động Nguồn thông tin: càng xa càng tôt, các hoạt động giám sát nên được giới hạn để thu thập, phân tích và báo cáo về thông tin cần thiết cho quản lý dự án và Chương trình CARD theo cách thức có hiệu quả và hiệu suất. Đánh giá phải dựa trên cùng một tập hợp thông tin, nhưng đôi khi cần có được thông tin bổ sung vượt quá yêu cầu cho quản lý dự án/chương trình. Trong trường hợp tốt nhất, hệ thống báo cáo thường xuyên và thông tin quản lý sẽ tạo ra thông tin đầy đủ để đánh giá. Tuy nhiên, phổ biến hơn, một số phát hiện thực tế bổ sung là cần thiết để xác minh các hoạt động được thực hiện và các tác động đã được tạo ra. Đối với dự án mà người nông dân trực tiếp tham gia, thu thập dữ liệu sơ khởi trong đó có điều tra nông dân thường cần thiết như là một phần của quá trình đánh giá. Thời gian tác động: Trong một vài trường hợp tác động của dự án vào đối tượng mục tiêu được quan sát và đo lường trước khi kết thúc dự án. Tuy nhiên, thường sẽ chỉ có những tiêu chí sơ bộ của tác động xuất hiện trong thời gian thực hiện, và trong nhiều trường hợp tác động vào đối tượng sẽ không được rõ ràng hoặc có thể đo lường cho đến sau này. Việc xem xét cả nguồn thông tin và thời gian của tác động dự án CARD có thể được phân loại theo cách dễ dàng và đơn giản của M & E, và theo đó là số lượng nguồn lực cần thiết cho công việc. Như được thể hiện trong biểu đồ sau đây, các dự án nằm trong ô A1 của hộp là dễ theo dõi, đánh giá nhất và những dự án thuộc ô C3 là những khó khăn nhất. Như với tất cả các dự án R & D dự kiến mang lại lợi ích cho nông dân sản xuất nhỏ, phần lớn các dự án CARD hướng tới đích cuối khó khăn về cả yêu cầu thông tin và thời gian tác động. Kết quả đánh giá được thực hiện vào lúc dự án hoàn thành thường liên quan đến dự toán các lợi ích có khả năng đạt được hơn là các tác động được đo lường thực tế. Nguồn thông tin s 1. Tác động đến các đối tượng mục tiêu có thể quan sát và đo lường được trước khi kết thúc dự án 3. Tác động đến các đối tượng hưởng lợi sẽ không được rõ ràng hoặc có thể đo lường sau này
• Không cần thu thập dữ liệu bổ sung • Không cần thu thập dữ liệu bổ sung • Không cần thu thập dữ liệu bổ sung • Theo dõi đánh giá A. Hệ thống báo cáo và quản lý thường xuyên cung cấp thông tin đầy đủ để đánh giá • Đánh giá tại thời điểm hoàn thành là phù hợp • Đánh giá đầuy đủ hậu dự án là điều cần thiết sau khi dự án hoàn thành là cần thiết • Một số phát hiện • Một số phát hiện • Một số phát hiện B. Một số phát hiện thực tế bổ sung là cần
11 January 2010
CARD – M&E Procedures
thực tế bổ sung là cần thiết thực tế bổ sung là cần thiết thực tế bổ sung là cần thiết thiết để xác minh các hoạt động được thực hiện và các tác động
• Đánh giá sau khi dự án hoàn thành là cần thiết • Đánh giá tại thời điểm hoàn thành là phù hợp • Đánh giá đầuy đủ hậu dự án là điều cần thiết
C.Thu thập dữ liệu cơ sở gồm điều tra nông dân được yêu cầu để đánh giá tác động. • Thu thập dữ liệu cơ sở là cần thiết • Đánh giá tại thời điểm hoàn thành là phù hợp • Thu thập dữ liệu cơ sở là cần thiết • Đánh giá đầuy đủ hậu dự án là điều cần thiết • Thu thập dữ liệu cơ sở là cần thiết • Đánh giá sau khi dự án hoàn thành là cần thiết
Một ví dụ 1 dự án CARD rơi vào ô C3 là 055/04 dự án "Tăng cường tiếp cận của người sản xuất nhỏ với các dịch vụ kinh doanh nông nghiệp ở miền Trung của Việt Nam". Dự án này bao gồm việc xây dựng năng lực giữa các nhà cung cấp dịch vụ kinh doanh nông nghiệp, trong đó tác động vào nông dân không thể dự kiến được vì cần có thời gian sau khi dự án hoàn thành. Thu thập dữ liệu điều tra cơ sở gồm điều tra nông dân sẽ được yêu cầu để đánh giá tác động. Một dự án có thể rơi vào đâu đó gần phần trái của hộp là 04/01 dự án "Chẩn đoán và kiểm soát bệnh tiêu chảy ở lợn sữa". Dự án này đang chuẩn bị các thử nghiệm chẩn đoán và vắc xin để thử nghiệm và trình diễn trong đàn lợn của nông dân. Kết quả sẽ được hiển thị và có thể đo lường được trong vòng một vài tuần cho phép đánh giá tự tin hợp lý của khả năng tác động về lợi nhuận của các nông hộ chăn nuôi lợn. 4.3 Sử dụng những phát hiện tiêu cực Bất cứ khi nào việc đánh giá dự án được thực hiện chặt chẽ, khách quan có sẽ xác định thất bại cũng như thành công. Nhưng ít khi thất bại hoàn toàn và thường có một số lợi ích được tạo ra về bài học kinh nghiệm và hiểu biết những gì không thực hiện. Điều này đặc biệt đúng trong dự án R & D như CARD nơi mà công nghệ mới đang được thử nghiệm và đánh giá. Thủ tục đánh giá do đó cần chắt lọc càng nhiều lợi ích càng tốt từ những cái gọi là thất bại cũng như thu hút sự chú ý đến những kết quả tích cực trong sự thành công. Việc đánh giá cần hướng tới tương lai và xây dựng. Nơi những sai lầm đã xảy ra hoặc kếy quả hoạt động đáng thất vọng đó là điều quan trọng để xác định nguyên nhân tại sao và rút những bài học kinh nghiệm. 4.4 Thông tin cơ bản Mục đích của nghiên cứu cơ bản là cung cấp một cơ sở thông tin dựa vào đó để theo dõi và đánh giá tiến độ trong quá trình thực hiện và sau khi dự án hoàn thành. Những nghiên cứu cơ sở là những bước đầu tiên trong M & E và tập trung vào các chỉ tiêu và các biện pháp thực hiện được chi tiết trong khung logic. Đánh giá giữa kỳ, cuối kỳ và đánh giá đánh giá tiến độ chủ yếu bằng cách so sánh với các dữ liệu cơ bản. Thông tin cơ bản bao gồm các dữ kiện và số liệu thu thập trong giai đoạn đầu của một dự án cung cấp một điểm chuẩn để đo lường tiến bộ trong việc đạt được mục tiêu dự án. Hầu hết hợp đồng CARD yêu cầu chủ trì dự án tiến hành một cuộc điều tra cơ bản hoặc sử dụng cơ sở dữ liệu hiện có để cung cấp một cơ sở thực tế cho đánh giá dự án sau này. Khía cạnh quan trọng nhất của việc thu thập dữ liệu cơ bản là việc quyết định những thông tin nào cần thu thập. Thông tin cơ bản tốt là tương đối hiếm, vì có thể không thu thập được hoặn không thu thập được tất cả, mất thời gian, hoặc bởi vì sử dụng các câu hỏi sai.
12 January 2010
CARD – M&E Procedures
So sánh Có và Không có Ưu điểm • Tăng khả năng xác định các yếu tố nhân Khung logic cần được sử dụng để xác định thông tin cơ sở được thu thập. Hai cột chi tiết về Các chỉ số Hiệu suất và Đo lường hoạt động cho thấy những gì cần thiết được ghi vào dữ liệu cơ sở. Các thông tin khác có thể được thu thập tại cùng một thời điểm, đặc biệt là nếu điều này cho thấy rõ lý do cơ bản dẫn đến thành công và thất bại, nhưng điều này chỉ nên được thực hiện nếu nó không ảnh hưởng, hoặc làm chệch hướng chú ý đến các chỉ số hoạt động và các biện pháp trọng điểm. Số liệu cơ bản hữu ích đôi khi có thể được tìm thấy từ các nguồn hiện có, nhưng thường cần phải tiến hành thu thập dữ liệu chính được đặt ra trước để chính xác dữ liệu cần của dự án. Nghiên cứu cơ bản phải được tiến hành càng sớm càng tốt trong thời gian dự án, nhưng không phải trước khi mục tiêu dự án và các hoạt động cũng như nhóm cư dân mục tiêu được xác định rõ. Nghiên cứu cơ sở tiến hành trong quá trình thiết kế dự án có nguy cơ hỏi những câu hỏi sai. Nghiên cứu cơ sở có thể được sử dụng để đo những thay đổi do các can thiệp dự án theo hai cách: (i) so sánh "trước và sau khi", và (ii) so sánh "có và không có" dự án. Hai phương pháp tiếp cận có lợi thế và bất lợi như sau: So sánh Trước và Sau Ưu điểm • Cần thu thập dữ liệu chỉ từ khu vực dự án, do đó cần ít nguồn lực hơn. quả trong sự thay đổi. • Cho phép kết hợp các chức năng giám sát • Cho phép một sự đo lường rõ ràng hơn về và đánh giá số lượng thay đổi
• Cung cấp một động lực mạnh mẽ hơn cho giám sát và đánh giá có sự tham gia của người dân Nhược điểm • Khó khăn hơn trong việc xác định các yếu tố nhân quả trong sự thay đổi, đặc biệt nơi mà các hoạt động khác đang được thực hiện tại cùng một vị trí Nhược điểm • Người dân ở địa điểm không tham gia dự án có thể không có hưởng lợi ích từ dự án. • Khó khăn để tìm thấy các khu vực thực sự tương đương về mặt sinh thái nông nghiệp và điều kiện kinh tế xã hội. • Giả sử thay đổi sẽ là một quy trình tuyến tính.
• Có thể bị ảnh hưởng bởi các hoạt động của các nhà tài trợ khác, chính quyền địa phương và các tổ chức cộng đồng trong khu vực "không có". • Chỉ cung cấp hai bức ảnh chụp trong 1 thời gian, một ở thời gian đầu và một ở cuối, và bỏ qua những gì xảy ra ở giữa. • Yêu cầu kỹ năng thống kê và phần mềm
cao hơn. • Tốn kém hơn. • Không cung cấp thông tin hữu ích trong việc theo dõi. • Người dân ở khu vực "không có" có thể phản đối bỏ lỡ những lợi ích.
Điều gì xảy ra nếu, tại thời điểm hoàn thành dự án, đánh giá hậu dự án, các số liệu cơ bản đã có lại thiếu hoặc không đầy đủ? Trước hết, điều này làm giảm nghiêm trọng sự chặt chẽ và giá trị của quá trình đánh giá, nhưng thường có cách để cứu vãn một số giá trị từ bài tập. Ví dụ,
13 January 2010
CARD – M&E Procedures
nếu thiếu dữ liệu cơ bản làm để so sánh "trước và sau khi", thì so sánh "có” và "không có” dự án có thể hữu ích nếu các cặp cá nhân, nhóm hoặc khu vực có thể được so sánh. Trong khi đó sẽ luôn là vấn đề về sự khác biệt với các can thiệp dự án, điều này áp dụng chung cho so sánh "trước và sau khi". Tương tự như vậy thống kê chính thức đôi khi có thể bù đắp cho sự thiếu dữ liệu cơ bản cho cả hai so sánh "trước và sau khi" và "có và không có". Tiêu chí Proxy đôi khi có thể thu được thu thập để bù đắp cho sự thiếu dữ liệu cơ bản. Nếu vẫn thất bại, luôn luôn có bằng chứng dựa trên những gì mà các bên liên quan và quan sát viên ghi nhớ về tình hình trước dự án. 4.5 Tùy chọn cho so sánh Quá trình đánh giá luôn luôn gồm việc so sánh, từ việc đánh giá kết quả và tác động cố gắng xác định các thay đổi có thể do dự án can thiệp. Có ba loại so sánh chính có thể được sử dụng:
• “Trước và sau” – điều này đòi hỏi việc thu thập và lưu trữ các dữ liệu cơ bản chính xác về các chỉ số thực hiện được quy định tại khung logic tiếp theo là thu thập thông tin về cùng tiêu chí lúc dự án hoàn thành hoặc sau khi dự án hoàn thành
• "Có và không có" - điều này liên quan đến việc so sánh các khu vực dự án và không dự án có đặc điểm sinh thái nông nghiệp và kinh tế xã hội tương tự. Sự so sánh làm sáng tỏ câu hỏi "điều gì sẽ xảy ra trong vùng dự án nếu không có mặt của dự án" và cộng thêm sức nặng của các lợi ích do sự can thiệp của dự án.
• "Những người tham gia và không tham gia" - điều này liên quan đến việc so sánh các hộ gia đình tham gia và không tham gia trong khu vực dự án để tìm kiếm bằng chứng rằng các can thiệp của dự án trên thực tế đã làm thay đổi đáng kể cuộc sống của người dân. Tuy nhiên, trong một số trường hợp, phương pháp này có thể dưới lợi ích của dự án ước tính nếu đã có "rò rỉ" các lợi ích tới nông hộ không mục tiêu, như có xu hướng xảy ra với các kỹ thuật được phổ biến dễ dàng và thông thường như giống cây trồng được cải thiện.
Việc đánh giá sẽ có thêm sự tín nhiệm nếu có hơn một loại hình so sánh được sử dụng tạo ra những phát hiện tương tự. 4.6 Phân tích Đóng góp In the usual event that there is no rigorous means of linking cause and higher level effects it is necessary to resort to contribution analysis (see Box 4), Các phương pháp tiêu chuẩn cho M & E đã được phát triển cho các dự án đầu tư, nơi thường liên quan đến quan hệ nhân quả chặt chẽ giữa việc đầu tư và kết quả mong muốn có thể được trình bày tiền dự án như là một phần của tính khả thi/quá trình thiết kế, và hậu dự án như là một phần của đánh giá. Trong khi những khái niệm cơ bản về M & E áp dụng chung cho R & D và các loại đầu tư khác, một số biến thể trong cách tiếp cận này là cần thiết. Thứ nhất, với các đầu tư R & D, thường không chắc chắn về kết quả bởi vì cả kết quả biết và không biết của nghiên cứu, và vì nhiều yếu tố khác diễn ra trong việc chuyển kết quả nghiên cứu vào kết quả sản xuất nông nghiệp, và cuối cùng là tác động đến cuộc sống của người dân. Ngoài ra, kết quả ở thực tế và mức độ tác động luôn luôn cần một thời gian, thường là nhiều năm qua, để nổi lên và trở nên đo lường được. Vì những điều không chắc chắn đó và vì thời gian luôn luôn là vấn đề trong việc theo dõi và đánh giá R & D. Trong trường hợp thông thường không có
14 January 2010
CARD – M&E Procedures
phương cách khắt khe về liên kết nguyên nhân và những ảnh hưởng mức độ cao hơn, cần phải sử dụng đến phân tích sự đóng góp (xem Hộp 4), thừa nhận thực tế rằng tác động thường có nhiều nguyên nhân mà không thể làm sáng tỏ được.
Hộp 4: Đóng góp phân tích Phân tích đóng góp được sử dụng nơi các mối quan hệ nhân-quả là khuếch tán hoặc gián tiếp và nơi khóa học đặc biệt của hành động góp phần vào việc đạt được các kết quả nhất định, nhưng không phải tự nó đủ để cung cấp các kết quả. Người ta nhận ra rằng trong bối cảnh phát triển nhất có đa ảnh hưởng đến việc đạt được các kết quả và mối liên hệ nhân quả trực tiếp hiếm khi có thể chứng minh được. Phân tích đóng góp nhằm mục đích giảm mức độ không chắc chắn về sự đóng góp, bằng cách đưa ra việc giải thích đáng tin cậy và hợp lý của nguyên nhân và hiệu quả. Các yếu tố thiết yếu của phương pháp này bao gồm: • Nhận thức và chấp nhận các vấn đề quyền hạn. • Trình bày logic (thường ở dạng biểu đồ) để giải thích tại sao hành động nhất định nào đó ảnh hưởng đến kết quả. • Xác định và tài liệu hóa những thay đổi mà chúng cung cấp bằng chứng về đóng góp. • Sử dụng các chỉ số hoạt động phù hợp với bản chất của các kết quả mong đợi. • Theo dõi kết quả theo thời gian hoặc so sánh kết quả giữa các địa điểm. • Thừa nhận và thử nghiệm những giải thích khác. • Thu thập thêm bằng chứng như ý kiến chuyên gia và các nghiên cứu trường hợp. • Nhắm vào việc trình bày câu chuyện đáng tin cậy mà nó có thể cung cấp bằng chứng, hơn là chứng cứ tuyệt đối.
Những công cụ M&E đặc biệt
4.7 Các tài liệu về M & E đưa ra hơn 30 công cụ có thể được sử dụng để theo dõi và đánh giá dự án phát triển nông nghiệp và nông thôn. Công cụ tốt nhất, hoặc kết hợp các công cụ, thay đổi tùy từng dự án, và tùy theo thời gian và nguồn lực sẵn có. Bất cứ phương pháp được lựa chọn chúng cần phải thích hợp cho cả thực hiện dự án để cung cấp thông tin có giá trị cho quản lý, và để hoàn thành dự án tiếp theo hoặc đánh giá hậu dự án. Một số trong những công cụ có thể hữu ích trong việc đánh giá các dự án R & D tại Việt Nam được thảo luận dưới đây.
• Đánh giá Tài liệu: Bước đầu tiên trong việc đánh giá bất kỳ dự án CARD cho mục đích giữa kỳ, hoàn thành dự án, hoặc đánh giá hậu dự án nên nghiên cứu các tài liệu hiện có tại văn phòng CARD và các tổ chức thực hiện. Nếu dự án đã được thiết kế tốt và được theo dõi tốt, nhiều thông tin cần thiết sẽ được lấy từ các tài liệu hiện có. Quá trình này cũng giúp đoàn đánh giá hiểu dự án bao gồm những gì để tìm và nơi để tìm bằng chứng về kết quả và tác động.
• Phương pháp Khảo sát mẫu: Bao gồm việc lựa chọn những mẫu đầu tiên , sau đó thiết kế câu hỏi khảo sát hoặc danh sách cần kiểm tra. Mẫu có thể là một mẫu ngẫu nhiên, một mẫu phân tầng ngẫu nhiên, hoặc một mẫu không ngẫu nhiên/có chủ định trước. Các câu hỏi điều tra cần được diễn đạt cẩn thận và thử nghiệm để đảm bảo mọi người đều hiểu chính xác và các câu hỏi tự chúng không làm sai lệch kết quả. Điều tra mẫu là một kỹ năng chuyên ngành và chuyên gia trong lĩnh vực này nên được tư vấn trước khi tiến hành. Các nguyên tắc "cần biết" cần được áp dụng một cách kiên quyết ở đây.
• Quan sát trực tiếp: Đây là một phương pháp đánh giá kết quả và tác động cơ bản mà hiệu quả nên luôn được sử dụng để kiểm tra chéo hoặc xác minh các nguồn thông tin khác. Ảnh chụp mang thêm ý nghĩa đối với giá trị và hấp dẫn cho các báo cáo M & E.
15 January 2010
CARD – M&E Procedures
Tuy nhiên, các nhóm đánh giá nên cẩn thận để tránh thiên lệch trong quán như chỉ quan sát các trang trại dễ dàng đi đến hoặc thành công hơn.
• Structured interviews with such persons should always form part of the evaluation process. This also adds to the participatory nature of the evaluation.
• Phỏng vấn không chính thức: Trong bất kỳ bối cảnh nào của dự án luôn có những cá nhân có kiến thức hoặc ý kiến đặc biệt có giá trị. Những người này có thể là thành viên của các cơ quan thực hiện / chủ trì dự án, những đối tượng hưởng lợi, hoặc các bên liên quan khác hay đơn giản là những quan sát viên có am hiểu. Phỏng vấn có cấu trúc với người đó phải luôn luôn là một phần của quá trình đánh giá. Điều này cũng là một phần của bản chất việc đánh giá có sự tham gia của người dân.
• Các đo lường vật lý sinh học: Trong một số trường hợp, các chỉ số hoạt động quan trọng có thể được thể hiện bằng các thuật ngữ sinh học vật lý như năng suất cây trồng, số đất bậc thang, số động vật tiêm vác xin …. Vấn đề chính ở đây là sử dụng các phương cách đơn giản nhưng chính xác để chúng có thể được so sánh dữ liệu điều tra cơ bản nhằm cung cấp bằng chứng vững chắc của nguyên nhân và hiệu quả.
• Phân tích chi phí lợi nhuận (BCA): Phương pháp này dựa trên thông tin thu được qua các phương tiện khác để so sánh lợi ích tổng số và chi phí của dự án. Cụ thể về BCA được đưa ra trong mục 5.
• Phỏng vấn bán cấu trúc: Đây là phỏng vấn mặt đối mặt với các bên liên quan cá nhân hoặc những nhóm nhỏ bằng cách sử dụng một loạt các câu hỏi mở và các chủ đề để hướng dẫn các hội thoại. Các cuộc phỏng vấn như vậy là quan trọng trong việc đạt được sự hiểu biết sâu sắc về lý do tại sao những điều đó xảy ra (hoặc không xảy ra), và những gì mọi người cảm thấy về tính phù hợp và tác động của dự án. Đôi khi các cuộc phỏng vấn sẽ xác định các kết quả và tác động của dự án các mà trước đây không ai nghĩ tới hoặc mong đợi.
• Nghiên cứu tình huống: Đây là những đánh giá chi tiết các cá nhân hoặc nhóm được lựa chọn để điển hình hoặc đại diện cho một nhóm lớn hơn. Nghiên cứu trường hợp cụ thể có thể tiết lộ những hiểu biết sâu sắc hơn về kết quả và các tác động của dự án, nhưng phải luôn luôn được sử dụng kết hợp với các phương pháp mà có thể tương tác với một khu vực các bên liên quan lớn hơn.
• Các nhóm trọng tâm: Đây là những nhóm dân nhỏ (5-10 người) đã được lựa chọn trên cơ sở kiến thức hoặc hiểu biết đặc biệt của họ và họ được gắn với nhau để thảo luận có sự điều khiển về các kết quả và tác động của dự án. Các nhóm trọng tâm chủ yếu có nhiều ý kiến hoặc quan điểm hơn là các thông tin xác thực cụ thể. Một vấn đề với nhóm trọng tâm là những đại biểu to tiếng với ý kiến mạnh mẽ có thể thống trị các nghi thức và đưa ra hiển thị sai lệch. Việc điều khiển khôn khéo là cần thiết để đảm bảo tất cả các quan điểm đều được thể hiện.
• Phân tích SWOT thực hiện trong các nhóm: Đây là một kỹ thuật dễ dàng áp dụng để xác định những điểm mạnh của một dự án (những điều đã được thực hiện tốt), những điểm yếu (những điều đã không được thực hiện tốt), các cơ hội (để xây dựng các điểm mạnh và khắc phục điểm yếu), và các nguy cơ (từ lực lượng bên ngoài) có thể gây hại kết quả trong tương lai. Phân tích SWOT rất hữu ích trong việc xác định các bài học kinh nghiệm.
16 January 2010
CARD – M&E Procedures
• Đánh giá nhanh nông thôn (RRA): Điều này thực tế và cách tiếp cận M & E chứ không phải là một công cụ cụ thể, do các kết hợp khác nhau của các phương pháp trên có thể được sử dụng. RRA trình bày một cách nhanh chi phí thấp để thu thập thông tin từ các bên liên quan và liên quan đến các cuộc phỏng vấn quan trọng cung cấp thông tin, các nhóm tập trung, phỏng vấn bán cấu trúc, quan sát trực tiếp, khảo sát nhỏ vv. Bởi vì RRA là một quy trình nhanh nó có thể cung cấp thông tin hữu ích cho việc ra các quyết định quản lý và gắn chặt chẽ hơn với các đối tượng. Tuy nhiên phương pháp này ít hiệu lực và chính xác hơn so với cuộc điều tra chính thức và những yêu cầu phát triển kỹ năng tốt về điều khiển nhóm, quan sát và phỏng vấn không định hướng trước. Về mặt tích cực, RRA có sự tham gia mạnh mẽ và tích cực của các bên liên quan trong quá trình đánh giá.
4.8 Những tác động được đánh giá Mục đích cuối cùng của đánh giá dự án là đánh giá kết quả (những thay đổi đã diễn ra), và các tác động (những thay đổi như vậy đã ảnh hưởng đến cuộc sống của người dân như thế nào). Các dự án CARD đem lại ba loại tác động đến đối tượng hưởng lợi mục tiêu và các bên liên quan: • Tác động tài chính: những điều cải thiện thu nhập hoặc tài sản của nông dân thông qua tăng doanh thu và / hoặc giảm chi phí. Giá trị của sản xuất được nông hộ sử dụng được tính trong dự toán doanh thu và giá trị của lao động gia đình không được trả tiền công được xem là một chi phí. Cách đánh giá tác động tài chính bao gồm: - phân tích chi phí lợi nhuận dựa trên thông tin nông dân cung cấp - Các khảo sát thu nhập và chi phí của hộ gia đình - Proxy biện pháp an sinh tài chính: ví dụ: kích thước nhà ở, quyền sở hữu xe máy - Nghiên cứu trường hợp và các câu chuyện Tác động tài chính tích cực rất quan trọng cho sự bền vững và việc phổ biến rộng rãi hơn các kỹ thuật nông nghiệp hoặc đổi mới. Nếu không có sự rõ ràng lợi thế tài chính các hộ nhỏ sẽ không chấp nhận thay đổi hoặc thậm chí duy trì sự thay đổi đã diễn ra. Điều này làm cho tác động tài chính có tầm quan trọng trong đánh giá tác động. • Tác động xã hội: những điều không thể đo lường được về mặt tài chính nhưng có ảnh hưởng đến chất lượng cuộc sống của người dân. Đánh giá tác động xã hội đòi hỏi phải xem xét cẩn thận các vấn đề này, như sau:
- Dự án ảnh hưởng đến cuộc sống của người dân như thế nào? ví dụ cải thiện dinh dưỡng / an ninh lương thực, giảm đầu tư lao động, sức khỏe tốt hơn (thực phẩm an toàn), vv - Những người hưởng lợi là ai? Nam / nữ, hộ gia đình giàu/nghèo? - Ai là những đối tượng được hưởng lợi và làm họ đã được hưởng lợi? - Kỹ thuật có thể sử dụng/giá cả phải chăng? - Có bằng chứng về "chụp ưu tú" hoặc loại trừ? Is there evidence of “elite capture” or exclusion?
• Tác động môi trường: đó là hậu quả môi trường tích cực hay tiêu cực của dự án cần được xác định trong quá trình thiết kế, giám sát dự án trong thời gian dự án, và đánh giá ở giai đoạn cuối dự án. Ví dụ về tác động môi trường tích cực bao gồm giảm sử dụng thuốc trừ sâu và phương pháp canh tác cải tiến làm giảm xói mòn đất. Tác động môi trường tiêu cự
17 January 2010
CARD – M&E Procedures
của các dự án nông nghiệp có thể bao gồm những điều như ô nhiễm nước từ chất thải động vật và giảm đa dạng sinh học từ rừng trồng. Chi tiết về giám sát và đánh giá môi trường được trình bày trong phần sau.
Xác định những tác động trong lĩnh vực này dễ dàng hơn nhiều nếu chúng ta biết cần tìm kiếm điều gì. Đây là lý do tại sao quan trọng là phải có ít nhất một chuyên gia kỹ thuật trong từng nhóm thẩm định dự án, người có thể tóm tắt cho thành viên khác về các chỉ số chính của sự thành công cho một doanh nghiệp nông nghiệp cụ thể. Việc quan sát trực tiếp cây trồng hay vật nuôi có thể cho biết nhiều về năng suất của chúng đối với người có chuyên môn kỹ thuật yêu cầu. Những người khác có kỹ năng trong việc đánh giá thái độ và sự nhiệt tình của nông dân, đó là chỉ số hữu ích của tính bền vững. 4.9 Giám sát môi trường Đề xuất Dự án yêu cầu người chủ trì đánh giá tác động tích cực và tiêu cực đến môi trường tại giai đoạn Thư bày tỏ sự quan tâm (EOI). Đánh giá môi trường ban đầu ở giai đoạn này nên phân loại dự án theo mức độ rủi ro môi trường bằng cách sử dụng hệ thống đánh giá quốc tế đã được chấp nhận A / B / C:
• Loại A gồm dự án có thể có hậu quả nghiêm trọng đối với môi trường. Dự án này sẽ phải chịu đánh giá tác động môi trường (EIA) trước khi phê duyệt và quy trình giám sát và bảo vệ cần thiết trong Kế hoạch Quản lý Môi trường (EMP).
• Loại B gồm dự án có hậu quả có thể đến môi trường nhưng có thể dễ quản lý bằng việc sử dụng một số biện pháp bảo vệ đơn giản.
• Loại C gồm các dự án được dự kiến không có hậu quả đến môi trường.
Rất ít tác động tiêu cực về môi trường được dự kiến trong các dự án CARD và kỳ vọng này đã được xác minh với các đề xuất dự án được nộp để xin kinh phí. Hầu hết dự án được phân loại nằm trong loại B hoặc C. Tuy nhiên tất cả các dự án cần được theo dõi và đánh giá từ góc độ môi trường để xác định và mô tả hậu quả tiêu cực và tích cực thực tế đối với môi trường. Trong hầu hết các trường hợp, quan sát sẽ là công cụ hiệu quả nhất để đánh giá tác động môi trường nhưng trong một số trường hợp, những đo lường (ví dụ chất lượng nước, dư lượng thuốc trừ sâu,) có thể cần thiết. Giám sát thực địa thông qua thăm điểm thực hiện dự án được thực hiện bởi Ban QLDA nên xem lại EIA và EMPs. Ngoài ra, báo cáo tiến độ dự án nên báo cáo so sánh với các chỉ số thể hiện về môi trường trong các báo cáo tiến độ và PCRs. Các báo cáo của Ban quản lý CARD ở cấp chương trình và sẽ tăng bất kỳ vấn đề môi trường bất lợi với Bộ NN & PTNT và PCC. 4.10 Đánh giá thành công của dự án Vấn đề chính trong đánh giá thành công là mức độ mà dự án đạt được mục tiêu và mức độ mà kết quả có thể sẽ được duy trì. Các vấn đề như mức độ lợi nhuận tài chính, tác động giảm nghèo, tính bền vững của lợi ích, và các tác động đối với ngân sách chính phủ cũng cần phải được mô tả và đánh giá, cùng với tác động xã hội và môi trường. Đối với dự án được thiết kế để thúc đẩy sản xuất nông nghiệp hoặc giá cả, ảnh hưởng lâu dài đến nền kinh tế quốc gia là cơ sở quan trọng để đánh giá hiệu quả và thành công. Hiệu quả
18 January 2010
CARD – M&E Procedures
này có thể được định lượng và thể hiện bằng Tỷ số Lợi ích/Chi phí tài chính (BCR). Trong trường hợp phân tích tài chính chi tiết chưa được làm trong khi thiết kế hoặc tại lúc dự án hoàn thành, nó thường không khả thi cho nhóm đánh giá thực hiện phân tích tài chính chi tiết. Tuy nhiên, có thể tiến hành đánh giá tài chính của một hoặc nhiều hợp phần quan trọng và để thực hiện một đánh giá chung về tác động tài chính tổng thể. Nhiều dự án CARD tập trung vào tăng cường thể chế. Trong những trường hợp này, đánh giá mục tiêu một cách định lượng có thể khó khăn, trừ khi điều tra cơ bản đã được tiến hành, cơ sở để so sánh được thiết lập và các chỉ số hiệu quả rõ ràng đã có. Trong trường hợp này, đánh giá cần thực hiện từ hình thức và nội dung thông tin được sử dụng để đánh giá kết quả. 5 PHÂN TÍCH LỢI ÍCH CHI PHÍ TRONG M & E 5.1 Tổng quan Phân tích chi phí lợi nhuận (BCA) là một công cụ hỗ trợ quyết định được sử dụng cùng với các biện pháp khác về tác động của dự án. Nó là một công cụ quan trọng trong việc giải thích tính logic cơ bản của dự án. BCA có thể được áp dụng ở các cấp độ khác nhau bao gồm chính sách, chiến lược ngành, chương trình, dự án và các thành phần của dự án. BCA được sử dụng rộng rãi của các cơ quan hỗ trợ phát triển quốc tế như là một tiêu chí quan trọng để phân bổ nguồn lực. Một trong những mục tiêu của CARD là giúp Bộ NN & PTNT cải thiện việc phân bổ các nguồn lực giữa các danh mục đầu tư của các chương trình R & D. BCA được xem là công cụ giá trị trong việc hỗ trợ các quyết định phân bổ tốt hơn. BCA là sự so sánh các lợi ích tài chính hoặc tác động (trực tiếp và gián tiếp) của dự án có thể mang lại với việc đầu tư và chi phí thường xuyên để thực hiện nó. BCA là công cụ phân tích cơ bản để đánh giá tác động tài chính (và ý nghĩa, kinh tế) của dự án CARD, và cuối cùng là toàn bộ danh mục đầu tư của Chương trình CARD. BCA có thể được thực hiện trước, trong hoặc sau khi dự án được thực hiện với một mức độ dần dần tăng độ chính xác. BCA trước dự án được dựa trên mong đợi lớn nhất của lợi ích và chi phí. BCA sau dự án được dựa trên các ước tính tốt nhất có sẵn hoặc các đo lường các lợi ích thực tế và chi phí thực tế. Nó có thể được áp dụng ở cấp vi mô liên quan đến từng đối tượng hưởng lợi, hoặc ở cấp độ vĩ mô liên quan đến toàn bộ dự án. Trong mọi trường hợp, mục tiêu là để ước tính tỷ số chi phí lợi nhuận (BCR) – đưa ra một đo lường định lượng của tác động tài chính của dự án. • Lợi ích Dự án là hệ quả tích cực về tài chính, môi trường và xã hội mà có thể có được do việc đầu tư dự án. Trong BCA chúng ta chỉ quan tâm đến lợi ích tài chính. • Chi phí Dự án là tổng giá trị tài nguyên được sử dụng trong việc tạo ra lợi ích, bao gồm cả giá trị của lao động gia đình. • BCR = (tổng các lợi ích) ÷ (tổng chi phí); thể hiện là một tỷ lệ (ví dụ: 1.4:1)
BCR đưa ra một ước tính con số duy nhất để so sánh các dự án về tác động tài chính. Nó cho thấy giá trị được tạo ra cho mỗi đồng vốn đầu tư là bao nhiêu. BCR >1,0 cho thấy việc đầu tư là đáng giá, và giữa các lựa chọn thay thế, dự án có BCR cao nhất sẽ cho thấy sự đầu tư là tốt nhất. 5.2 Xác định lợi ích và chi phí Đây là bước đầu tiên trong việc đánh giá tác động tài chính. Một số lợi ích và chi phí có thể dễ dàng đo lường và định lượng – một số lợiisch khác chỉ có thể được mô tả. Đánh giá tác động thường không nhận ra tất cả các lợi ích và chi phí và điều này có thể tạo ra kết quả sai lệch.
19 January 2010
CARD – M&E Procedures
Cũng cần phải có một cách tiếp cận phù hợp giữa các dự án khác nhau để xác định và đánh giá lợi ích và chi phí để có hình thức so sánh giữa các dự án một cách có ý nghĩa. Khi xác định lợi ích và chi phí, điều quan trọng là xác định xem ai nhận được những lợi ích và ai là người trả chi phí. CARD chủ yếu quan tâm đến việc tạo lợi ích tài chính cho nông dân sản xuất nhỏ. Tuy nhiên, các phân tích không nên bỏ qua lợi ích nhận được bởi các bên khác: ví dụ: thương nhân, nhà cung cấp đầu vào, người tiêu dùng, người lao động… Đây có thể là một phần quan trọng của tổng lợi ích Lợi ích tài chính có nhiều hình thức. Lợi ích tài chính cho nông dân có thể đến dưới hình thức thu nhập tiền mặt có được từ các tăng khoản thu và / hoặc giảm chi phí, hoặc giá trị sản phẩm sản xuất ra được hộ gia đình tiêu thụ. Lợi ích cơ bản hoặc trực tiếp cho các bên liên quan của CARD có thể bao gồm một số hoặc tất cả những điều sau đây:
• gia tăng (tăng) giá trị sản xuất - kết quả từ năng suất và / hoặc chất lượng cao hơn; • Giảm bớt (giảm) chi phí sản xuất do công nghệ được cải thiện; và / hoặc • Giá trị gia tăng từ cải thiện chế biến, chuyên chở và tiếp thị.
Các lợi ích thứ cấp hoặc bên ngoài có thể tích luỹ cho những nguwofi không phải là các bên liên quan chính, chẳng hạn như người tiêu dùng được hưởng lợi từ thực phẩm chất lượng rẻ hơn hoặc tốt hơn và các thương nhân buôn bán được nhiều sản phẩm. Trong dự toán chi phí tài chính cần thiết phân biệt các loại chi phí khác nhau như sau: • Chi phí công phát sinh bởi các tổ chức chính phủ - có thể được tài trợ bởi ngân sách thường xuyên, CARD hoặc các nhà tài trợ.
• Chi phí tư nhân phát sinh do nông dân và các cá nhân khác của khu vực tư nhân. • Chi phí đầu tư - chỉ xảy ra một lần, thường vào đầu một dự án: ví dụ: máy móc, thiết bị và đào tạo. • Chi phí hoạt động thường xuyên – chi phí tiếp tục trong tương lai: ví dụ: tiền lương, xây dựng bảo trì.
• Chi phí tiền mặt - ví dụ: mua phân bón hoặc thuốc trừ sâu của nông dân. • Chi phí không dùng tiền mặt - ví dụ: giá trị lao động của gia đình (xem chi phí cơ hội dưới đây).
• Chi phí tài chính – lãi suất trả tiền vay để đầu tư hoặc vốn để làm việc (theo mùa vụ). Khái niệm chi phí cơ hội cũng liên quan đến BCA trong một số trường hợp. Chi phí cơ hội là mất thu nhập bằng cách sử dụng nguồn lực mà nếu không sẽ có được làm việc hiệu quả ở nơi khác. Ví dụ, nếu nông dân sử dụng đất để phát triển một loại cây trồng mới, giá đất là thu nhập anh ta sẽ kiếm được nếu anh ta đã trồng các cây trồng bình thường. Chi phí cơ hội cũng được sử dụng trong ước tính giá trị của lao động gia đình. Giá trị của lao động là số tiền mà có thể sẽ kiếm được do làm việc trên các lựa chọn tốt nhất tiếp theo. Giá trị này có thể khác nhau khá rõ rệt giữa các mùa vụ và địa điểm khác nhau theo trình độ của các cơ hội việc làm. BCA chỉ quan tâm đến chi phí thay đổi do kết quả của dự án. Chúng bao gồm chi phí tăng hoặc gia tăng và chi phí giảm hoặc giảm bớt. Nếu chi phí là như nhau với trước và sau các dự án, hoặc có và không có dự án, thì những chi phí này không có liên quan đến BCA và không cần được ước tính. Cũng là cần thiết để phân biệt giữa giá hiện tại và giá không đổi trong dự toán chi phí và lợi ích. Giá hiện tại (còn gọi là giá trên danh nghĩa) là số tiền thanh toán hoặc nhận được thực
20 January 2010
CARD – M&E Procedures
tế. Giá cố định (còn gọi là giá thực tế) là giá đã được điều chỉnh để loại bỏ tác động của lạm phát. BCA thường sử dụng giá cố định vì vậy khi chi phí và doanh thu được dự kiến trước giả định rằng giá của ngày hôm nay sẽ tiếp tục là giá trong tương lai. Đôi khi không phải ngay lập tức biết rõ một cái gì đó là chi phí hay lợi ích. Các thử nghiệm để áp dụng ở đây là: (i) bất cứ điều gì làm tăng GDP của Việt Nam thí là lợi ích - bất kể người nhận được nó là ai; và (ii) bất cứ điều gì mà làm giảm GDP của Việt Nam thì đó là một chi phí - bất kể ai phải trả tiền. Sự nhầm lẫn thường phát sinh khi liên quan đến lao động, đã trả hay chưa trả. Việc làm được coi là một lợi ích xã hội cho người lao động, nhưng trong BCA nó luôn luôn được đối xử như là một chi phí cho quốc gia. Sử dụng khái niệm chi phí cơ hội thì lao động là một chi phí, vì nếu không làm việc cho hoạt động dự án thì lao động sẽ đóng góp vào GDP của Việt Nam trong một số cách khác, tuy nhiên nhỏ. Trong tình trạng thất nghiệp cao hoặc thiếu việc làm, chi phí cơ hội của lao động có thể rất thấp, nhưng nó không bao giờ phủ định. 5.3 Khái niệm nông trại đại diện Hầu hết các dự án CARD gắn bó với các nông dân nông hộ sản xuất nhỏ những người tham gia vào thực nghiệm, trình diễn và thử nghiệm các kỹ thuật mới. Nó có thể không khả thi để thực hiện một BCA riêng cho mỗi người nông dân tham gia, và trong bất cứ trường hợp nào, kết quả sẽ phải được tái tổng hợp để thực hiện một ước tính về tác động tổng thể dự án. Cách tiếp cận tốt nhất là xây dựng một mô hình nông trại "điển hình" hay "đại diện". Điều này được thực hiện bởi vì không thực tế nếu hoàn thành phân tích tài chính cho từng doanh nghiệp riêng lẻ. Thay vào đó, nhóm đánh giá phải phát triển một hình ảnh của những gì là "điển hình" hay "đại diện" nhóm như một tổng thể. Trong một số trường hợp nó có thể là một trung bình đơn giản, ví dụ, số lượng cây, ao cá của mỗi thành viên trong nhóm. Trong trường hợp khác, việc đánh giá có thể phức tạp hơn. Ví dụ nếu nông dân trồng các loại rau sạch khác nhau, nhóm sẽ phải quyết định trên một số lượng nhỏ cây trồng như là ví dụ điển hình hoặc đại diện của nông trại. BCA tài chính sau đó được thực hiện cho một hoặc nhiều mô hình trang trại đại diện. 5.4 Ngân sách trang trại Nhìn chung điểm chốt quan trọng đầu tiên trong BCA là xây dựng ngân sách doanh nghiệp cho doanh nghiệp cây trồng, vật nuôi hoặc thủy sản được phân tích. Thông thường sẽ có một ngân sách đại diện cho các biện pháp kỹ thuật nông nghiệp truyền thống hoặc thông thường và một đại diện cho các thực hành cải tiến mà dự án đã phát triển và / hoặc phổ biến cho nông dân. Các thông tin cần thiết để xây dựng ngân sách doanh nghiệp nói chung đã được thu thập từ nhiều nguồn gồm nông dân, CB nghiên cứu và khuyến nông, và chuyên gia kỹ thuật là thành viên của nhóm đánh giá. Thông tin về chi phí và giá cả thường cần phải được thu được từ các nguồn thương mại như thương nhân và nhà cung cấp đầu vào. Xây dựng ngân sách trang trại trồng cây hàng năm hoặc vật nuôi chu kỳ ngắn và nuôi trồng thủy sản là đơn giản nhất. Các hoạt động dài hạn như cây lâu năm và lâm nghiệp đòi hỏi phân tích nhiều hơn và phải bao trùm toàn bộ chu kỳ hoạt động của trang trại. Định dạng chuẩn cho các trang trại hàng năm và lâu năm được đưa ra trong Phụ lục 4.
21 January 2010
CARD – M&E Procedures
5.5 So sánh Chi phí và Lợi nhuận1 Định dạng chuẩn cho việc so sánh chi phí và lợi nhuận đuwojc trình bày trong bảng dưới đây. Tất cả phân tích chi phí phải tạo ra 1 bảng trong định dạng chung này để ước tính BCR. Phác thảo Tiêu chuẩn cho việc Phân tích Lợi nhuận/Chi phí
Kịch bản không có Dự án a/
Năm 0
Năm 1 Năm 2 Năm 3 Năm 4 Năm 5
100 120
A B C=(B-A) 20 D E
100 120
100 122 22 200 130
100 125 25 90 140
100 130 30 85 150
100 133 33 85 160
100 133 33 80 170
Tổng số 600 763 163 640 870
Chi phí Lợi nhuận Lợi nhuận thuần Có Dự án Chi phí Lợi nhuận Lợi nhuận thuần Chi phí tăng lên Lợi nhuận tăng lên
F=(E-D) G=(D- A) H=(E-B) I=(H-G)
20 0 0 0 0
-70 100 8 -92
50 -10 15 25
65 -15 20 35
75 -15 27 42
90 -20 37 57
230 40 107 67
Lợi nhuận thuần tăng lên
2,7
a/ Năm 0 thể hiện tình trạng trước khi dự án bắt đầu Có hai cách so sánh lợi ích và chi phí của dự án trong bảng trên: (i) so sánh "có" và "không có" dự án, và so sánh (ii) "trước" và "sau" dự án. Những so sánh này không phải luôn luôn tạo ra kết quả như nhau. Có hai lý do cho việc này. Đầu tiên, nếu kịch bản "không có dự án" đại diện cho một tình hình không tĩnh (như cải thiện năng suất cây trồng trong trường hợp không có sáng kiến dự án), nhiều trường hợp như vậy, điều này cần phải được xem xét trong đánh giá những lợi ích gia tăng đối với dự án . Lý do thứ hai là so sánh "trước khi" và "sau" chỉ là hai bức ảnh chụp theo thời gian và bỏ qua những gì xảy ra ở giữa, bao gồm cả các khoản đầu tư cần thiết để đạt được các kết quả thực tế. Trong ví dụ trên, so sánh "trước" và "sau khi" dự án cho thấy lợi ích ròng tăng từ 20 trong năm 0 đến 90 trong năm 5, một sự cải thiện rõ ràng là rất lớn. Tuy nhiên, điều này là sai lầm bởi vì nó bỏ qua kịch bản "không có dự án" và chi phí đầu tư đáng kể phát sinh trong năm 1. Một đo lường tác động tài chính giá trị hơn của dự án là chia lợi ích gia tăng trong cả thời gian dự án (107) với chi phí gia tăng (40) để có được BCR là 2,7. Kết luận là sự so sánh "có" và "không có" dự án chỉ là cách so sánh có giá trị lợi ích và chi phí mà nó cho một ước tính đáng tin cậy của tác động tài chính dự án. So sánh "Trước và sau" có một số giá trị nhưng cần được giải thích nguyên nhân.
1 Phương pháp trình bày ở đây là so sánh lợi nhuận và chi phí mà không xem xét khoảng thời gian lúc chi phí phát sinh và lợi nhuận nhận được. Cần tập huấn thêm để đánh giá viên có thể áp dụng quy trình chiết khấu để lợi nhuận trong tương lai có thể được chiết khấu thành giá trị hiện tại. CARD sẽ sử dụng biện pháp không giảm chiết khấu đối với chi phí và lợi nhuận khi đánh giá dự án, và sẽ áp dụng biện pháp giảm chiết khấu đối với tác động ở cấp Chương trình chung.
22 January 2010
CARD – M&E Procedures
6 KẾ HOẠCH ĐÁNH GIÁ CHƯƠNG TRÌNH CARD 6.1 Tổng quan Giai đoạn hiện tại của CARD bắt đầu tháng 3 năm 2004 và sẽ kết thúc vào tháng 12 năm 2010. Các dự án pha cuối cùng đã được phê duyệt trong năm 2007, đưa tổng số dự án lên 38. Số dự án ở các giai đoạn khác nhau vào tháng 1/2010 như sau:
Năm Được phê duyệt Số dự án vào tháng 1/2010 Đã hoàn thành Đánh giá giữa kỳ MTR
2004 2005 2006 2007 Total 11 11 10 6 38 1 4 2 1 8 8 6 0 0 14 Đánh giá hoàn thành PCE 8 6 0 0 14
Khoảng một nửa số dự án 2004-2006 là dự án hai năm và một nửa là các dự án ba năm. Tất cả dự án năm 2007 sẽ kéo dài trong hai năm. Hầu hết các dự án năm 2004 và 2005 đã được hoàn thành hoặc đang gần hoàn tất, và Đánh giá hoàn thành đã được thực hiện cho 14 dự án. 8 dự án đã được đánh giá giữa kỳ. Tất cả các dự án CARD nên được đánh giá tại lúc hoàn thành. Tuy nhiên, do CARD sẽ kết thúc vào tháng 12/2010 nên không thể đánh giá hoàn thành cho 24 dự án còn lại. Lý do là PCU không đủ năng lực để giám sát một số lượng lớn các đánh giá trong 11 tháng còn lại, và cũng bởi vì một số dự án sẽ không hoàn thành được cho đến phần sau của năm 2010 khi PCU sẽ giành toàn thời gian để kết thúc Chương trình. Mục tiêu có thể đạt sẽ được thực hiện khoảng 16 đánh giá cuối kỳ theo mức độ hai dự án mỗi tháng vào giữa tháng ba và tháng 10 năm 2010. 6.2 Đánh giá giữa kỳ Mục đích của đánh giá giữa kỳ là kiểm tra các dự án đang thực hiện theo kế hoạch, xác định "các dự án có vấn đề" và cung cấp các hỗ trợ cần thiết khi cần. Các hạn chế về nguồn lực đã giới hạn số lượng đánh giá giữa kỳ là 8 dự án cho đến nay. Không có đánh giá giữa kỳ nào được tiếp tục thực hiện trong năm 2010. 6.3 Đánh giá dự án và đánh giá hoàn thành Chương trình . Đánh giá hoàn thành dự án sẽ diễn ra 3-6 tháng sau khi hoàn thành dự án để có thời gian cho tất cả các tài liệu bao gồm báo cáo hoàn thành dự án được trình Ban QLDA. Không khuyến khích cố gắng đánh giá trước khi tất cả các tài liệu được hoàn tất. Việc đánh giá hoàn thành sẽ được thực hiện theo đợt bởi những đánh giá viên dự án đã được đào tạo và chuyên gia kỹ thuật có liên quan làm việc trong các nhóm từ 3-4 người. Đánh giá giữa kỳ Chương trình CARD đã diễn ra trong nửa cuối năm 2007 bởi Nhóm Tư vấn
23 January 2010
CARD – M&E Procedures
kỹ thuật độc lập (TAG). Đánh giá hoàn thành sẽ được thực hiện trong nửa sau của năm 2010 và sẽ bao gồm việc xem xét và tập hợp tất cả các đánh giá dự án hoàn thành tại thời điểm đó. Điều này sẽ cung cấp thông tin có giá trị cho các Báo cáo hoàn thành dự án được chuẩn bị trong ba tháng cuối cùng của Chương trình CARD. Đánh giá dự án sẽ được thực hiện bởi các nhóm đánh giá được lựa chọn rút ra từ những người đã tham gia vào hội thảo đào tạo tháng ba năm 2007 và tháng 10 năm 2008 và Hội thảo xem xét M&E tháng 1 năm 2010. Trong một số trường hợp, cần thiết cần cả các chuyên gia kỹ thuật người đã không trải qua đào tạo đánh giá. Thời gian cần thiết để hoàn tất việc đánh giá sẽ khác nhau tùy theo tính chất và phạm vi địa lý của dự án. Tại phía mức độ thấp hơn, các dự án chủ yếu liên quan đến xây dựng năng lực và đào tạo có thể được đánh giá trong một hoặc hai ngày. Tại phía mức độ cao hơn, có các dự án làm việc trực tiếp với nông dân và các bên liên quan khác ở một số tỉnh khác nhau. Điều này đòi hỏi việc đi lại nhiều và làm việc thực địa để đánh giá tác động ở cấp độ trang trại. Tiêu chí phạm vi yêu cầu nguồn lực được đưa ra trong bảng sau. Chương trình làm việc đối với đánh giá hoàn thành hoặc đánh giá sau dự án Ngày Trách nhiệm
PMU
0.5 0.5 0.5 2
Nhiệm vụ 1. Chuẩn bị Điều khoản tham chiếu để đánh giá. 2. Xác định và tuyển chọn thành viên của Nhóm đánh giá. 3. Báo cáo tóm tắt cho Nhóm đánh giá. 4. Họp xem xét các thông tin tại CARD PMU: Thư bày tỏ sự quan tâm đến và Đề xuất dự án, báo cáo tiến độ, các ấn phẩm, báo cáo hoàn thành... 1
Nhóm đánh giá và Tổ chức Đối tác
1-2 1-2 1-5 a/
3-5 1-2
5. Chuẩn bị danh sách kiểm tra và kế hoạch làm việc cho đợt đánh giá. 6. Điều tra thực tế: • Phỏng vấn người cung cấp thông tin chủ chốt gồm giám đốc dự án (Úc và Việt Nam) và cán bộ dự án. • Các cuộc phỏng vấn với các cơ quan khác tham gia, tổ chức phi chính phủ vv • Các cuộc họp (nhóm và / hoặc cá nhân) với người hưởng lợi từ dự án. 7. Phân tích và chuẩn bị báo cáo. 8. Xem xét các dự thảo báo cáo đánh giá của các đối tác dự án và các bên liên quan 9. Hoàn thiện báo cáo đánh giá đối tác, xem xét đóng góp ý kiến 1 Các Tổ chức đối tác Nhóm đánh giá của đối tác và các bên liên quan.
a/Tùy vào số lượng và vị trí địa lý của người thụ hưởng. Lý tưởng nhất là đánh giá phải được tiến hành với sự tham vấn chặt chẽ của cả tổ chức đối tác của Úc và Việt Nam. Tuy nhiên, do đợt đánh giá nói chung sẽ diễn ra vài tháng sau khi hoàn thành dự án, nên thường đối tác của Úc không tham gia, mà họ cho ý kiến về dự thảo báo cáo đánh giá được nêu ra trong Nhiệm vụ 8 ở bảng trên. 6.4 Đánh giá sau dự án Đánh giá sau dự án cần được tiến hành sau khi kết quả và tác động của một dự án đã có thời gian để chím muồi đầy đủ, nhờ vậy bản đánh giá tốt có thể được thực hiện về sự thành công của dự án và bài học kinh nghiệm, đặc biệt về tính bền vững. Thường các khởi đầu xuất hiện
24 January 2010
CARD – M&E Procedures
thành công và bền vững lúc dự án hoàn thành đã bị biến mất mà không còn dấu vết nhiều năm sau đó. Trong trường hợp khác đánh giá hậu dự án xác định nhận việc chấp nhận một cách tự phát và lan rộng của công nghệ mới vượt xa nhóm hưởng lợi mục tiêu ban đầu. Với CARD do kết thúc trong tháng mười hai năm 2010 nên chỉ thực hiện đầy đủ các đánh giá PCEs mà sẽ không thể tiến hành đánh giá hậu dự án. Các dự án sẽ phải trải qua đánh giá hậu dự án dưới giám sát của Bộ NN & PTNT sau khi CARD kết thúc. 6.5 Nhu cầu đào tạo thêm Mục đích cuối cùng của đào tạo M & E là gây dựng những đánh giá viên có kỹ năng và kinh nghiệm trong Bộ NN & PTNT và các Đơn vị của Bộ để có khả năng trước hết đánh giá tất cả các dự án CARD, và sau đó đẩy mạnh đánh giá toàn bộ danh mục dự án của Bộ NN & PTNT như một phương tiện cải thiện các quyết định phân bổ nguồn lực. Các Hội thảo tập huấn thực hiện trong tháng 3 năm 2007 và tháng 10 năm 2008 giới thiệu khoảng 40 CB của Bộ NN & PTNT và STED về phương pháp đánh giá cơ bản và cung cấp một số kinh nghiệm thực tế thông qua việc tiến hành các nghiên cứu trường hợp. Kết quả là đã có được các đánh giá viên hạt nhân trong Bộ NN & PTNT, với ít nhất một nửa trong số những người tham gia tập huấn thể hiện năng khiếu và nhiệt tình đáng kể với công việc. Hơn nữa kinh nghiệm thực tế đã tăng lên thông qua 8 đợt đánh giá giữa kỳ và 14 đợt đánh giá cuối kỳ. Hiện giờ có đủ số nhân viên được đào tạo để thực hiện việc đánh giá theo kế hoạch. Hiện có 29 người đã tham gia đánh giá cuối kỳ, 9 người trong số họ là lãnh đạo nhóm. Sự cần thiết đào tạo trước mắt là để tăng thêm kinh nghiệm thực tế. Số đợt đánh giá đã được dự kiến trong quý cuối của năm 2008 và trong năm 2009 sẽ tạo cơ hội để tiếp tục phát triển các kỹ năng đánh giá thực tế cho nhóm hạt nhân. Một ưu tiên đào tạo khác là về Phân tích chi phí lợi nhuận. 14 đánh giá cuối kỳ đã thực hiện cho đến nay cho thấy, trong khi các khái niệm nói chung được nhận thức, các nhóm phải vật lộn với việc thực hành phân tích BCA. Điều này cho thấy cần phải phát triển hơn nữa kỹ năng BCA. Cách tốt nhất để làm được điều này là thông qua nghiên cứu trường hợp và các ví dụ, dựa trên các đánh giá sẽ được thực hiện trong 11 tháng tới. Các nhóm được lựa chọn cho những đánh giá này sẽ thu thập các dữ liệu cần thiết cho BCA và hoàn tất các phân tích với sự hỗ trợ chuyên gia M & E của Ban QLDA. 6.6 Kết luận CARD đã dần tới đích của thời hạn bảy năm và 14 dự án đầu tiên đã được hoàn thành và đánh giá. Trong thời gian còn lại của Chương trình, các đánh giá cuối kỳ sẽ được thực hiện để đưa ra bài học kinh nghiệm có thể được áp dụng để tiếp tục quản lý Chương trình CARD cũng như chương trình R & D nông nghiệp rộng lớn hơn thông qua Bộ NN & PTNT và các Đơn vị của Bộ. Để làm điều này Bộ NN & PTNT cần mở rộng đội ngũ đánh giá viên có kỹ năng thông qua kinh nghiệm thực tế. CARD sẽ hỗ trợ bằng cách cung cấp hướng dẫn phương pháp đánh giá. Những lợi ích sẽ là cải thiện thiết kế dự án, việc xác định các lĩnh vực đầu tư R&D có lợi nhuận cao (và thấp), cải thiện tính phù hợp và tác động, và cải tiến tính trách nhiệm và minh bạch trong phân bổ nguồn lực cho nông nghiệp và phát triển nông thôn.
25 January 2010
CARD – M&E Procedures
PHỤ LỤC 1: THUẬT NGỮ VÀ ĐỊNH NGHĨA Để tránh sự mơ hồ trong việc theo dõi và đánh giá dự án, các thuật ngữ tiêu chuẩn sau đây đã được CARD thông qua. CÁC THUẬT NGỮ Thuật ngữ Thư bày tỏ sự quan tâm (EOI) Đánh giá độc lập song song Chương trình Dự án
Hợp đồng dự án
Định nghĩa Giai đoạn đầu tiên trong chu kỳ dự án CARD, gồm lý do dự án, mục tiêu và các thành phần được trình bày với mục đích cho việc đánh giá ban đầu và vào danh sách ngắn. Xem xét các dự án đề xuất bởi các chuyên gia chuyên gia được lựa chọn để hỗ trợ trong việc viết đề xuất dự án chất lượng cao. Dùng để chỉ tổng thể Chương trình CARD - phân biệt với các dự án cá nhân được hỗ trợ bởi CARD. Một sự can thiệp bao gồm một tập hợp các hoạt động theo kế hoạch, liên quan đến nhau được thiết kế để đạt được các mục tiêu xác định trong phạm vi kinh phí và thời gian nhất định. Hợp đồng giữa CARD và tổ chức đề xuất dự án trong đó xác định dự án được thực hiện và các mốc thực hiện quan trọng được cấp kinh phí sẽ được giải ngân. Cơ quan quản lý nhà nước có trách nhiệm về chính sách và các ưu tiên R & D, và về ra các quyết định cuối cùng mà dựa vào đó dự án được tài trợ bởi Chương trình CARD.
Trung tâm hoạt động của CARD, cũng là bên ký hợp đồng và quản lý chương trình R & D chịu trách nhiệm, giám sát, thẩm định và đánh giá tác động. Bản đề trình cuối cùng của người đề xuất dự án để PCC xem xét và phê duyệt. Ttổ chức có trách nhiệm chính cho việc thiết kế và thực hiện một dự án CARD. Các dự án được mời nộp Đề xuất dự án đầy đủ. Nhóm chuyên gia độc lập tham gia theo hợp đồng cung cấp tư vấn kỹ thuật chuyên ngành về chất lượng của EOIs và Đề xuất Dự án. Ban Điều hành Chương trình (PCC) Ban Quản lý dự án (PMU) Đề xuất Dự án Người đề xuất Danh sách ngắn Ban Thẩm định kỹ thuật (TAP) Thông tin phản hồi Góp ý và đề xuất cho các chủ trì dự án bởi TAP, thẩm định độc lập song song và PCC để hỗ trợ người viết đề xuất nâng cao chất lượng EOIs và đề xuất dự án.
THUẬT NGỮ CHUNG VỀ GIÁM SÁT VÀ ĐÁNH GIÁ Thuật ngữ Hoạt động Định nghĩa Hành động hoặc công việc được thực hiện trong một dự án để tạo ra các đầu ra cụ thể bằng cách sử dụng đầu vào như vốn, hỗ trợ kỹ thuật, máy móc và các loại nguồn lực
1 January 2010
CARD – M&E Procedures
Giả định/Rủi ro
Các yếu tố bên ngoài, được công nhận rõ trong khung logic, có thể ảnh hưởng đến sự thành công của dự án. Mô tả mối quan hệ nhân quả giữa đầu vào và đầu ra dự án. Đóng góp Thông tin cơ bản Dữ kiện và số liệu thu thập trong giai đoạn đầu của một dự án cung cấp một cơ sở để đo lường tiến bộ trong việc đạt được các
Lợi ích
Đối tượng hưởng lợi Phân tích lợi ích- Chi phí Năng lực Mối quan hệ nhân quả Hoàn thành
Chi phí
Logic thiết kế Hiệu quả Hiệu suất Đánh giá
mục tiêu dự án. Hậu quả tích cực về tài chính, môi trường và xã hội hợp lý có thể do dự án đầu tư đem lại. Lợi ích cho nông dân có thể đến dưới hình thức thu nhập tiền mặt hoặc giá trị mà hộ gia đình tiêu dùng. Lợi ích cũng có thể bao gồm cải tiến năng lực thể chế có thể đóng góp cho lợi ích tài chính, xã hội và môi trường tương lai. Cá nhân, nhóm, tổ chức mà cho dù được mục tiêu hay không, có lợi ích trực tiếp hoặc gián tiếp từ dự án này - được gọi là "các bên liên quan chính" Việc so sánh các lợi ích hoặc tác động dự án (trực tiếp và gián tiếp) có thể đóng góp cho một dự án, với việc đầu tư và chi phí thường xuyên để thực hiện nó. Khả năng của các cá nhân và tổ chức để thực hiện các chức năng hiệu quả, hiệu suất và với cách thức bền vững. Một kết nối hợp lý hoặc liên kết nguyên nhân và hiệu quả trong việc đạt được các kết quả. Nói chung thuật ngữ này nói đến mối liên kết hợp lý, không phải là quan hệ thống kê chính xác. Giai đoạn cuối cùng trong chu trình dự án khi báo cáo (PCR) hoàn thành dự án được viết. Bài học kinh nghiệm được xác định và các hoạt động hoàn thành dự án khác nhau diễn ra trong đó có đánh giá hoàn thành dự án. Tổng giá trị của nguồn lực được sử dụng trong việc tạo ra lợi ích, bao gồm cả giá trị của lao động gia đình. Xem lưu ý dưới đây về chi phí cơ hội. Một hệ thống cấp bậc được kết nối hợp lý bao gồm mục tiêu, kết quả đầu ra, các đầu vào hoạt động, và các kết quả. Một thước đo mức độ mà một dự án đạt được, hoặc dự kiến sẽ đạt được mục tiêu một cách bền vững. Một đo lường cách mà các đầu vào được chuyển đổi thành các kết quả đầu ra một cách kinh tế Một hệ thống (và khách quan nhất có thể) kiểm tra một dự án đã lên kế hoạch, đang diễn ra hoặc đã hoàn thành. Nó nhằm mục đích để trả lời câu hỏi quản lý cụ thể và đánh giá giá trị tổng thể của dự án và tạo ra các bài học kinh nghiệm để cải thiện quy hoạch việc lập kế hoạch và ra quyết định trong tương lai. Đánh giá thường tìm cách xác định tính phù hợp, hiệu quả, hiệu suất, tác động và tính bền vững của dự án. Đánh giá cần cung cấp thông tin đáng tin cậy và hữu ích và cung cấp các bài học kinh nghiệm cụ thể để giúp các đối tác và cơ quan tài trợ ra quyết định tốt hơn. Đánh giá được thực hiện trước hoặc vào giai đoạn bắt đầu của việc thực hiện dự án.
Đánh giá được thực hiện sau khi hoàn thành hoặc tại cuối giai đoạn thực hiện dự án.
Đánh giá trước dự án Đánh giá hậu dự án Tác động
Sự thay đổi trong cuộc sống của người dân nông thôn, như cảm nhận của họ và các đối tác của họ tại thời điểm đánh giá, cộng với thay đổi-tăng cường tính bền vững về môi trường của họ mà dự án đã đóng góp. Các tác động có thể tích cực hoặc tiêu cực, được mong đợi hoặc không được mong đợi
2 January 2010
CARD – M&E Procedures
Các chỉ số
Đầu vào Bài học kinh nghiệm Khung logic
Các yếu tố / thông số định lượng hoặc định tính cung cấp một cơ sở đơn giản và đáng tin cậy để đánh giá thành tích, sự thay đổi hoặc hiệu quả. Một mục tiêu duy nhất có thể có một hoặc nhiều chỉ số. Các nguồn lực tài chính, con người và vật chất cần thiết để tạo ra các kết quả đầu ra dự kiến của dự án. Sự hiểu biết được tạo ra bằng phản ánh về kinh nghiệm, mà có tiềm năng để cải thiện các hành động trong tương lai. Một bài học kinh nghiệm tổng hợp sự hiểu biết tại một điểm, trong khi học tập là một quá trình liên tục. Một ma trận 4x4 khung logic tóm tắt các mục tiêu (những gì mà dự án dự định làm), và làm thế nào (đầu vào cần thiết và đầu ra), những gì là các giả định chính, và làm thế nào kết quả đầu ra sẽ được giám sát và đánh giá. Các nguồn thông tin dưới các chỉ số.
Phương tiện xác minh Đánh giá giữa kì (MIR) Điểm mốc
Giám sát
Mục tiêu
Chi phí cơ hội Đầu ra
Kết quả Đánh giá có sự tham gia Các bên liên quan chính Chu kì dự án Thiết kế dự án
Một đánh giá được thực hiện khoảng giữa thời gian thực hiện dự án với mục tiêu làm thay đổi cần thiết cho chiến lược dự án - cũng được biết đến như là một đánh giá giữa kỳ (MTE). Một chỉ số kiểm chứng cho thấy một kết quả đầu ra cụ thể đã được tạo ra (cột mốc đầu ra) hoặc kết quả đã đạt được (cột mốc kết quả đầu ra). Trong dự án CARD cột mốc được quy định trong Hợp đồng dự án là điểm kích hoạt để giải ngân cho nguwofi chủ trì dự án và các cơ quan đối tác. Thu thập và phân tích thông tin thường xuyên để hỗ trợ kịp thời ra quyết định và cung cấp cơ sở để đánh giá và học tập. Đây là một chức năng liên tục tạo ra dữ liệu để cung cấp cho quản lý dự án và các bên liên quan với các chỉ số của tiến bộ ban đầu và việc đạt được các mục tiêu. Sự bày tỏ chi tiết các kết quả mong muốn của một dự án ở các cấp độ khác nhau (ngắn và dài hạn). Các mục tiêu nên được định hướng theo tác động, có thể đo lường, ràng buộc về thời gian, cụ thể và thiết thực. Mất thu nhập bởi sử dụng nguồn lực mà nếu không sẽ có được công việc có hiệu quả ở nơi làm việc khác Những kết quả hữu hình, có thể đo đếm và được mong đợi được tạo ra thông qua cung cấp các đầu vào dự án nhằm thực hiện các hoạt động Ước tính hoặc đo lường những thay đổi đã diễn ra như là kết quả thực hiện dự án. Một thuật ngữ về sự tham gia của các bên liên quan chính và khác trong đánh giá. Các đối tượnghưởng lợi chính của dự án – trong các dự án CARD họ thường là nông dân sản xuất nhỏ. Còn được gọi là nhóm mục tiêu. Trình tự các hoạt động trong thiết kế và thực hiện một dự án bao gồm giám sát và đánh giá. Một quá trình lặp đi lặp lại bắt đầu với một ý tưởng dự án và tiến hành thông qua một công thức tiên tiến và thủ tục xem xét cho đến khi dự án được thiết kế và dự toán đầy đủ. Một chỉ số đo lường thuận tiện được sử dụng để đại diện cho một chỉ số có thể đo lường ít dễ dàng Mức độ mà các mục tiêu của một dự án phù hợp với các ưu tiên của nhóm mục tiêu và các chính sách của Chính phủ. Đánh giá của những người tham gia thực hiện dự án. Chỉ số Proxy Tính phù hợp Tự đánh giá Các bên liên quan Một cơ quan, tổ chức, nhóm hoặc cá nhân có quan tâm trực tiếp trong dự án, hoặc những người ảnh hưởng hoặc bị ảnh hưởng
3 January 2010
CARD – M&E Procedures
Tính bền vững
bởi các kết quả dự án Khả năng tác động tích cực của dự án (như tài sản, kỹ năng, trang thiết bị, hoặc dịch vụ được cải thiện) sẽ kéo thêm một thời gian gia hạn sau khi dự án hoàn thành Xem các bên liên quan chính. Sử dụng nhiều nguồn và phương pháp khác nhau và kiểm tra chéo và xác nhận dữ liệu khi mà một phương pháp duy nhất không cung cấp được một mức độ chính xác có thể chấp nhận được Nhóm mục tiêu Kiểm tra chéo (đo đạc tam giác)
4 January 2010
PHỤ LỤC 2: THỦ TỤC VÀ ĐIỀU KHOẢN THAM CHIẾU CHO ĐÁNH GIÁ GIỮA KỲ 1. MỤC TIÊU, PHẠM VI CỦA ĐÁNH GIÁ GIỮA KỲ Là một phần của quy trình giám sát thường xuyên và đảm bảo chất lượng, CARD tiến hành đánh giá các dự án trong thời gian thực hiện, thường giữa kỳ. Điều này được gọi là đánh giá giữa kỳ (MTR). MTR là một quy trình hỗ trợ thực hiện liên quan đến việc đánh giá tạm thời dự án để đánh giá tiến độ thực hiện các hoạt động và việc tạo ra các kết quả đầu ra, xác định các vấn đề và đề xuất giải pháp. Trong một số trường hợp, có thể đề xuất những thay đổi trong thiết kế dự án và ngân sách để đáp ứng thay đổi hoàn cảnh và bài học kinh nghiệm cho đến lúc đó, hoặc để khắc phục thiếu sót trong thiết kế ban đầu. Các MTR nên đánh giá các khía cạnh hoạt động như quản lý và thực hiện các hoạt động dự án, và mức độ mà các mục tiêu có khả năng đạt được. Nên tập trung vào hành động khắc phục cần thiết cho dự án để đạt được tác động, nhưng thường được tiến hành trước khi dự án có tác động rõ ràng. Đánh giá giữa kỳ cũng cần đánh giá kế hoạch đang có để đánh giá tác động cuối dự án và các nguồn lực sẵn có để thực hiện nó. Đánh giá giữa kỳ cũng sẽ giúp xác định "các vấn đề dự án " ở giai đoạn đầu, nơi mà công việc không theo kế hoạch, và nơi mà hành động khắc phục hậu quả được xác nhận là cần thiết. Trong trường hợp cực kỳ mà nó cho thấy mục tiêu sẽ không thể đạt được, việc sớm chấm dứt dự án có thể được khuyến khích. Đánh giá này cần được thực hiện theo cách xây dựng và có sự tham gia của người dân dưới sự lãnh đạo của một cố vấn hoặc tư vấn CARD và sự tham gia của nguwofi chủ trì dự án chính, các đối tác khác và các đối tượng hưởng lợi. Nên có một cuộc thảo luận sơ bộ để đồng thuận cách mà các thành viên khác nhau tham gia và cách phản hồi về các kết luận sẽ được cung cấp. Các đánh giá viên nên đồng ý với quản lý dự án về phương pháp đánh giá, gồm:
• mức độ tham gia trong thu thập dữ liệu, phân tích dữ liệu, rút ra kết luận và kiến nghị; và • các phương pháp phải được tuân theo (hội thảo, hội thảo, phỏng vấn, đi thực tế, câu hỏi điều tra, các nhóm tiêu điểm, kỹ thuật có sự tham gia vv.)
Đánh giá giữa kỳ sẽ giải quyết một số hoặc tất cả các vấn đề sau đây: • tính phù hợp của dự án để ưu tiên phát triển và những nhu cầu; • tính rõ ràng và khả thi của mục tiêu và chỉ tiêu; • triển vọng phát triển bền vững; • chất lượng và sự thỏa đáng của chiến lược dự án; • thiết kế logic; • sự rõ ràng của các giả định và rủi ro; • chất lượng của mối quan hệ đối tác và bên ngoài; và • hiệu quả chi phí. MTR cần được thực hiện khi khoảng một nửa điểm mốc của dự án đã đạt được, hoặc khi khoảng một nửa thời gian dự án đã trôi qua. Đối với hầu hết các dự án, đánh giá mất khoảng một tuần, bao gồm đánh giá ban đầu các tài liệu dự án, đi tới các điểm dự án, họp và thăm thực địa và chuẩn bị báo cáo.
January 2010
CARD – M&E Procedures
Trách nhiệm CARD PMU
CARD PMU
CARD PMU
CARD PMU CARD PMU
2. QUY TRÌNH MTR thường gồm một quy trình bốn bước như sau: Bước 1: Lập kế hoạch Nhiệm vụ 1. Chọn dự án được xem xét và đồng ý với chủ trì dự án về thời gian và phạm vi đánh giá giữa kỳ. 2. Yêu cầu người đề xuất chỉ định một người thích hợp để làm việc toàn thời gian với đoàn đánh giá trong chuyến đi thực đia 3. Chuẩn bị điều khoản tham chiếu (Bản mô tả nhiệm vụ-TOR)- dựa trên các điều khoản tham chiếu chung được trình bày ở đây. 4. Gửi TOR cho người chủ trì dự án. 5. Chọn đoàn đánh giá và chuẩn bị hợp đồng. Hợp đồng phải bao gồm điều khoản tham chiếu chi tiết và những yêu cầu về báo cáo để các chuyên gia tư vấn nhận thức đầy đủ những gì họ sẽ được yêu cầu để thực hiện. Bước 2: Chuẩn bị Nhiệm vụ 1. Tập hợp đội ngũ và cung cấp tóm tắt mục đích và phạm vi đánh giá giữa kỳ.
Trách nhiệm CARD PMU MTR Team MTR Team MTR Team
MTR Team
MTR Team
MTR Team MTR Team
2. Xem xét tất cả tài liệu dự án do Ban QLDA CARD cung cấp. 3. Làm rõ các mục tiêu dự án, đầu ra và các chỉ số được trình bày trong khung đề xuất. 4. Từ những thông tin có trong tài liệu dự án, hoàn thành một đánh giá ban đầu về thực hiện dự án liên quan đến các giả định và các chỉ số khung logic - xem định dạng dưới đây. 5. Xác định các khoảng trống trong thông tin và cách giải quyết trong chuyến đi thực địa 6. Chuẩn bị một bản liệt kê các yêu cầu thông tin và hướng dẫn thảo luận. 7. Thông báo cho người chủ trì dự án những thông tin bổ sung gì sẽ được tìm kiếm. 8. Thoả thuận về việc phân định trách nhiệm giữa các thành viên trong nhóm 9. Hoàn chỉnh kế hoạch và sắp xếp chuyến đi Team Leader CARD PMU MTR Team
• Báo cáo thẩm định các báo các điểm mốc và báo cáo định kỳ 6 tháng • Các Báo cáo nghiên cứu chuyên môn/kỹ thuật • Hợp đồng với các tổ chức đối tác • Các ấn phẩm Trong bước này, đánh giá viên nên trở thành quen thuộc hoàn toàn với các mục tiêu dự án, kết quả đầu ra, các giai đoạn và hoạt động trước đó, các vấn đề, ngân sách, lịch thời gian, đối tác, bối cảnh… Các tài liệu sau đây cần được thu thập và nghiên cứu: • Đề xuất Dự án • Hợp đồng Dự án • Các báo cáo điểm mốc • Báo cáo dự án 6 tháng định kỳ
January 2010
2
CARD – M&E Procedures
Xem xét các giả định thiết kế Giả định Danh sách các giả định như đã nêu trong khung logic trình bày trong đề xuất dự án Nhận xét Các giả định được xác thực giá trị? - Có, không, một phần Những thông tin thêm nào cần thiết để kiểm tra tính hợp lệ của các giả định?
Đánh giá ban đầu của chỉ số khung Logic Cấp Đánh giá
Các chỉ số Các chỉ số có trong khung logic Đạt được chỉ tiêu Các mục tiêu và kết quả đầu ra đã đạt được theo các chỉ tiêu đã ghi rõ?
Trách nhiệm MTR Team MTR Team
Project Team MTR Team a/ MTR Team a/
MTR Team a/ MTR Team a/ MTR and Project Teams MTR Team
CARD PMU Nhóm Dự án Trưởng nhóm
Mục tiêu 1, 2, 3, vv Kết quả, 1.1, 1.2, 1.3 vv Điều quan trọng ở giai đoạn này là đảm bảo các mục tiêu ở bậc cao hơn của dự án thì được ghi rõ ràng. Nếu chúng không được xác định hoặc không chắc chắn, hoặc các chỉ số không phù hợp, thì việc đánh giá dự án sẽ rất khó khăn. Nếu thấy đó là một vấn đề thì cần thảo luận với người đề xuất dự án nhằm nhất trí về một bộ các mục tiêu và các chỉ số cao hơn một cách phù hợp. Bước 3: Làm việc thực địa Nhiệm vụ 1. Đi đến điểm dự án 2. Bắt đầu gặp nhóm dự án để giải thích mục đích của việc đánh giá và đồng ý một kế hoạch làm việc. 3. Trình bày các thành phần dự án, các hoạt động và kết quả. 4. Thăm cơ sở nghiên cứu, các thử nghiệm, các trình diễn, vv 5. Tiến hành các cuộc họp với các đối tác và cộng tác viên (dịch vụ khuyến nông, vv.) 6. Tiến hành các cuộc họp với người cung cấp thông tin chính. 7. Gặp gỡ với các đối tượng hưởng lợi dự định (cá nhân hoặc trong nhóm). 8. Tổng kết cuộc họp với nhóm dự án để chia sẻ ấn tượng ban đầu và các kiến nghị. 9. Trở về Hà Nội. a / Được hỗ trợ và hướng dẫn bởi các thành viên của nhóm dự án. Mặc dù nhóm vẫn sẽ làm việc về phân tích và viết báo cáo, điều quan trọng là để chia sẻ ấn tượng và kiến nghị ban đầu với nhóm dự án và cung cấp một cơ hội để bảo vệ hay giải thích bất kỳ vấn đề hiển nhiên nào đó. Nếu có đủ thời gian, 1-2 trang tóm tắt những điểm chính về những phát hiện ban đầu và các kiến nghị cần được cung cấp với ghi chú là "gửi cho ban quản lý CARD đánh giá". Bước 4: Phân tích và báo cáo Nhiệm vụ Trách nhiệm Viết dự thảo báo cáo đánh giá giữa kỳ MTR – xem định dạng đề xuất Nhóm MTR 2. Đánh giá và nhận xét dự thảo báo cáo 3. Hoàn chỉnh báo cáo dự thảo, gồm một trang tóm tắt 4. Trình bày các phát hiện và kiến nghị với Ban quản lý CARD và Bộ NN & PTNT / Vụ KHCN và MT
January 2010
3
CARD – M&E Procedures
Nhiệm vụ trong Nhóm a/
3. ĐIỀU KHOẢN THAM CHIẾU (BẢN MÔ TẢ CHỨC NĂNG NHIỆM VỤ CỦA NHÓM ĐÁNH GIÁ_TOR) (Mã số và tên dự án) Bối cảnh Dự án được phê duyệt nhận kinh phí từ CARD vào (ghi tháng, năm), được bắt đầu vào (ghi tháng, năm), và dự kiến sẽ hoàn thành vào (ghi tháng, năm). Đến nay Dự án đã hoàn thành .... điểm mốc của tổng số …. Điểm mốc theo kế hoạch và đã được quyết định thực hiện đánh giá việc thực hiện dự án như là một phần của quá trình theo dõi và nhiệm vụ hỗ trợ thực hiện dự án của CARD. MTR sẽ được thực hiện bởi một Nhóm gồm ….người như sau: Họ và Tên a/ Ghi rõ ai là Nhóm trưởng Nhóm đánh giá giữa kỳ sẽ báo cáo cho… (tên và vị trí của cán bộ của CARD). Các tài liệu sau đây sẽ được cung cấp cho nhóm đánh giá giữa kỳ để hướng dẫn họ thực hiện đánh giá. (Liệt kê các tài liệu) Lịch làm việc của Đoàn đánh giá giữa kỳ như sau: Các bước Ngày bắt đầu/ Kết thúc
Bước 1: Lập kế hoạch Bước 2: Chuẩn bị Bước 3: Làm việc tại thực địa Bước 4: Báo cáo – Dự thảo báo cáo - Báo cáo chính thức
January 2010
4
CARD – M&E Procedures
Những câu hỏi đánh giá chính • Mức độ phù hợp - thiết kế dự án có đáp ứng chính xác vấn đề hay nhu cầu của thực tế? • Tác động - dự án góp phần cải thiện sinh kế và mục tiêu tổng thể của CARD đến mức độ nào?
• Hiệu quả - dự án đang làm những điều đúng để giải quyết các mục đích hoặc mục tiêu?
• Hiệu suất - nguồn lực đang được sử dụng theo cách tốt nhất có thể, hoặc có thể đã được thực hiện với chi phí thấp hơn?
• Tính bền vững - kết quả tích cực có thể được duy trì, nhân rộng hoặc mở rộng?
Các vấn đề khác cần được xem xét • Đánh giá tiến bộ, hiệu quả và thích hợp về cung cấp các đầu vào và đầu ra của dự án. • Đánh giá tiến độ tài chính và thực hiện đánh giá sơ bộ về hiệu quả chi phí dự án. • Xem xét hiệu quả của tổ chức và quản lý dự án về qui mô và thành phần của nó, cơ cấu tổ chức, quản lý nhân sự và chính sách, trình độ của nhân viên tham gia, báo cáo, hiệu quả của hệ thống M & E (trong việc xác định các chỉ số hoạt động và thu thập và phân tích dữ liệu về tiến độ dự án) và theo dõi phản ứng của bên liên quan chính đối với các hoạt động dự án. • Đánh giá sự phù hợp và hiệu quả của hỗ trợ kỹ thuật và đào tạo cho cán bộ và các bên liên quan chính về thiết kế các mục tiêu và mức độ mà họ nhận được trên cơ sở đánh giá nhu cầu và được theo dõi để xác định tác động.
• Xác định chất lượng hợp tác giữa người nhận tài trợ chính và các tổ chức đối tác, và hiệu quả của cơ chế phối hợp về thành phần và đóng góp của Ban Điều phối để kịp thời ra quyết định và giải quyết vấn đề.
• Đánh giá mức độ tuân thủ Hợp đồng dự án. • Xác định các yếu tố và những hạn chế ảnh hưởng đến thực hiện dự án, gồm kỹ thuật, quản lý, vấn đề tổ chức, thể chế và chính sách kinh tế xã hội, ngoài các yếu tố bên ngoài khác đã không lường trước được trong khi thiết kế.
• Xem xét kết quả và tác động (nếu có) cho đến lúc đánh giá, về những kết quả phát triển, dựa trên các tác động phát triển thực tế và tiềm năng của các bên liên quan chính, các tổ chức có liên quan và bối cảnh rộng hơn. Điều này gồm lợi ích có thể nhận thấy cho các bên liên quan chính – trong đó có sinh kế mở rộng hơn và xây dựng năng lực – theo chiều sâu, chiều rộng và giới tính, sự tham gia của các bên liên quan chính và các vấn đề môi trường. • Đánh giá triển vọng về duy trì các tác động như vậy sau khi dự án hoàn thành, có tính đến các giả định và rủi ro đã xác định trước đây và mới phát sinh.
• Xác định chỗ nào thiết kế dự án cần điều chỉnh / định hướng lại để tăng hiệu quả trong việc cung cấp lợi ích cho các nhóm mục tiêu. Đánh giá đề xuất điều chỉnh mục tiêu dự án, chiến lược, hoạt động, ngân sách và đầu vào, thiết lập tổ chức và kế hoạch thực hiện. • Đánh giá đầy đủ và rõ ràng của việc báo cáo và hiệu quả về theo dõi các yêu cầu và kiến nghị đối với quản lý của CARD.
• Đưa ra các bài học kinh nghiệm rõ ràng để có ích cho thời gian còn lại của dự án • Đề nghị những thay đổi cần thiết đối với thiết kế dự án, phương pháp thực hiện, các cột mốc, yêu cầu báo cáo, và ngày hoàn thành.
January 2010
5
CARD – M&E Procedures
4. ĐỊNH DẠNG BÁO CÁO MTR Báo cáo nên có khoảng mười trang, nhưng có thể ngắn hơn, và sử dụng tối đa các bảng, biểu đồ và hình ảnh. Điều quan trọng là PCE các hệ thống xem xét tất cả các thành phần dự án, tiểu hợp phần và các hoạt động và đóng góp cho các mục tiêu dự án cấp cao hơn hoặc các mục tiêu. Sau đây là định dạng được đề nghị: Trang bìa Mã số và tên dự án Ngày đánh giá Tên tác giả (người viết báo cáo) 2 Trang Báo cáo tóm tắt (xem mẫu) Danh sách các chữ viết tắt 1. Giới thiệu (1-2 trang)
• Mô tả tóm tắt về mục tiêu dự án và các thành phần • Kinh phí dự án • Giai đoạn thực hiện • Các cơ quan / tổ chức thực hiện dự án • Phương pháp đánh giá
2. Xem xét thực hiện dự án (3-5 trang)
• Danh sách các điểm mốc dự kiến và hoàn thành. • Trình bày hai bảng bao gồm cả việc xem xét các giả định thiết kế, và xem xét các chỉ số khung logic trong định dạng được mô tả trong hướng dẫn Bước 2.
• Tóm tắt những thành tựu chính cho đến nay. • Mô tả các thiếu sót hoặc các vấn đề gặp phải và những lý do. • Đối với mỗi thành phần và tiểu hợp phần, và dự án nói chung, đánh giá tổng thể việc thực hiện cho đến nay bằng cách sử dụng xếp hạng sau đây:
o Tốt o Khá o Trung bình o Kém
3. Đánh giá dự án (2-4 trang) • Đánh giá sự phù hợp, tác động, hiệu quả, hiệu suất và tính bền vững đối với từng thành phần, tiểu hợp phần và toàn dự án. 4. Kết luận và khuyến nghị (2-3 trang) • Kết luận về thiết kế dự án • Khuyến nghị thay đổi (nếu có) về thiết kế • Kết luận về thực hiện dự án • Khuyến nghị thay đổi (nếu có) về phương thức thực hiện • Đánh giá sơ bộ lợi nhuận, chi phí và tác động tài chính (tỷ lệ lợi ích/chi phí /) • Các bài học kinh nghiệm File đính kèm Ảnh chụp
January 2010
6
CARD – M&E Procedures
Hướng dẫn cho các câu hỏi đánh giá chính Tính Phù hợp • Đánh giá tính phù hợp về mục tiêu đích án, mục tiêu, thành phần và kết quả đầu ra để giảm nghèo nông thôn và các yêu cầu của các bên liên quan chính. • Có bất kỳ thay đổi cần thiết nào cần thực hiện để làm cho dự án phù hợp hơn với các bên liên quan chính?
Ví dụ về cho điểm tính Phù hợp 1 = Kém nhất
5 = Tốt nhất • Dự án là hoàn toàn phù hợp với chính sách có liên quan • Dự án giải quyết các nhu cầu của các nhóm mục tiêu • Dự án sẽ góp phần tăng cường cho các tổ chức có liên quan • Dự án trái với khung chính sách liên quan • Không giải quyết những nhu cầu của nông dân sản xuất nhỏ • Dự án không thể đóng góp vào tăng cường cho các tổ chức có liên quan
Tác động • Các tác động dự kiến có được xác định đầy đủ trong Đề xuất dự án? • Các tác động dự kiến đã đạt được trong thời gian dự án hoặc một thời gian sau dự án không? • Liệu các kết quả đầu ra có tác động mong muốn đến các đối tượng hưởng lợi mục tiêu về cải thiện cuộc sống của họ? • Những điều bạn đánh giá về các tác động dự kiến sẽ trở thành sự thật là gì? • Có bất kỳ thay đổi cần thiết nào không để thực hiện dự án tốt hơn để có thể đạt được tác động tích cực cho các bên liên quan chính?
Ví dụ về cho điểm Tác động
1 = Kém nhất • Dự án không thể đem lại cải thiện thu nhập hoặc tiêu chuẩn sống cho nông dân sản xuất nhỏ • Phân tích Chi chi/Lợi nhuận phí cho thấy BCR <1,0 • Mức độ áp dụng công nghệ rất thấp 5 = Tốt nhất • Dự án sẽ làm tưng thu nhập rõ ràng cho nông dân sx nhỏ và mức sống được cải thiện. • Tỷ lệ chi phí /Lợi nhuện ước tính là 5 hoặc trên 5 • Có dấu hiệu rõ ràng là công nghệ đang được các nông hộ áp dụng
Hiệu quả • Dự án có làm những điều đúng để giải quyết mục tiêu mang lại lợi ích cho các bên liên quan chính không? • Điều gì (nếu có) có thể được thực hiện khác đi để cho dự án có hiệu quả hơn?
Ví dụ về cho điểm Hiệu quả 5 = Tốt nhất
• Tất cả các hoạt động dự án trực tiếp giải quyết các mục tiêu dự án • Dự án mang lại lợi ích một cách có hiệu quả cho các bên liên quan chính 1 = Kém nhất • Nhiều hoạt động dự án dường như không có đóng góp cho các mục tiêu • Các bên liên quan chính không có khả năng nhận được lợi ích đáng kể
January 2010
7
CARD – M&E Procedures
Hiệu suất • Có cách rẻ hơn / tốt hơn để tạo ra các kết quả đầu ra và tác động quy định tại Hợp đồng Dự án? • Dự án đúng tiến độ, trước tiến độ hay chậm tiến độ trong việc đạt được các điểm mốc? • Đánh giá tổ chức và quản lý dự án về hiệu suất của việc đạt được các kết quả đầu ra. • Người nhận tài trợ đánh giá thế nào về hiệu quả của nhóm CARD trong việc hỗ trợ thiết kế và thực hiện dự án ? • Điều gì (nếu có) có thể được thực hiện khác đi để làm cho hoạt động dự án có hiệu suất hơn?
Ví dụ về cho điểm Hiệu suất 1 = Kém nhất
5 = Tốt nhất • Dự án thực hiện đúng tiến độ và trong phạm vi ngân sách • Tất cả các điểm mốc quan trọng đều đạt được • Tinh thần và hiệu quả làm việc của nhân viên cao
• Có nhiều ví dụ về cấp kinh phí quá sớm và chậm trễ • Một số điểm mốc quan trọng không đạt được • Tinh thần và hiệu quả làm việc của nhân viên thấp Tính bền vững • Nhu cầu về hàng hoá hoặc dịch vụ đang được cung cấp cho người hưởng lợi mục tiêu mạnh như thế nào? • Có tiềm năng để giới thiệu các các quy trình thu hồi chi phí đối với hàng hóa, dịch vụ được cung cấp? • Những biện pháp được đặt ra để duy trì cơ sở vật chất và trang thiết bị hoạt động? • Có thị trường tiếp cận cho các hàng hóa được sản xuất bởi các đối tượng hưởng lợi mục tiêu? • Lợi nhuận của doanh nghiệp hoặc của các hoạt động mục tiêu? • Mức độ tham gia của các đối tượng hưởng lợi mục tiêu trong thiết kế và thực hiện dự án là gì? • Tính sẵn có nguồn nhân lực cho đào tạo phù hợp và nhu cầu đào tạo nữa như thế nào? • Có cần phải có Dự án hoặc đầu tư tiếp theo để củng cố tính bền vững? • Nhu cầu tài chính tiếp tục và các nguồn kinh phí có thể có? • Mức độ sở hữu về thể chế và cam kết là gì? • Điều gì (nếu có) có thể được thực hiện khác đi để làm cho các dự án bền vững hơn? Ví dụ về cho điểm Tính bền vững 1 = Kém nhất 5 = Tốt nhất
• Nông dân rất quan tâm đến việc duy trì các can thiệp • Sự chấp nhận tự phát xuất hiện bên ngoài các nhóm mục tiêu chính • Những khuyến khích thương mại mạnh mẽ để duy trì sự can thiệp • Không có bằng chứng cho thấy nông dân quan tâm đến việc áp dụng và duy trì các can thiệp • Không có chấp nhận tự phát bên ngoài những nhóm mục tiêu chính. • Phân tích tài chính cho thấy các can thiệp đưa lại lợi ích kém
January 2010
8
Bản đánh giá Tóm tắt dự án CARD
Ngày bắt đầu Kinh phí từ Govt Ngày hoàn thành Tổng Kinh phí
Đã thực hiện/Chưa thực hiện
Đã thực hiện/Chưa thực hiện 6. 7. 8. 9. 10.
Ngày đánh giá MTR hoặc PCE
Mã số và tên dự án Cơ quan phía Việt Nam Cơ quan phía đối tác Úc Ngày chấp nhận Kinh phí từ CARD Tóm tắt dự án (từ Bản đề xuất) Objectives: Mục tiêu: Các điểm mốc đã thực hiện: 1. 2. 3. 4. 5. Báo cáo đã nộp (Tiêu đề/ngày) Thành viên của Nhóm đánh giá Tóm tắt đánh giá Điểm a/ Nhận xét
Tính phù hợp Tác động Hiệu quả Hiệu suất Tình bền vững Số điểm trung bình Đánh giá chung b/ Những vấn đề chính được xác định Bài học kinh nghiệm Khuyến nghị Ý kiến khác a/ 1 = Kém nhất 5 = Tốt nhất b/ Highly Satisfactory, Satisfactory, Moderately Satisfactory, Un-satisfactory b. Tốt; Khá; Trung bình; Kém
January 2010
CARD – M&E Procedures
PHỤ LỤC 3: THỦ TỤC VÀ ĐIỀU KHOẢN THAM CHIẾU CHO ĐÁNH GIÁ HOÀN THÀNH DỰ ÁN 1. MỤC TIÊU VÀ PHẠM VI ĐÁNH GIÁ HOÀN THÀNH DỰ ÁN Là một phần của quy trình theo dõi và đảm bảo chất lượng thường xuyên, CARD thực hiện cuộc đánh giá các dự án trong thời gian thực hiện, thường vào khoảng giữa chu kỳ hoạt động của Dự án. Đây là đợt Đánh giá giữa kỳ (MTR). MTR là một thủ tục hỗ trợ thực hiện liên quan đến việc đánh giá tạm thời dự án để xem xét tiến độ thực hiện các hoạt động và việc tạo ra các kết quả đầu ra, xác định khu vực có vấn đề và đề xuất giải pháp. CARD cũng thực hiện một đánh giá nữa được gọi là đánh giá hoàn thành dự án (PCE) sau khi tất cả các mốc thực hiện đã được giao nộp, trong đó có hoàn thành Báo cáo hoàn thành dự án. Trong khi MTR là một công cụ hoạt động, chủ yếu liên quan đến giám sát thực hiện dự án, PCE là một công cụ đánh giá nhằm mục đích đạt được những kết luận mà thông báo cho chiến lược và chính sách R & D nông nghiệp và cung cấp một hướng dẫn phân bổ nguồn lực tương lai. Các PCEs cũng góp phần đánh giá toàn bộ Chương trình CARD, và chương trình tài trợ cho nghiên cứu cạnh tranh của Bộ NN & PTNT. PCEs nên tiến hành cách thức có cấu trúc và có sự tham gia của người dân dưới sự lãnh đạo của một cố vấn/chuyên gia CARD và sự tham gia của cơ quan đề xuất /thực hiện dự án nghiên cứu, các đối tác khác và các đối tượng được hưởng lợi. Nên có một cuộc thảo luận sơ bộ để đồng ý cách thức các đại diện tham gia và cách thức phản hồi về các kết luận sẽ được cung cấp. Các đánh giá viên nên đồng ý với quản lý dự án về phương pháp luận của cuộc đánh giá về:
• mức độ tham gia trong thu thập dữ liệu, phân tích dữ liệu, rút ra kết luận và kiến nghị; và • phương pháp được tuân thủ (hội thảo, hội thảo chuyên môn, phỏng vấn, đi thực địa, câu hỏi điều tra, các nhóm tiêu điểm, kỹ thuật có sự tham gia của người dân vv.)
PCE sẽ giải quyết một số hoặc tất cả những điều sau đây:
triển vọng phát triển bền vững;
• sự phù hợp dự án với những ưu tiên phát triển và nhu cầu; • sự rõ ràng và khả thi của mục tiêu và chỉ tiêu; • • chất lượng và đầy đủ của chiến lược dự án; • hợp lý của thiết kế dự án; • sự rõ ràng của các giả định và rủi ro; • chất lượng của quan hệ đối tác và các mối quan hệ bên ngoài; và • hiệu quả chi phí.
Hầu hết đối với các dự án, PCE mất khoảng một tuần cộng thêm thời gian để các trưởng nhóm hoàn tất viết báo cáo, bao gồm đánh giá ban đầu về tài liệu dự án, đi thực địa, các cuộc họp và làm việc tại thực địa và viết báo cáo. Nếu có thể, PCE sẽ được thực hiện bởi nhóm đã thực hiện đánh giá giữa kỳ. 2. QUY TRÌNH PCE thường gồm một quy trình bốn bước như sau:
January 2010
CARD – M&E Procedures
Trách nhiệm CARD PMU
CARD PMU
CARD PMU
CARD PMU CARD PMU
Bước 1: Lập kế hoạch Nhiệm vụ 1. Chọn dự án được xem xét và đồng ý với chủ trì dự án về thời gian và phạm vi đánh giá cuối kỳ. 2. Yêu cầu người đề xuất chỉ định một người thích hợp để làm việc toàn thời gian với đoàn đánh giá trong chuyến đi thực đia 3. Chuẩn bị điều khoản tham chiếu (Bản mô tả nhiệm vụ-TOR)- dựa trên các điều khoản tham chiếu chung được trình bày ở đây. 4. Gửi TOR cho người chủ trì dự án. 5. Chọn đoàn đánh giá và chuẩn bị hợp đồng. Hợp đồng phải bao gồm điều khoản tham chiếu chi tiết và những yêu cầu về báo cáo để các chuyên gia tư vấn nhận thức đầy đủ những gì họ sẽ được yêu cầu để thực hiện. Bước 2: chuẩn bị Nhiệm vụ 1. Tập hợp đội ngũ và thông báo tóm tắt mục đích và phạm vi của PCE
Trách nhiệm CARD PMU Nhóm PCE Nhóm PCE Nhóm PCE
Nhóm PCE
2. Xem xét tất cả tài liệu dự án của Ban QLDA CARD 3. Làm rõ các mục tiêu dự án, đầu ra và các chỉ số như trình bày trong khung dự án 4. Từ những thông tin có trong tài liệu dự án, hoàn thành một đánh giá ban đầu thực hiện dự án về các chỉ số và các giả định trong khung logic - xem định dạng dưới đây. 5. Xác định các thông tin thiếu và cách giải quyết trong chuyến đi thực địa 6. Liệt kê danh sách về các yêu cầu thông tin và hướng dẫn thảo luận. 7. Thông báo cho người đề xuất dự án thông tin gì cần tìm kiếm. 8. Thoả thuận về việc phân định trách nhiệm giữa các thành viên trong nhóm 9. Hoàn chỉnh kế hoạch và sắp xếp chuyến đi Nhóm PCE Nhóm PCE Nhóm PCE Trưởng nhóm CARD PMU Nhóm PCE
Trong bước này, đánh giá viên trở nên quen thuộc với các mục tiêu dự án, kết quả đầu ra, các giai đoạn / hoạt động trước đó, các vấn đề, ngân sách, tiến độ thời gian, đối tác, bối cảnh vv. Các tài liệu sau đây cần được thu thập và nghiên cứu: • Đề xuất Dự án • Hợp đồng Dự án • Báo cáo Điểm mốc • Các Báo cáo dự án định kỳ 6 tháng
• Milestone and Six-Monthly appraisal reports • Project Completion Report • Special Studies • Sub-contracts with partner organisations • Publications Produced • Báo cáo đánh giá điểm mốc và báo cáo 6 tháng • Báo cáo hoàn thành dự án • Các Nghiên cứu đặc biệt • Hợp đồng với các Cơ quan đối tác • Các ấn phẩm được xuất bản
January 2010
CARD – M&E Procedures
Xem xét các giả định thiết kế ban đầu
Nhận xét Các giả định có giá trị? - Có, không, một phần Cần thêm những thông tin cần thiết gì để kiểm tra tính hợp lệ của các giả định?
Giả đinh Danh sách các giả định như đã nêu trong khung dự án và được trình bày trong đề xuất dự án Đánh giá ban đầu các Chỉ số Khung Logic Cấp đánh giá
Các chỉ số Các chỉ số có trong khung logic Mục tiêu 1, 2, 3, vv Kết quả, 1.1, 1.2, 1.3 vv Việc đạt được các chỉ số Có mục tiêu và kết quả đầu ra đã đạt được theo các chỉ tiêu quy định?
Trách nhiệm PCE Team PCE Team
Project Team PCE Team a/ PCE Team a/
PCE Team a/ PCE Team a/ PCE and Project Teams PCE Team Điều quan trọng ở giai đoạn này là đảm bảo các mục tiêu ở bậc cao hơn của dự án được chỉ ra rõ ràng. Nếu chúng không được đưa ra hoặc không được xác định, hoặc các chỉ số không phù hợp, thì việc đánh giá dự án sẽ rất khó khăn. Nếu thấy đó là một vấn đề thì cần thảo luận với người đề xuất dự án nhằm nhất trí về một bộ các mục tiêu và các chỉ số cao hơn một cách phù hợp. Bước 3: Làm việc thực địa Nhiệm vụ 1. Đi đến điểm dự án 2. Bắt đầu gặp nhóm dự án để giải thích mục đích của việc đánh giá và đồng ý một kế hoạch làm việc. 3. Trình bày các thành phần dự án, các hoạt động và kết quả. 4. Thăm cơ sở nghiên cứu, thử nghiệm, trình diễn, vv 5. Tiến hành các cuộc họp với các đối tác và cộng tác viên (dịch vụ khuyến nông, vv.) 6. Tiến hành các cuộc họp với người cung cấp thông tin chính. 7. Gặp gỡ với các đối tượng hưởng lợi dự định (cá nhân hoặc trong nhóm). 8. Tổng kết cuộc họp với nhóm dự án để chia sẻ ấn tượng ban đầu và các kiến nghị. 9. Trở về Hà Nội. a / Được hỗ trợ và hướng dẫn bởi các thành viên của nhóm dự án.
Mặc dù nhóm vẫn sẽ làm việc về phân tích và viết báo cáo, điều quan trọng là để chia sẻ ấn tượng và kiến nghị ban đầu với nhóm dự án và cung cấp một cơ hội để bảo vệ hay giải thích bất kỳ vấn đề hiển nhiên nào đó. Nếu có đủ thời gian, 1-2 trang tóm tắt những điểm chính về những phát hiện ban đầu và các kiến nghị cần được cung cấp với ghi chú là "gửi cho ban quản lý CARD đánh giá". Bước 4: Phân tích và báo cáo Nhiệm vụ Viết dự thảo báo cáo đánh giá cuối kỳ PCE – xem định dạng đề xuất 2. Đánh giá và nhận xét dự thảo báo cáo
Trách nhiệm PCE Team CARD PMU and Project Team Team Leader
3. Hoàn chỉnh báo cáo dự thảo, gồm một trang tóm tắt 4. Trình bày các phát hiện và kiến nghị với Ban quản lý CARD và Bộ NN & PTNT / Vụ KHCN và MT a / Hỗ trợ và hướng dẫn của các thành viên của nhóm dự án.
January 2010
CARD – M&E Procedures
Nhiệm vụ trong Nhóm a/
3. ĐIỀU KHOẢN THAM CHIẾU (BẢN MÔ TẢ CHỨC NĂNG NHIỆM VỤ CỦA NHÓM ĐÁNH GIÁ_TOR) (Mã số và tên dự án) Bối cảnh Dự án được phê duyệt nhận kinh phí từ CARD vào (ghi tháng, năm), được bắt đầu vào (ghi tháng, năm), và dự kiến sẽ hoàn thành vào (ghi tháng, năm). Đến nay Dự án đã hoàn thành tất cả các điểm mốc, trong đó có Báo cáo hoàn thành dự án và đã được quyết định thực hiện đánh giá việc thực hiện dự án như là một phần của quá trình theo dõi và nhiệm vụ hỗ trợ thực hiện dự án của CARD. MTR sẽ được thực hiện bởi một Nhóm gồm ….người như sau: Họ và Tên a/ Ghi rõ ai là Nhóm trưởng Nhóm đánh giá giữa kỳ sẽ báo cáo cho… (tên và vị trí của cán bộ của CARD). Các tài liệu sau đây sẽ được cung cấp cho nhóm đánh giá giữa kỳ để hướng dẫn họ thực hiện đánh giá. (Liệt kê các tài liệu) Lịch làm việc của Đoàn đánh giá giữa kỳ như sau: Các bước Ngày bắt đầu/ Kết thúc
Bước 1: Lập kế hoạch Bước 2: Chuẩn bị Bước 3: Làm việc tại thực địa Bước 4: Báo cáo – Dự thảo báo cáo - Báo cáo chính thức Những câu hỏi đánh giá chính Nhóm PCE nên đánh giá sơ bộ thiết kế và các kết quả dự án cho đến nay bằng cách hỏi 5 câu hỏi chính dưới đây:
• Mức độ phù hợp - thiết kế dự án có đáp ứng chính xác vấn đề hay nhu cầu của thực tế? • Tác động - dự án góp phần cải thiện sinh kế và mục tiêu tổng thể của CARD đến mức độ nào?
• Hiệu quả - dự án đang làm những điều đúng để giải quyết các mục đích hoặc mục tiêu?
• Hiệu suất - nguồn lực đang được sử dụng theo cách tốt nhất có thể, hoặc có thể đã được thực hiện với chi phí thấp hơn?
• Tính bền vững - kết quả tích cực có thể được duy trì, nhân rộng hoặc mở rộng?
January 2010
CARD – M&E Procedures
Các vấn đề khác cần được xem xét
• Đánh giá tiến bộ, hiệu quả và thích hợp về cung cấp các đầu vào và đầu ra của dự án. • Đánh giá tiến độ tài chính và thực hiện đánh giá sơ bộ về hiệu quả chi phí dự án. • Xem xét hiệu quả của tổ chức và quản lý dự án về qui mô và thành phần của nó, cơ cấu tổ chức, quản lý nhân sự và chính sách, trình độ của nhân viên tham gia, báo cáo, hiệu quả của hệ thống M & E (trong việc xác định các chỉ số hoạt động và thu thập và phân tích dữ liệu về tiến độ dự án) và theo dõi phản ứng của bên liên quan chính đối với các hoạt động dự án.
• Đánh giá sự phù hợp và hiệu quả của hỗ trợ kỹ thuật và đào tạo cho cán bộ và các bên liên quan chính về thiết kế các mục tiêu và mức độ mà họ nhận được trên cơ sở đánh giá nhu cầu và được theo dõi để xác định tác động.
• Xác định chất lượng hợp tác giữa người nhận tài trợ chính và các tổ chức đối tác, và hiệu quả của cơ chế phối hợp về thành phần và đóng góp của Ban Điều phối để kịp thời ra quyết định và giải quyết vấn đề.
• Đánh giá mức độ tuân thủ Hợp đồng dự án. • Xác định các yếu tố và những hạn chế ảnh hưởng đến thực hiện dự án, gồm kỹ thuật, quản lý, vấn đề tổ chức, thể chế và chính sách kinh tế xã hội, ngoài các yếu tố bên ngoài khác đã không lường trước được trong khi thiết kế.
• Xem xét kết quả và tác động (nếu có) cho đến lúc đánh giá, về những kết quả phát triển, dựa trên các tác động phát triển thực tế và tiềm năng của các bên liên quan chính, các tổ chức có liên quan và bối cảnh rộng hơn. Điều này gồm lợi ích có thể nhận thấy cho các bên liên quan chính – trong đó có sinh kế mở rộng hơn và xây dựng năng lực – theo chiều sâu, chiều rộng và giới tính, sự tham gia của các bên liên quan chính và các vấn đề môi trường. • Đánh giá triển vọng về duy trì các tác động như vậy sau khi dự án hoàn thành, có tính đến các giả định và rủi ro đã xác định trước đây và mới phát sinh.
• Xác định chỗ nào thiết kế dự án cần điều chỉnh / định hướng lại để tăng hiệu quả trong việc cung cấp lợi ích cho các nhóm mục tiêu. Đánh giá đề xuất điều chỉnh mục tiêu dự án, chiến lược, hoạt động, ngân sách và đầu vào, thiết lập tổ chức và kế hoạch thực hiện. • Đánh giá đầy đủ và rõ ràng của việc báo cáo và hiệu quả về theo dõi các yêu cầu và kiến nghị đối với quản lý của CARD.
• Đưa ra các bài học kinh nghiệm rõ ràng để có ích cho thời gian còn lại của dự án • Đề nghị những thay đổi cần thiết đối với thiết kế dự án, phương pháp thực hiện, các cột mốc, yêu cầu báo cáo, và ngày hoàn thành.
4. ĐỊNH DẠNG BÁO CÁO PCE Báo cáo nên có khoảng mười trang, nhưng có thể ngắn hơn, và sử dụng tối đa các bảng, biểu đồ và hình ảnh. Điều quan trọng là PCE các hệ thống xem xét tất cả các thành phần dự án, tiểu hợp phần và các hoạt động và đóng góp cho các mục tiêu dự án cấp cao hơn hoặc các mục tiêu. Sau đây là định dạng được đề nghị: Trang bìa Mã số và tên dự án
January 2010
CARD – M&E Procedures
Ngày đánh giá Tên tác giả (người viết báo cáo)
2 Trang Báo cáo tóm tắt (xem mẫu) Danh sách các chữ viết tắt 1. Giới thiệu (1-2 trang)
• Mô tả tóm tắt về mục tiêu dự án và các thành phần • Kinh phí dự án • Giai đoạn thực hiện • Các cơ quan / tổ chức thực hiện dự án • Phương pháp đánh giá 2. Xem xét thực hiện dự án (3-5 trang)
• Danh sách các điểm mốc dự kiến và hoàn thành. • Trình bày hai bảng bao gồm cả việc xem xét các giả định thiết kế, và xem xét các chỉ số khung logic trong định dạng được mô tả trong hướng dẫn Bước 2.
• Tóm tắt những thành tựu chính cho đến nay. • Mô tả các thiếu sót hoặc các vấn đề gặp phải và những lý do. • Đối với mỗi thành phần và tiểu hợp phần, và dự án nói chung, đánh giá tổng thể việc thực hiện cho đến nay bằng cách sử dụng xếp hạng sau đây:
o Tốt o Khá o Trung bình o Kém
3. Đánh giá dự án (2-4 trang) • Đánh giá sự phù hợp, tác động, hiệu quả, hiệu suất và tính bền vững đối với từng thành phần, tiểu hợp phần và toàn dự án. 4. Kết luận và khuyến nghị (2-3 trang) • Kết luận về thiết kế dự án • Khuyến nghị thay đổi (nếu có) về thiết kế • Kết luận về thực hiện dự án • Khuyến nghị thay đổi (nếu có) về phương thức thực hiện • Đánh giá sơ bộ lợi nhuận, chi phí và tác động tài chính (tỷ lệ lợi ích/chi phí /) • Các bài học kinh nghiệm
File đính kèm Ảnh chụp
January 2010
CARD – M&E Procedures
Hướng dẫn để giải quyết những câu hỏi đánh giá chính Tính Phù hợp • Đánh giá tính phù hợp về mục tiêu đích án, mục tiêu, thành phần và kết quả đầu ra để giảm nghèo nông thôn và các yêu cầu của các bên liên quan chính. • Có bất kỳ thay đổi cần thiết nào cần thực hiện để làm cho dự án phù hợp hơn với các bên liên quan chính?
Ví dụ về cho điểm tính Phù hợp 1 = Kém nhất
5 = Tốt nhất • Dự án là hoàn toàn phù hợp với chính sách có liên quan • Dự án giải quyết các nhu cầu của các nhóm mục tiêu • Dự án sẽ góp phần tăng cường cho các tổ chức có liên quan • Dự án trái với khung chính sách liên quan • Không giải quyết những nhu cầu của nông dân sản xuất nhỏ • Dự án không thể đóng góp vào tăng cường cho các tổ chức có liên quan
Tác động • Các tác động dự kiến có được xác định đầy đủ quy định trong Đề xuất dự án? • Các tác động dự kiến đã đạt được trong thời gian dự án hoặc một thời gian sau dự án không? • Liệu các kết quả đầu ra có tác động mong muốn đến các đối tượng hưởng lợi mục tiêu về cải thiện cuộc sống của họ? • Những điều bạn đánh giá về các tác động dự kiến sẽ trở thành sự thật là gì? • Có bất kỳ thay đổi cần thiết nào không để thực hiện dự án tốt hơn để có thể đạt được tác động tích cực cho các bên liên quan chính?
Ví dụ về cho điểm Tác động
1 = Kém nhất • Dự án không thể đem lại cải thiện thu nhập hoặc tiêu chuẩn sống cho nông dân sản xuất nhỏ • Phân tích Chi chi/Lợi nhuận phí cho thấy BCR <1,0 • Mức độ áp dụng công nghệ rất thấp 5 = Tốt nhất • Dự án sẽ làm tưng thu nhập rõ ràng cho nông dân sx nhỏ và mức sống được cải thiện. • Tỷ lệ chi phí /Lợi nhuện ước tính là 5 hoặc trên 5 • Có dấu hiệu rõ ràng là công nghệ đang được các nông hộ áp dụng
Hiệu quả • Dự án có làm những điều đúng để giải quyết mục tiêu mang lại lợi ích cho các bên liên quan chính không? • Điều gì (nếu có) có thể được thực hiện khác đi để cho dự án có hiệu quả hơn?
Ví dụ về cho điểm Hiệu quả 5 = Tốt nhất
• Tất cả các hoạt động dự án trực tiếp giải quyết các mục tiêu dự án • Dự án mang lại lợi ích một cách có hiệu quả cho các bên liên quan chính 1 = Kém nhất • Nhiều hoạt động dự án dường như không có đóng góp cho các mục tiêu • Các bên liên quan chính không có khả năng nhận được lợi ích đáng kể
Hiệu suất • Có cách rẻ hơn / tốt hơn để tạo ra các kết quả đầu ra và tác động quy định tại Hợp đồng Dự án? • Dự án đúng tiến độ, trước tiến độ hay chậm tiến độ trong việc đạt được các điểm mốc?
January 2010
CARD – M&E Procedures
• Đánh giá tổ chức và quản lý dự án về hiệu suất của việc đạt được các kết quả đầu ra. • Người nhận tài trợ đánh giá thế nào về hiệu quả của nhóm CARD trong việc hỗ trợ thiết kế và thực hiện dự án ? • Điều gì (nếu có) có thể được thực hiện khác đi để làm cho hoạt động dự án có hiệu suất hơn?
Ví dụ về cho điểm Hiệu suất
5 = Tốt nhất • Dự án thực hiện đúng tiến độ và trong phạm vi ngân sách • Tất cả các điểm mốc quan trọng đều đạt được • Tinh thần và hiệu quả làm việc của nhân viên cao 1 = Kém nhất • Có nhiều ví dụ về cấp kinh phí quá sớm and chậm trễ • Một số điểm mốc quan trọng không đạt được • Tinh thần và hiệu quả làm việc của nhân viên thấp
Tính bền vững • Nhu cầu về hàng hoá hoặc dịch vụ đang được cung cấp cho người hưởng lợi mục tiêu mạnh như thế nào? • Có tiềm năng để giới thiệu các các quy trình thu hồi chi phí đối với hàng hóa, dịch vụ được cung cấp? • Những biện pháp được đặt ra để duy trì cơ sở vật chất và trang thiết bị hoạt động? • Có thị trường tiếp cận cho các hàng hóa được sản xuất bởi các đối tượng hưởng lợi mục tiêu? • Lợi nhuận của doanh nghiệp hoặc của các hoạt động mục tiêu? • Mức độ tham gia của các đối tượng hưởng lợi mục tiêu trong thiết kế và thực hiện dự án là gì? • Tính sẵn có nguồn nhân lực cho đào tạo phù hợp và nhu cầu đào tạo nữa như thế nào? • Có cần phải có Dự án hoặc đầu tư tiếp theo để củng cố tính bền vững? • Nhu cầu tài chính tiếp tục và các nguồn kinh phí có thể có? • Mức độ sở hữu về thể chế và cam kết là gì? • Điều gì (nếu có) có thể được thực hiện khác đi để làm cho các dự án bền vững hơn?
Ví dụ về cho điểm Tính bền vững • No spontaneous adoption outside primary • Spontaneous adoption occurring outside target groups. primary target groups 1 = Kém nhất 5 = Tốt nhất
• Nông dân rất quan tâm đến việc duy trì các can thiệp • Sự chấp nhận tự phát xuất hiện các nhóm mục tiêu chính bên ngoài • Những khuyến khích thương mại mạnh mẽ để duy trì sự can thiệp • Không có bằng chứng cho thấy nông dân quan tâm đến việc áp dụng và duy trì các can thiệp • Không chấp nhận tự phát những nhóm mục tiêu chính.bên ngoài • Phân tích tài chính cho thấy các can thiệp đưa lại lợi ích kém
January 2010
CARD – M&E Procedures
BÁO CÁO TÓM TẮT ĐÁNH GIÁ DỰ ÁN
Tên và mã Dự án:
Cơ quan nghiên cứu Việt Nam:
Cơ quan nghiên cứu phía Australia:
Ngày phê duyệt: Ngày bắt đầu: Ngày hoàn thành (gốc):
Ngày hoàn thành (sửa lại):
Tổng kinh phí AusAID Phía đối tác Australia Phía đối tác Việt Nam
Tóm tắt dự án (Từ thuyết minh dự án):
Các mục tiêu của dự án:
Nộp báo cáo (Ngày theo kế hoạch và hoàn thành):
Tên điểm mốc (MS) Kế hoạch Hoàn thành
MS 1:
MS2:
MS3:
MS4:
MS5:
MS6:
…
…
…
…
…
Ngày đánh giá Nhóm đánh giá:
Đánh giá tác động kết thúc dự án (PCIE)
January 2010
CARD – M&E Procedures
PHỤ LỤC 4: MẪU PHÂN TÍCH TÀI CHÍNH DOANH NGHIỆP
Mẫu đối với tài chính doanh nghiệp: Cây lâu năm
Không có Dự án Chi phí đầu tư Tổng Chi phí đầu tư Tổng Chi phí hoạt động Tổng Chi phí Doanh thu Tổng Doanh thu Lợi nhuận thuần không có Dự án Có Dự án Chi phí đầu tư Tổng Chi phí đầu tư Tổng Chi phí hoạt động Tổng Chi phí Doanh thu Tổng Doanh thu Lợi nhuận thuần có Dự án Chi phí tăng lên Lợi nhuận tăng lên Lợi nhuận thuần tăng lên
A B C=A+B D E=D-C F G H=F+G I J=I-H K=H-C L=I-D M=L-K
0 0 0 0 0 0 0 0 0 0 0 0
Năm 3 0 0 0 0 0 0 0 0 0 0 0
4 0 0 0 0 0 0 0 0 0 0 0
2 0 0 0 0 0 0 0 0 0 0 0
5 0 0 0 0 0 0 0 0 0 0 0
TS 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Điền số liệu vào những ô đậm. Các ô còn lại được tính toán tự động