UBND TỈNH QUẢNG NAM
TRƯỜNG ĐẠI HỌC QUẢNG NAM
Đề tài:
ĐÁNH GIÁ CHẤT LƯỢNG CÂU HỎI
TRẮC NGHIỆM KHÁCH QUAN
ĐÃ SỬ DỤNG TẠI TRƯỜNG ĐẠI HỌC QUẢNG NAM
Chủ nhiệm: GVC.Ths Lê Phước Thành
Năm 2012
1
MỞ ĐẦU
1. Lý do chọn đề tài
Trong những năm gần đây, Bộ Giáo dục và Đào tạo đã, đang thực hiện các chủ
trương đổi mới nội dung chương trình giảng dạy, cải tiến phương pháp thi, kiểm tra đánh giá
kết quả học tập của học sinh, sinh viên từ phổ thông đến đại học. Phương pháp trắc nghiệm
khách quan nhiều chọn lựa (gọi tắt là Trắc nghiệm khách quan_TNKQ) được đưa vào trong
các kỳ kiểm tra, thi học kỳ, tuyển sinh, tốt nghiệp v.v… nên sự quan tâm của các giảng viên
và các cơ quan quản lý giáo dục ngày càng nhiều. Phương pháp này đã thể hiện nhiều tính
năng ưu việt vượt trội hơn những phương pháp khác như: kiểm tra được nhiều kiến thức hơn,
đảm bảo chính xác, khách quan công bằng hơn, tiết kiệm hơn và tốn ít thời gian làm bài của
thí sinh cũng như thời gian chấm bài.
Thực tế hiện nay việc xây dựng các bộ đề thi trắc nghiệm khách quan được giao cho
các nhóm giảng viên phụ trách môn học thực hiện. Các giảng viên xây dựng bộ đề hầu hết
đều theo kinh nghiệm chủ quan của mình, chưa được trang bị đầy đủ về kiến thức, kỹ năng,
khoa học về đo lường và đánh giá thiết kế đề thi trắc nghiệm. Các đề thi do giảng viên viên
soạn thảo được đưa vào ứng dụng trực tiếp, không qua quá trình thử nghiệm và đánh giá,
chưa đánh giá câu hỏi thông qua việc phân tích độ khó, độ phân biệt của câu hỏi; độ tin cậy,
độ giá trị của đề thi và dãy phân bố điểm thi. Từ đó việc đánh giá kết quả của thí sinh không
chính xác: đúng năng lực thí sinh và mục tiêu dạy và học. Một số môn học đã có ngân hàng
đề thi trắc nghiệm nhưng thực chất là “kho câu hỏi” vì các câu hỏi chưa mang các tham số về
độ khó, độ phân biệt, đánh giá đề thi theo cách định tính.
Một thực trạng (khó kiểm soát) hiện nay là Phòng Khảo thí và Đảm bảo chất lượng
không nắm bắt khâu biên soạn đề thi. Đây là khâu rất quan trọng từ việc lập kế hoạch ngân
hàng đề thi, triển khai, ma trận kiến thức, duyệt nội dung ngân hàng đề thi…đây là những
yếu tố cơ bản ảnh hưởng đến chất lượng đề thi.
Như vậy để có một ngân hàng đề thi trắc nghiệm thật sự, công việc đầu tiên là các câu
hỏi phải nhận được tham số câu hỏi, định cỡ (Calibration) đề thi trắc nghiệm, từ đó loại bỏ
những câu hỏi không đạt chất lượng, cập nhật và chỉnh sửa câu hỏi trong ngân hàng …
Xuất phát từ yêu cầu đó, cũng như lâu dài có một ngân hàng đề thi trắc nghiệm thật
sự, bản thân chọn đề tài:
“Đánh giá chất lượng câu hỏi trắc nghiệm khách quan đã sử
dụng tại trường Đại học Quảng Nam”.
Đề tài đặc biệt chú trọng đến cách tiếp cận khoa học lý thuyết ứng đáp câu hỏi IRT
(Item Response Theory), một khoa học đã được nghiên cứu và ứng dụng nhiều trên thế giới,
đảm bảo độ chính xác trong việc xây dựng thang đo và độ chính xác trong đo lường.
Đề tài thể hiện hướng nghiên cứu mới làm cơ sở cho việc đánh giá lại toàn bộ ngân
hàng câu hỏi đã sử dụng cũng như tạo điều kiện cho các giảng viên đánh giá lại những câu
hỏi đã sử dụng từng bước xây dựng ngân hàng đề thi hoàn chỉnh.
2
2. Mục tiêu nghiên cứu của đề tài
2.1. Nghiên cứu về khoa học đo lường:
+ Lý thuyết trắc nghiệm cổ điển (Classical Test Theory-CTT)
+ Lý thuyết trắc nghiệm hiện đại (Modern Test Theory-MTT) hay còn gọi là
lý thuyết ứng đáp câu hỏi IRT (Item Response Theory)
Căn cứ vào lý thuyết nhằm xác định các tham số câu hỏi, đánh giá chất lượng câu hỏi
trắc nghiệm và đề trắc nghiệm như độ khó, độ phân biệt, độ tin cậy độ giá trị
2.2. Nghiên cứu về bộ công cụ đặc tả về khoa học đo lường
Sử dụng phần mềm thống kê EXCEL, SPSS, QUEST và VITESTA để xử lý, phân
tích và trình bày kết quả, trên cơ sở đó đánh giá chất lượng của câu hỏi trắc nghiệm và đề
trắc nghiệm:
- Đề thi có phù hợp với năng lực của nhóm thí sinh dự thi hay không? Nếu
chưa phù hợp thì cần điều chỉnh như thế nào?
- Có câu hỏi nào trong đề không phù hợp và cần chỉnh sửa hay loại bỏ hay
không?
Những phân tích này là cơ sở để đánh giá, cho điểm bài thi/kiểm tra và lựa chọn câu
hỏi đạt chất lượng xây dựng ngân hàng câu hỏi thi. Đồng thời đưa ra khuyến cáo cho công
tác viết câu hỏi trắc nghiệm trong những lần ra đề sau này đạt chất lượng được tốt nhất, đề
xuất một số gợi ý đối với cấp quản lý giáo dục và giảng viên về vấn đề kiểm tra, đánh giá.
3. Đối tượng nghiên cứu và phạm vi nghiên cứu
3.1. Đối tượng nghiên cứu
Các câu hỏi trong các đề thi trắc nghiệm đã được sử dụng, trong mỗi câu hỏi nghiên
cứu về: độ khó, độ phân biệt
Các đề thi trắc nghiệm đã sử dụng, mỗi đề thi nghiên cứu về: Độ khó đề thi, độ tin
cậy, độ giá trị.
3.2. Phạm vi nghiên cứu
Các câu hỏi trong các đề thi trắc nghiệm đã sử dụng:
Ngân hàng đề thi môn:
- Cơ sở Văn hóa Việt Nam-ThS. Nguyễn Văn Hào (ĐH Ngữ văn, GDTH,
Việt Nam học)
- Pháp luật đại cương-ThS. Lê Như Thơ (Tất cả các ngành Đại học)
4. Phương pháp nghiên cứu
- Phương pháp chuyên gia: Cán bộ làm đề trắc nghiệm nhằm đánh giá và điều chỉnh
ngân hàng câu hỏi.
- Nghiên cứu về lý thuyết đo lường trong giáo dục
3
- Phương pháp thống kê toán học: Thu thập, xử lý và phân tích dữ liệu bằng các
phần mềm chuyên dụng: Excel, SPSS, QUEST, VITESTA
4
NỘI DUNG
Chương 1:
Đo lường trong giáo dục và Lý thuyết trắc nghiệm cổ điển
1.1. Đo lường trong giáo dục
Bất cứ một quá trình giáo dục nào mà một người tham gia cũng nhằm tạo ra những
biến đổi nhất định trong con người đó, đây là một thuộc tính của tư duy, mà tư duy không thể
quan sát trực tiếp được (đại lượng ẩn). Muốn biết những biến đổi đó xảy ra ở mức độ nào
phải đánh giá hành vi của người đó trong một tình huống nhất định, chẳng hạn: để biết một
sinh viên có nắm được nội dung của môn học hay không sau khi học xong môn học đó, một
bài thi/ kiểm tra có thể cho chúng ta biết một cách chính xác sinh viên đó hiểu biết đến mức
độ nào.
Một vấn đề đặt ra là công cụ đo lường (bài kiểm tra/ thi) phải được thiết kế cẩn thận,
được kiểm định, đạt chất lượng, có tin cậy không trước khi sử dụng. Trên cơ sở những phân
tích về đo lường, những chuyên gia sẽ có những đánh giá nhằm đưa ra những nhận định
nhằm cải tiến công cụ đo để tăng độ chính xác của phép đo. Khi việc đo lường được chính
xác, kết quả của phép đo giúp chúng ta xác định được mục tiêu giáo dục đã đặt ra có phù hợp
hay không phù hợp, việc giảng dạy có thành công hay không, người học có tiến bộ hay
không.
Khi thực hiện một phép đo, đầu tiên là xây dựng thang đo, đó là việc xác định các
tham số câu hỏi, gọi là việc định cỡ. Với thang đo đó, tiếp theo là xây dựng thước đo, đó là
đề thi trắc nghiệm. Cuối cùng là việc áp thước đo vào đối tượng cần đo và đọc kết quả, nghĩa
là thực hiện công việc thi và xác định kết quả cho thí sinh.
Một điều quan trọng trong phép đo đó là độ chính xác của phép đo, độ chính xác này
phải đảm bảo hai điều kiện:
(i) Một là quá trình định cỡ (khắc độ cho thước đo) phải đủ độ tin cậy, đặc biệt là các
mẫu thử khác nhau không ảnh hưởng lên kết quả định cỡ. Nghĩa là khi định cỡ (xác định độ
khó của câu hỏi) câu hỏi trắc nghiệm , dù mẫu thí sinh giỏi hay yếu cũng không ảnh hưởng
lên độ khó của câu hỏi.
(ii) Hai là dù đo bằng thước đo nào có cùng cỡ thì kết quả đo phải như nhau (tất nhiên
với sai số chấp nhận được). Nghĩa là có thể thiết kế nhiều đề thi trắc nghiệm tương đương
(không phải việc thay đổi thứ tự câu hỏi và trật tự đáp án, thực chất chỉ một đề thi) vẫn đánh
giá đúng năng lực (điểm số) của thí sinh.
1.2. Giới thiệu về lý thuyết trắc nghiệm cổ điển
Việc học và thi trên thế giới đã diễn ra hàng nghìn năm trước đây, nhưng một khoa
học về đo lường trong giáo dục thật sự có thể xem như bắt đầu cách đây chỉ khoảng hơn một
thế kỉ. Trong thế kỉ XX, khoa học này phát triển xuất phát từ châu Âu nhưng tăng tốc mạnh