zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Khoa Học Tự Nhiên

Đánh giá chất lượng đề thi trắc nghiệm khách quan thông qua việc ứng dụng mô hình Rasch và phần mềm ConQuest

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:13

Báo xấu

45
lượt xem 5
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nghiên cứu này trình bày cách đánh giá một đề thi trắc nghiệm khách quan dựa vào mô hình Rasch thông qua việc sử dụng phần mềm ConQuest. Kết quả phân tích trong bài viết đã chỉ ra một số vấn đề liên quan đến chất lượng của một đề thi trắc nghiệm khách quan.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Đánh giá chất lượng đề thi trắc nghiệm khách quan thông qua việc ứng dụng mô hình Rasch và phần mềm ConQuest

TRƯỜNG ĐẠI HỌC SÀI GÒN SAIGON UNIVERSITY TẠP CHÍ KHOA HỌC SCIENTIFIC JOURNAL ĐẠI HỌC SÀI GÒN OF SAIGON UNIVERSITY Số 75 (03/2021) No. 75 (03/2021) Email: tcdhsg@sgu.edu.vn ; Website: http://sj.sgu.edu.vn/ ĐÁNH GIÁ CHẤT LƯỢNG ĐỀ THI TRẮC NGHIỆM KHÁCH QUAN THÔNG QUA VIỆC ỨNG DỤNG MÔ HÌNH RASCH VÀ PHẦN MỀM CONQUEST Evaluating the quality of multiple-choice tests through applying Rasch model and ConQuest software ThS. Nguyễn Văn Cảnh(1), ThS. Nguyễn Quốc Tuấn(2) (1),(2) Trường Đại học Đồng Tháp TÓM TẮT Nghiên cứu này trình bày cách đánh giá một đề thi trắc nghiệm khách quan dựa vào mô hình Rasch thông qua việc sử dụng phần mềm ConQuest. Kết quả phân tích trong bài viết đã chỉ ra một số vấn đề liên quan đến chất lượng của một đề thi trắc nghiệm khách quan. Cụ thể như: (1) về độ khó, trong đề thi có một câu hỏi rất dễ, thấp hơn năng lực của toàn bộ thí sinh cần phải được loại bỏ, đồng thời thiếu những câu hỏi có khả năng đo lường năng lực của những thí sinh có năng lực cao; (2) về độ phân biệt, trong đề thi có ba câu hỏi có độ phân biệt kém, không có ý nghĩa trong việc đo lường năng lực của thí sinh; (3) về chất lượng các phương án nhiễu, trong đề thi có năm câu hỏi có phương án nhiễu kém chất lượng cần phải được điều chỉnh hoặc thay thế. Bằng phương pháp này, giảng viên biên soạn đề thi sẽ phát hiện được những câu hỏi có chất lượng tốt và đưa vào ngân hàng câu hỏi thi, đồng thời những câu hỏi kém chất lượng sẽ được điều chỉnh hoặc bị loại bỏ ra khỏi đề thi. Từ khóa: ConQuest, đề thi, mô hình Rasch ABTRACTS This study evaluates the quality of multiple-choice test, based on using the Rasch model and ConQuest software. The analysis results in the article have pointed out some issues related to the quality of a test. Specifically, (1) regarding difficulty, there is a very easy question in the test, which is lower than capacity of candidates that need to be removed and the test also lacks of difficult questions to measure the competency of highly capable candidates; (2) regarding discrimination, there are three questions with low discrimination, which are not significant in measuring the competency of candidates; (3) regarding quality of distracting options, there are five questions with low quality distracting options that need to be adjusted or replaced. By this method, exam preparation teachers will discover good questions to put into the exam questions bank, and low quality questions will be adjusted or removed from the test. Keywords: ConQuest, test, Rasch model 1. Mở đầu qua việc Bộ Giáo dục và Đào tạo đã sử dụng Trong những năm gần đây, trắc nghiệm hình thức đánh giá này với hầu hết các môn khách quan đang dần trở thành một trong thi trong kỳ thi trung học phổ thông quốc những hình thức kiểm tra đánh giá phổ biến gia. Bên cạnh đó, các trường đại học cũng trong giáo dục Việt Nam. Điều này được thể đang sử dụng trắc nghiệm khách quan để Email: nvcanh@dthu.edu.vn 52
NGUYỄN VĂN CẢNH - NGUYỄN QUỐC TUẤN TẠP CHÍ KHOA HỌC ĐẠI HỌC SÀI GÒN đánh giá kết quả học tập của sinh viên, đặc câu hỏi trắc nghiệm khách quan. biệt là các học phần đại cương có nhiều sinh 2. Nội dung nghiên cứu viên đăng ký tham gia học tập. Mặc dù vẫn 2.1. Giới thiệu về mô hình Rasch có những hạn chế nhất định, hình thức này Khoa học đo lường và đánh giá trong vẫn có nhiều ưu điểm trong đo lường, đánh giáo dục phát triển tương đối hoàn chỉnh từ giá kết quả học tập. Một trong những ưu thập niên 1970 với sự ra đời và hoàn thiện điểm nổi bật của hình thức đánh giá này là của lý thuyết khảo thí cổ điển (Classical đảm bảo tính khách quan và tiện lợi trong Test Theory – CTT). Việc áp dụng CTT để quá trình chấm bài thi. Tuy nhiên để đảm đo lường và đánh giá đề thi trắc nghiệm bảo đề thi chính xác và có khả năng đo khách quan rất dễ thực hiện vì nó hầu như lường được đúng năng lực của thí sinh, cần không đòi hỏi bất kì giả thiết nào khi chạy thiết phải có công cụ đánh giá chất lượng đề mô hình, nhưng phương pháp này tồn tại thi, làm cơ sở để điều chỉnh và cải tiến chất một số hạn chế [7]. Hạn chế cơ bản nhất của lượng. lý thuyết này là không tách biệt được các Ở Việt Nam, thời gian gần đây đã có đặc trưng của thí sinh với các đặc trưng của một số nghiên cứu về việc đánh giá đề thi đề trắc nghiệm, đặc trưng này chỉ có thể trắc nghiệm khách quan với sự hỗ trợ của được giải thích trong mối quan hệ với đặc các phần mềm tính toán, tiêu biểu phải kể trưng kia và ngược lại. Cụ thể, các đặc trưng đến nghiên cứu của các tác giả như Nguyễn của đề trắc nghiệm như độ khó, độ phân biệt Thị Hồng Minh và Nguyễn Đức Thiện của câu hỏi, độ tin cậy và độ giá trị của đề (2006) với việc sử dụng phương pháp trắc nghiệm được xác định dựa vào một PROX [1], Nguyễn Bảo Hoàng Thanh nhóm thí sinh làm bài. Vì vậy, các đặc trưng (2008) với việc sử dụng phần mềm Quest này của đề trắc nghiệm sẽ thay đổi khi được [2], Đoàn Hồng Chương và cộng sự (2016) đo lường trên một nhóm thí sinh khác. Bên với việc sử dụng gói “ltm” của phần mềm R cạnh đó, năng lực của thí sinh cũng sẽ thay [3], Bùi Ngọc Quang (2017) với việc sử đổi khi đề trắc nghiệm thay đổi, chẳng hạn dụng mô hình Rasch và phần mềm Quest như khi thực hiện trên một đề trắc nghiệm [4], Lê Anh Vũ và cộng sự (2017) với việc dễ thì thí sinh sẽ được đánh giá là có năng sử dụng phương pháp lấy mẫu GIBBS [5], lực cao, và ngược lại thí sinh được đánh giá Bùi Anh Kiệt và Bùi Nguyên Phương là có năng lực thấp khi thực hiện trên một (2018) với việc sử dụng phần mềm IATA đề trắc nghiệm khó. Do đó, rất khó so sánh [6]. Trong nghiên cứu này, chúng tôi trình năng lực của thí sinh khi họ phải thực hiện bày cách đánh giá một đề thi trắc nghiệm trên những đề trắc nghiệm khác nhau cũng khách dựa vào mô hình Rasch thông qua như rất khó so sánh độ khó của các câu hỏi việc ứng dụng phần mềm ConQuest. Bên trong đề thi khi chúng được trả lời bởi các cạnh việc hỗ trợ tính toán các tham số của nhóm thí sinh khác nhau [8]. Trên cơ sở đó, câu hỏi như độ khó và độ phân biệt, phần lý thuyết ứng đáp câu hỏi (Item Response mềm ConQuest còn hỗ trợ phân tích chất Theory – IRT) được ra đời nhằm khắc phục lượng của các phương án nhiễu của câu hỏi những điểm hạn chế của CTT. thông qua hệ số tương quan, phép kiểm định Lý thuyết ứng đáp của hỏi được xây t và hình ảnh biểu diễn xác suất trả lời cho dựng dựa trên hai giả thiết: (1) sự ứng đáp từng phương án theo năng lực của thí sinh. của một thí sinh đối với một câu hỏi có thể Đây là ưu điểm của phần mềm này so với được tiên đoán bằng năng lực tiềm ẩn của các phần mềm khác có chức năng phân tích thí sinh; (2) quan hệ giữa sự ứng đáp câu hỏi 53
SCIENTIFIC JOURNAL OF SAIGON UNIVERSITY No. 75 (03/2021) của thí sinh và năng lực tiềm ẩn làm cơ sở của người kia; tương tự như vậy, nếu một câu cho sự đáp ứng đó có thể mô tả bằng một hỏi khó hơn câu hỏi khác thì xác suất để một hàm đặc trưng câu hỏi đồng biến [8]. Theo người bất kì trả lời đúng câu hỏi đó phải nhỏ đó, Rasch cho rằng việc phân tích trong đo hơn xác suất để người đó trả lời đúng câu hỏi lường và đánh giá đề thi trắc nghiệm khách kia” [10]. quan chỉ có ý nghĩa khi dựa vào từng cá Trên cơ sở đó, Rasch đã xây dựng một nhân thí sinh, trong đó, các thuộc tính của mô hình toán học cho sự ứng đáp câu hỏi thí sinh và của các câu hỏi được tách riêng. của mỗi thí sinh. Công thức của mô hình có Quan điểm này của Rasch đã đánh dấu sự dạng như sau: chuyển tiếp từ mô hình CTT sang mô hình  b ei j IRT, đây là mô hình mô tả xác suất trả lời P( X ij  1/ i , b j )   b (1) 1 e i j đúng các câu hỏi trong đề thi trắc nghiệm Trong đó, θi là năng lực của thí sinh thứ khách quan đối với sự ứng đáp của thí sinh i, bj là độ khó của câu hỏi thứ j, và Xij là trả đối với các câu hỏi đó [9]. Dựa trên quan điểm đó, Rasch đã giới thiệu mô hình gọi là lời của thí sinh thứ i đối với câu hỏi thứ j. mô hình Rasch, mô hình này dựa trên giả Nếu thí sinh trả lời đúng câu hỏi thìXij =1 và thuyết cơ bản như sau: ngược lại thí sinh trả lời sai câu hỏi thì “Nếu một người có năng lực cao hơn Xij =0. Đồ thị của hàm số trong công thức người khác thì xác suất trả lời đúng một câu trên theo biến θi được gọi là đường cong đặc hỏi bất kì phải lớn hơn xác suất tương ứng trưng của câu hỏi và có dạng như Hình 1. Hình 1. Đường cong đặc trưng của câu hỏi trong mô hình Rasch Đường cong đặc trưng của câu hỏi có gọi là ngưỡng của câu hỏi. Như vậy, độ khó độ dốc hướng lên biểu thị cho xác suất trả của mỗi câu hỏi chính là ngưỡng mà với lời đúng câu hỏi của thí sinh tỉ lệ thuận với năng lực đó, khả năng trả lời đúng câu hỏi năng lực của thí sinh đó. Xác suất này sẽ tiến của thí sinh là 50%. Điểm nổi bật của mô dần về 1 khi năng lực của thí sinh tiến đến hình Rasch là nó mô tả được mối liên hệ dương vô cùng. Trong mô hình Rasch, nếu giữa năng lực của mỗi thí sinh đối với các năng lực θi của thí sinh bằng với độ khó câu tham số đặc trưng của các câu hỏi thông qua hỏi bj thì khả năng trả lời đúng câu hỏi của sự ứng đáp của mỗi thí sinh khi trả lời các thí sinh đó là 50%. Mức năng lực này được câu hỏi trong đề thi [11]. 54
NGUYỄN VĂN CẢNH - NGUYỄN QUỐC TUẤN TẠP CHÍ KHOA HỌC ĐẠI HỌC SÀI GÒN 2.2. Giới thiệu về dữ liệu phân tích file sơ đồ phân bố năng lực của thí sinh với Bài viết này dựa trên kết quả phân tích độ khó của câu hỏi, giá trị phù hợp của dữ liệu thi trắc nghiệm khách quan môn MNSQ có định dạng *.shw; file thống kê Tiếng Anh 1 trong kỳ thi kết thúc học phần năng lực của thí sinh có định dạng *.mle. học kỳ 1, năm học 2018 - 2019 tại Trường 2.3.1. Sự phù hợp của câu hỏi với mô Đại học Đồng Tháp. Đề thi gồm 50 câu hỏi hình Rasch trắc nghiệm khách quan, mỗi câu hỏi đều có Mức độ phù hợp của các câu hỏi trong đề 04 phương án trả lời trong đó có 01 phương thi với mô hình Rasch được xác định dựa vào án đúng và 03 phương án nhiễu. Số lượng giá trị bình phương trung bình MNSQ (Mean thí sinh tham gia trả lời các câu hỏi trong đề Square). Câu hỏi được coi là phù hợp với mô thi là 874 người. hình nếu giá trị MNSQ của câu hỏi nằm trong 2.3. Đánh giá chất lượng đề thi trắc khoảng tin cậy CI (Confidence Interval) nghiệm khách quan dựa vào mô hình tương ứng. Những câu hỏi có giá trị MNSQ Rasch và phần mềm ConQuest trong cả 2 cột UNWEIGHTED FIT và Phần mềm ConQuest được viết bởi Hội WEIGHTED FIT đều nằm ngoài các khoảng đồng nghiên cứu giáo dục Úc dùng để ứng CI tương ứng chứng tỏ có điều bất thường xảy dụng lý thuyết ứng đáp câu hỏi IRT vào đối với câu hỏi đó, cần phải được xem xét lại. phân tích dữ liệu đề thi và đánh giá năng lực Những bất thường xảy ra đối với câu hỏi có của thí sinh [12]. Để sử dụng phần mềm khả năng là đáp án bị sai, hay nội dung câu ConQuest cần có hai file dữ liệu đầu vào hỏi được thể hiện không rõ ràng gây ra sự gồm file cấu hình có định dạng *.cqc và file hiểu nhầm cho thí sinh. Kết quả thống kê cho chứa kết quả trả lời của các thi sinh có định thấy trong đề thi này có 13 câu hỏi có giá trị dạng *.dat. Kết quả phân tích được xuất ra MNSQ trong cả 2 cột UNWEIGHTED FIT từ phần mềm ConQuest sẽ phụ thuộc vào và WEIGHTED FIT đều không nằm trong file cấu hình nhưng cơ bản sẽ gồm các file khoảng tin cậy CI tưng ứng. Những câu hỏi sau: file đánh giá từng câu hỏi có dạng *.itn; này thể hiện qua Bảng 1. Bảng 1. Thống kê giá trị MNSQ của một số câu hỏi xảy ra bất thường 55
SCIENTIFIC JOURNAL OF SAIGON UNIVERSITY No. 75 (03/2021) Trong đề thi có 13 câu hỏi có khả năng của các câu hỏi trong đề thi theo thang đo xảy ra bất thường do các giá trị MNSQ của logarit được ước lượng bằng phần mềm hai cột UNWEIGHTED FIT và WEIGHTED ConQuest và được thể hiện tại cột ESTIMATE FIT đều nằm ngoài các khoảng CI tương trong cùng bảng ước lượng giá trị MNSQ ứng và được thể hiện trong Hình 2. Đó là câu hỏi (Hình 2). Theo Baker (2001), độ khó các câu hỏi như: câu 13, 14, 20, 27, 31, 33, của câu hỏi được chia thành 05 mức như 36, 39, 41, 45, 46, 47 và câu 49. Đây những sau: mức rất dễ nếu giá trị độ khó bé hơn - câu hỏi này cần được xem xét lại về nội 2,0; mức dễ nếu giá trị độ khó từ -2,0 đến dung cũng như các phương án trả lời. Còn dưới -0,5; mức trung bình nếu giá trị độ khó lại 37 câu hỏi trong đề thi phù hợp với mô từ -0,5 đến dưới 0,5; mức khó nếu giá trị độ hình Rasch. khó từ 0,5 đến dưới 2,0 và mức rất khó nếu 2.3.2. Độ khó của câu hỏi độ khó của câu hỏi đạt từ 2,0 trở lên [11]. Độ khó của câu hỏi đặc trưng cho khả Theo cách phân loại trên, kết quả thống kê năng trả lời đúng câu hỏi của thí sinh. Câu bằng phần mềm ConQuest cho thấy độ khó hỏi có độ khó càng cao thì xác suất trả lời của câu hỏi được phân bố theo các mức độ đúng câu hỏi của thí sinh càng thấp. Độ khó như sau: Bảng 2. Thống kê độ khó của các câu hỏi trong đề thi Giá trị độ khó Mức độ Số lượng câu hỏi Tỷ lệ % Dưới -2.0 Rất dễ 0 0.0 Từ -2.0 đến dưới -0.5 Dễ 16 32.0 Từ -0.5 đến dưới 0.5 Trung bình 20 40.0 Từ 0.5 đến dưới 2.0 Khó 13 26.0 Từ 2.0 trở lên Rất khó 1 2.0 Tổng cộng 50 100.0 Kết quả thống kê trong Bảng 2 cho thấy của đề thi đối với những thí sinh dự thi. Một phần lớn câu hỏi trong đề thi có độ khó tập đề thi có chất lượng tốt khi những câu hỏi trung vào 3 mức độ: mức dễ (16 câu, tỷ lệ trong đề thi có độ khó tương ứng với năng 32%), mức trung bình (20 câu, tỷ lệ 40%) và lực của thí sinh, kể cả những thí sinh có năng mức khó (13 câu, 26%). Đề thi không có câu lực thấp và những thí sinh có năng lực cao. hỏi ở mức rất dễ và chỉ có duy nhất 1 câu Những câu hỏi có độ khó vượt quá khả năng hỏi ở mức rất khó. hoặc quá thấp so với năng lực của thí sinh 2.3.3. Phân bố độ khó của câu hỏi và cần phải được điều chỉnh hoặc loại bỏ. năng lực của thí sinh Kết quả phân bố độ khó của câu hỏi Việc phân bố độ khó của câu hỏi và năng trong đề thi này so với năng lực của thí sinh lực của thí sinh sẽ cho thấy mức độ phù hợp dự thi được thể hiện qua Hình 2. 56
NGUYỄN VĂN CẢNH - NGUYỄN QUỐC TUẤN TẠP CHÍ KHOA HỌC ĐẠI HỌC SÀI GÒN Hình 2. Biểu đồ phân bố độ khó của câu hỏi và năng lực của thí sinh Kết quả tính toán bằng phần mềm bình của các câu hỏi bằng 0,00 và độ lệch ConQuest đã cho thấy năng lực của thí sinh chuẩn 0,908. Như vậy, đây là một đề thi khá dự thi theo thang đo logarit đạt giá trị từ - dễ vì có độ khó trung bình (bằng 0,00) thấp 1,575 đến 3,352, năng lực trung bình của thí hơn so với năng lực trung bình của thí sinh sinh là 0,809 và độ lệch chuẩn là 1,036. Bên (bằng 0,809). cạnh đó, độ khó của các câu hỏi trong đề thi Ngoài ra, kết quả thống kê trong Hình 2 có giá trị từ -1,682 đến 2,279, độ khó trung còn cho thấy câu hỏi khó nhất trong đề thi là 57
SCIENTIFIC JOURNAL OF SAIGON UNIVERSITY No. 75 (03/2021) câu 22 với độ khó bằng 2,279 và dễ nhất là có thể trả lời đúng câu hỏi như nhau. Hay câu 21 với độ khó bằng -1,682. Mặc dù câu nói cách khác, những câu hỏi có độ phân 22 là câu hỏi khó nhất trong đề thi nhưng độ biệt lớn thì có ý nghĩa tốt hơn trong việc khó của câu hỏi này vẫn còn thấp hơn năng phân loại thí sinh. Ebel (1965) cho rằng các lực của một số thí sinh. Điều này cho thấy, câu hỏi trong bài thi nên có độ phân biệt đạt đề thi vẫn còn thiếu những câu hỏi khó để từ 0,3 trở lên [13]. Bên cạnh đó, đối với các có thể đánh giá được những thí sinh có năng phương án nhiễu, thí sinh có năng lực cao lực cao. Bên cạnh đó, câu 21 trong đề thi có phải có tỷ lệ chọn thấp hơn đối với những độ khó thấp hơn năng lực của tất cả thí sinh thí sinh có năng lực thấp. Điều này được xác dự thi. Vì vậy, câu hỏi này cần được loại bỏ định thông qua giá trị hệ số tương quan Pt ra khỏi đề thi. Bis và giá trị p của phép kiểm định t trong 2.3.4. Đánh giá chất lượng của từng kết quả thống kê bằng phần mềm ConQuest. câu hỏi trong đề thi Cụ thể, giá trị Pt Bis > 0 cho biết số lượng Bên cạnh độ khó của câu hỏi, chất thí sinh có năng lực cao lựa chọn nhiều hơn lượng của đề thi còn được thể hiện thông số lượng thí sinh có năng lực thấp và người qua độ phân biệt và chất lượng các phương lại, giá trị p < 0,05 cho biết sự chênh lệch án nhiễu trong từng câu hỏi. Trong đó, độ giữa số lượng thí sinh lựa chọn các phương phân biệt của câu hỏi thể hiện khả năng phân án là có ý nghĩa thống kê với độ tin cậy 95%. loại những thí sinh có năng lực cao và những Như vậy, những phương án nhiễu được gọi thí sinh có năng lực thấp trong việc trả lời là có chất lượng khi hệ số tương quan Pt Bis câu hỏi. Một câu hỏi có độ phân biệt tốt khi < 0 và giá trị p < 0,05. trả lời câu hỏi đó, những thí sinh có năng lực Kết quả tính toán bằng phần mềm cao có tỷ lệ trả lời đúng cao hơn những thí ConQuest cho thấy một số câu hỏi trong đề sinh có năng lực thấp. Ngược lại, những câu thi này có các phương án nhiễu có chất lượng hỏi có độ phân biệt kém sẽ dẫn đến các thí tốt. Một trong số đó là câu hỏi 1 với các số sinh có năng lực cao và năng lực thấp đều liệu thống kê được thể hiện qua Bảng 3. Bảng 3. Thông tin phân tích câu hỏi 1 Item 1 Cases for this item: 873 Discrimination: 0,34 Item Threshold(s): -0,70 Weighted MNSQ: 1,02 Item Delta(s): -0,70 Label Score Count % of tot Pt Bis t (p) WLEAvg:1 WLE SD:1 A 0,00 45 5,15 -0,13 -3,99 (0,000) 0,24 0,76 B 0,00 76 8,71 -0,23 -7,09 (0,000) 0,08 0,77 C 0,00 69 7,90 -0,17 -5,19 (0,000) 0,21 0,63 D 1,00 683 78,24 0,34 10,84 (0,000) 0,99 1,03 58
NGUYỄN VĂN CẢNH - NGUYỄN QUỐC TUẤN TẠP CHÍ KHOA HỌC ĐẠI HỌC SÀI GÒN Kết quả thống kê cho thấy phương án đều có giá trị Pt Bis < 0 và phép kiểm định đúng của câu hỏi này là phương án D (giá t đều có giá trị p = 0,000 < 0,05. Điều này trị Score =1) thu hút được 683 thí sinh trả cho thấy các phương án nhiễu của câu hỏi lời. Độ khó của câu hỏi theo thang đo logarit đều có ý nghĩa phân biệt những thí sinh có (Item Threshold) là -0,70 (mức dễ), độ phân năng lực cao và những thí sinh có năng lực biệt của câu hỏi (Discrimination) là 0,34 lớn thấp. Sự phân biệt này được thể hiện rõ hơn hơn 0.3. Các phương án nhiễu là A, B, C lần qua hình biểu diễn đường xác suất trả lời các lượt thu hút được 45, 67, 69 thí sinh trả lời phương án của câu hỏi trong Hình 3. Hình 2. Đường cong đặc trưng của Câu hỏi 1 Đường biểu diễn xác suất trả lời các chất lượng tốt. phương án nhiễu A, B, C cho thấy khi Bên cạnh những câu hỏi có phương án năng lực của thí sinh càng cao thì xác suất nhiễu có chất lượng tốt, kết quả thống kê trả lời đối với các phương này càng thấp cho thấy trong đề thi này có những câu hỏi và tiến dần về 0 khi năng lực của thí sinh có phương án nhiễu kém chất lượng. Một ở mức rất cao. Điều này cho thấy đây là trong số đó là câu hỏi 14 với các số liệu một câu hỏi có các phương án nhiễu có thống kê thể hiện qua Bảng 4. Bảng 4. Thông tin phân tích câu hỏi 14 Item 14 Cases for this item: 871 Discrimination: 0,48 Item Threshold(s): 0,27 Weighted MNSQ: 0,94 Item Delta(s): 0,26 Label Score Count % of tot Pt Bis t (p) WLEAvg:1 WLE SD:1 A 1,00 531 60,96 0,48 16,32 (0,000) 1,20 1,01 B 0,00 75 8,61 -0,06 -1,86 (0,063) 0,57 0,83 C 0,00 185 21,24 -0,42 13,61 (0,000) 0,02 0,67 D 0,00 80 9,18 -0,16 -4,88 (0,000) 0,29 0,68 59
SCIENTIFIC JOURNAL OF SAIGON UNIVERSITY No. 75 (03/2021) Phương án đúng của câu hỏi này là và phép kiểm định t có giá trị p = 0,063 > phương án A (giá trị Score =1) thu hút được 0,05. Điều này cho thấy phương án B là 531 thí sinh trả lời. Độ khó của câu hỏi theo phương án nhiễu kém chất lượng vì không thang đo logarit (Item Threshold) là 0,27 có ý nghĩa phân biệt giữa những thí sinh có (mức trung bình), độ phân biệt của câu hỏi năng lực cao và những thí sinh năng lực (Discrimination) là 0,48 lớn hơn 0,3. Các thấp. Sự phân biệt kém của phương án phương án nhiễu là B, C, D lần lượt thu hút nhiễu này được thể hiện rõ hơn qua hình được 75, 185, 80 thí sinh trả lời. Trong đó, biểu diễn đường đặc trưng của câu hỏi phương án B có giá trị Pt Bis = -0,06 < 0 trong Hình 4 . Hình 3. Đường cong đặc trưng của Câu hỏi 14 Đường biểu diễn xác suất trả lời các những thí sinh có năng lực thấp hơn. Đây là phương án trong câu hỏi cho thấy rất rõ sự một điều chưa hợp lý đối với một phương án phân biệt của hai phương án nhiễu C và D nhiễu trong một câu hỏi của đề thi. Do đó, đây giữa những thí sinh có năng lực cao và những là một phương án nhiễu kém chất lượng. thí sinh có năng lực thấp. Cụ thể, khi thí sinh Ngoài ra, kết quả thống kê bằng phần có năng lực càng cao thì xác suất lựa chọn hai mềm ConQuest còn cho thấy trong đề thi phương án trên càng thấp. Đây là điều hợp lý này có một số câu hỏi có độ phân biệt thấp, đối với phương án nhiễu. Tuy nhiên phương không có ý nghĩa trong việc phân biệt năng án B chưa thể hiện rõ sự phân biệt này. Một lực của thí sinh dự thi. Một trong số đó là số thí sinh có năng lực cao hơn nhưng xác câu hỏi 39 với các số liệu thống kê được thể suất lựa chọn phương án này vẫn còn cao hơn hiện qua Bảng 5. 60
NGUYỄN VĂN CẢNH - NGUYỄN QUỐC TUẤN TẠP CHÍ KHOA HỌC ĐẠI HỌC SÀI GÒN Bảng 5. Thông tin đánh giá câu hỏi 39 Item 39 Cases for this item: 874 Discrimination: 0,19 Item Threshold(s): -0,05 Weighted MNSQ: 1,18 Item Delta(s): -0,05 Label Score Count % of tot Pt Bis t (p) WLEAvg:1 WLE SD:1 A 1,00 586 67,05 0.19 5,75 (0,000) 0,95 1,06 B 0,00 56 6,41 -0.18 -5,35 (0,000) 0,16 0,88 C 0,00 191 21,85 -0.04 -1,08 (0,282) 0,70 0,90 D 0,00 41 4,69 -0.15 -4,39 (0,000) 0,15 0,81 Đây là câu hỏi có độ phân biệt kém có ý nghĩa phân biệt giữa những thí sinh có (Discrimination = 0,19 < 0,30). Ngoài ra phép năng lực cao và những thí sinh có năng lực kiểm định t có giá trị p = 0,282 > 0,05 đối với thấp. Đường biểu diễn cho thấy sự phân biệt phương án C cho thấy phương án này không kém của câu hỏi này được thể hiện qua Hình 5. Hình 4. Đường cong đặc trưng của Câu hỏi 39 Đường biểu diễn xác xuất trả lời các phân biệt giữa những thí sinh có năng lực phương của câu hỏi cho thấy rất rõ phương cao và những thí sinh có năng lực thấp. Đây án nhiễu C của câu hỏi này không có ý nghĩa là một câu hỏi kém chất lượng cần phải 61
SCIENTIFIC JOURNAL OF SAIGON UNIVERSITY No. 75 (03/2021) được loại bỏ ra khỏi đề thi. 20 với giá trị độ phân biệt bằng 0,29 và câu Bằng phương pháp đánh giá tương tự, 31 với giá trị độ phân biệt bằng 0,26. chúng tôi phát hiện trong đề thi này còn có Ngoài ra, trong đề thi này có thêm một thêm hai câu hỏi có độ phân biệt kém cần số câu hỏi có phương án nhiễu kém chất phải được loại bỏ ra khỏi đề thi, đó là: câu lượng và được thể hiện qua Bảng 6. Bảng 6. Thống kê các câu hỏi có phương án nhiễu kém chất lượng Phương án Câu hỏi Tham số Đáp án A B C D Số lượt chọn 500 198 65 109 Pt Bis 0,29 -0,29 -0,11 0,01 20 A t 9,08 -8,79 -3,16 0,19 p - value 0,000 0,000 0,002 0,848 Số lượt chọn 191 194 121 368 Pt Bis -0,09 0,32 -0,05 -0,16 22 B t -2,53 10,1 -1,54 -4,92 p - value 0,011 0,000 0,124 0,000 Số lượt chọn 15 143 197 516 Pt Bis -0,16 -0,36 -0,06 0,36 26 D t -4,9 11,32 -1,66 11,43 p - value 0,000 0,000 0,098 0,000 Số lượt chọn 28 107 523 213 Pt Bis -0,15 -0,23 0,26 -0,05 31 C t -4,38 -7,07 7,82 -1,59 p - value 0,000 0,000 0,000 0,113 Kết quả thống kê trong Bảng 6 cho và câu 39. Như vậy, các câu hỏi còn lại được thấy, các phương án nhiễu kém chất lượng phát hiện có dấu hiệu bất thường có thể do trong các câu hỏi trên là phương án D đối cách diễn đạt nội dung câu hỏi mang đến sự với câu hỏi 20 và câu hỏi 31; phương án C hiểu làm cho thí sinh. đối với câu hỏi 22 và câu hỏi 39. Như vậy, 3. Kết luận trong số những câu hỏi có bất thường được Kết quả phân tích, đánh giá chất lượng phát hiện dựa vào giá trị phù hợp MNSQ đề thi trắc nghiệm khách quan thông qua trong Hình 2, bốn câu hỏi có phương án việc ứng dụng mô hình Rasch và phần mềm nhiễu kém chất lượng là các câu 14, 20, 31 ConQuest đã chỉ ra trong đề thi có một số 62
NGUYỄN VĂN CẢNH - NGUYỄN QUỐC TUẤN TẠP CHÍ KHOA HỌC ĐẠI HỌC SÀI GÒN câu hỏi có dấu hiệu bất thường do các giá trị có năng lực cao. Bên cạnh đó, những câu hỏi phù hợp MNSQ không nằm trong các có chất lượng các phương án nhiễu kém chất khoảng tin cậy tương ứng. Ngoài ra, kết quả lượng đã được phát hiện, giúp người biên phân tích này đã giúp loại bỏ được câu hỏi soạn đề thi kịp thời điều chỉnh cải tiến để có độ khó rất thấp không tương ứng với nâng cao chất lượng câu hỏi cũng như nâng năng lực của thí sinh, đồng thời phát hiện đề cao chất lượng đề thi góp phần đánh giá thi vẫn còn thiếu những câu hỏi có độ khó chính xác, khách quan kết quả học tập và cao hơn nhằm đánh giá được những thí sinh năng lực của người học. TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Hồng Minh, Nguyễn Đức Thiện, “Đo lường đánh giá trong thi trắc nghiệm khách quan: Độ khó câu hỏi và năng lực của thí sinh”, Tạp chí Khoa học Đại học Quốc gia Hà Nội, 22(4), 34-47, 2006. [2] Nguyễn Bảo Hoàng Thanh, “Sử dụng phần mềm Quest để phân tích câu hỏi trắc nghiệm khách quan”, Tạp chí Khoa học và Công nghệ, Đại học Đà Nẵng, Số 2, tr.119-126, 2008. [3] Đoàn Hồng Chương, Lê Anh Vũ, Phạm Hoàng Uyên, “Áp dụng mô hình IRT 3 tham số vào đo lường và phân tích độ khó, độ phân biệt và mức độ dự đoán của các câu hỏi trong đề thi trắc nghiệm khách quan”. Tạp chí Khoa học Trường Đại học Sư phạm TP. Hồ Chí Minh, 7(85), 174-184, 2016. [4] Bùi Ngọc Quang, “Đánh giá chất lượng ngân hàng đề thi trắc nghiệm khách quan môn Nhân học đại cương bằng mô hình Rasch và phần mềm Quest”, Tạp chí Phát triển Khoa học và Công nghệ, Tập 20, Số X3, tr.42-54, 2017. [5] Lê Anh Vũ, Phạm Hoàng Uyên, Đoàn Hồng Chương, Lê Thanh Hoa, “Áp dụng lấy mẫu GIBBS vào đo lường và đánh giá độ khó câu hỏi trong mô hình Rasch”, Tạp chí Khoa học Trường Đại học Sư phạm Thành phố Hồ Chí Minh, 14(4), 119-130, 2017. [6] Bùi Anh Kiệt, Bùi Nguyên Phương, “Sử dụng phần mềm IATA để phân tích, đánh giá và nâng cao chất lượng câu hỏi trắc nghiệm khách quan trong chương trình hàm số lũy thừa, hàm số mũ, hàm số logarit”, Tạp chí Khoa học Trường Đại học Cần Thơ, 54(9C), 81-93, 2018. [7] Romel A. Morales, “Evaluation of mathematics achievement test: A comparison between CTT and IRT”, The International Journal of Educational and Psychological Assessment, 1(1), 19-26, 2009. [8] L. Q. Thiệp, Đo lường trong giáo dục, lý thuyết và ứng dụng, NXB Đại học Quốc gia Hà Nội, 2010. [9] G. Camilli, Lorrie A. Shepard, Methods of identifying biased test items, Thousand Oaks, CA: Sage, 1994. 63
SCIENTIFIC JOURNAL OF SAIGON UNIVERSITY No. 75 (03/2021) [10] G. Rasch, Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests, Danish Institute for Educational Research, 1960. [11] Frank B. Baker, The basics of item response theory, College Park, MD, ERIC Clearinghouse on Assessment and Evaluation, 2001. [12] Margaret L. Wu, Raymond J. Adams, Mark R. Wilson, and Samuel A. Haldane, ACER ConQuest version 2.0: Generalised item response modelling software, ACER Press (2007). [13] Robert L. Ebel, Measuring educational achievement, Englewood Cliffs: Prentice-Hall, 1965. Ngày nhận bài: 21/3/2020 Biên tập xong: 15/3/2021 Duyệt đăng: 20/3/2021 64

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.