Giáo trình Kiểm tra đánh giá trong giáo dục: Phần 2

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:134

Thêm vào BST

Báo xấu

25
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nối tiếp nội dung phần 1, phần 2 cuốn sách giáo trình "Kiểm tra đánh giá trong giáo dục" trình bày các nội dung: Phân tích và sử dụng kết quả kiểm tra đánh giá, một số kỹ thuật đánh giá trong lớp học. Mời các bạn cùng tham khảo nội dung chi tiết.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Giáo trình Kiểm tra đánh giá trong giáo dục: Phần 2

Chương 4 PHÂN TfCH VÀ SỬ DỤNG KẾT QUÀ KIỂM TRA ĐÁNH GIÁ Sau chương 4, người học có thể: Trình bày được các chỉ số đánh giá chất lượng câu hỏi trắc nghiệm; độ khó, độ phân biệt theo lý thuyết khảo thí cổ điển; tính toán được cho những trường hợp cụ thế. Giải thích được các cách tính độ tin cậy; tính toán được độ tin cậy trong các trường hợp cụ thể. T ừ những kết quả tính toán, đưa ra nhận xét về chất lượng câu hỏi, đề kiểm tra; chỉ ra điểm cần điều chỉnh cho câu hỏi/ đề kiểm tra. Giải thích được những hạn chế của lý thuyết khảo thí cổ điển, đưa ra tính ưu việt của lý thuyết khảo thí hiện đại. 4.1. Lý th u y ế t tr ắ c n g h iệ m cổ điển Lý thuyết trắc nghiệm cổ điển (Classical Test Theory-CTT) là lý thuyết thuộc lĩnh vực khoa học đo lường trong giáo dục (educational measurement) và tâm trắc học (psychometrics), làm cơ sở khoa học cho việc thiết kế và đánh giá các công cụ đo lưòng năng lực hoặc trình độ của đối tưọng được đo. Lý thuyết này phát triển khoảng đầu thế kỷ XX và được hệ thống hóa vào thập niên 1970. Đối sánh với Lý thuyết Trắc nghiệm cổ điển là Lý thuyết ứ n g đáp câu hỏi (Item Response Theory
134 GIÁO TRÌNH KIỂM TRA ĐÁNH GIÁ TRONG DẠY HỌC - IRT), được bắt đầu xây dựng từ nửa sau của thế kỷ 20, cả hai đều dựa trên các mô hình toán học. Lý thuyết Trắc nghiệm cô điên dựa trên mô hình toán học mô tả kết quả của một phép đo thông qua phương trình bậc 1: x = T ± E (l). Trong đó T là giá trị thực (không xác định được và bất biến trong các lần đo), X là giá trị biểu kiến (xác định được và thay đồi trong các lần đo) và E là sai số của phép đo (tính được và thay đổi trong các lần đo). Phương trình này biểu diễn một qui tấc: Phần lớn các phép đo chỉ thu được các giá trị biểu kiến X. Giá trị biểu kiến X chính là giá trị thực T (mà ta không đo được) được hiệu chỉnh bằng sai số của phép đo E. Trong toán thống kê, phương sai (ơ^) là đại lượng đặc trưng cho sai số của phép đo. Có hai loại sai số chính; Sai số ngẫu nhiên và Sai số hệ thống. Sai số ngẫu nhiên gần như bao giờ cũng tồn tại, chủ yếu là do hoạt động triển khai đo đạc gây nên, do đó chỉ có những giải pháp giảm sai số ngẫu nhiên, gần như không có giải pháp loại bỏ hắn loại sai số này. Sai số hệ thống chủ yếu do phương pháp hay công cụ gây nên, như vậy có thể có giải pháp loại bỏ loại sai số này. Mỗi phép đo có thể mắc sai số dương hay sai số âm, nên khi triền khai nhiều lần phép đo cùng một công cụ và cho cùng một đối tưọrng, thì tổng đại số của sai số các lần đo sẽ tiến tới 0: = > 0 (2 ). Suy ra, trung bình của các giá trị biểu kiến sẽ tiến^^l&i giá trị thực sau n lần đo: = X = > r (3). Quan hệ giữa ba đại lượng X, T và E (ơ~) trong biểĩl thức (1) trên được sử dụng đê đánh giá chất lượng của các phép đo.Từ tính chất toán học của các phép đo, các chuyên gia đo lường và đánh giá đã đưa ra bốn loại tham số đặc trưng cho các phép đo hay công cụ đo trong giáo dục. Sau đây là 4 tham số đặc trưng cho câu hỏi hoặc đề thi. 4.1.1. Độ khó 4.1.1.1. Khái niệm ”độ khó" Độ khó là chỉ mức độ khó của câu hởi trắc nghiệm. V í dụ: trong đo lường kết quả giáo dục, độ khó của các câu hòi khách quan thường
C h ư ơ n g 4 . PHẪN VÀ sử DỤNG KỂT QUẢ KIỂM TRAĐÁNH GIÁ TÍCH 135 lấy ti số giữa số người trả lời đúng với tổng số người tham gia đo lường. Công thức của nó: trong công thức: p là chỉ số khó của câu hỏi. R là số người trả lời đúng câu hỏi. N là tổng số người tham gia. ớ đây độ khó trên thực tế là độ dễ, nó ngược với mức độ khó thực tế cúa câu hỏi. Đây là công thức tính độ khó truyền thống, đã được ứng dụng rất rộng. M ột là do thói quen, hai là có sự nhất trí với SỊĨ chuyển hóa độ khó sau này. Vì vậy, chỉ cần lí giải được ý nghĩa của nó chứ không cần tạo ra sự lộn xộn về mặt nhận thức. Độ khó là chỉ tiêu, mức độ vừa phải đối với trình độ, khả năng nhận thức của người học về câu hỏi. Độ khó của câu hỏi không chỉ anh hưởng đến độ phân biệt của câu hởi (xem bài Độ phân biệt) mà còn có ảnh hưởng khá lớn đến độ giá trị. Rõ ràng độ khó là một khái niệm tương đối, mức cao thấp của độ khó có liên quan trực tiếp tới trình độ cùa thí sinh. Khi đo lường ớ nhóm thí sinh này thì độ khó cổ thể cao nhưng ở nhóm thí sinh khác thì độ khó có thể lại thấp. Điều đó có nghĩa là độ khó được quyết định bởi trình độ của các nhóm thí sinh tham gia thi trắc nghiệm. Vì vậy chúng ta không thể nói chung chung. 4.1. ỉ . 2. Cách tính độ khó a. Các công thức cơ bản tính độ khó Cách tính độ khó của câu trắc nghiệm khách quan. R p = N Hiển nhiên độ khó ở đây là tỉ lệ thông qua các câu hỏi. Tỉ lệ thông qua này càng cao, đề thi càng dễ. Ngược lại tỉ lệ thông qua càng thấp, đề thi càng khó.
136________________________ GIÁO TRÌNH KlỂlVI TRA ĐÁNH GIÁ TRŨNG DẠY HỌC Ví dụ: 100 người tham gia thi trắc nghiệm, có 60 người trả lời đúng một câu hòi nào đó, vậy độ khó của câu hỏi này là: '> = ^ = ^ N 100 = 0 0 Ti lệ làm đúng của câu hỏi này là 60%, độ khó vừa phải. Cách tính độ khó của các câu trắc nghiệm chủ quan. '> = - K (5) Trong công thức: p vẫn là chỉ số độ khó. X là trung bình điểm số của tất cả các thí sinh tham gia. K là số điểm cao nhất. Ví dụ: Một đề có số điểm cao nhất là 12, điểm trung bình của tất cả các thí sinh là 3.6, và độ khó của đề này là: K 12 b. Dùng cách phân nhóm cực đoan đế tính độ khó của đề Khi số thí sinh khá nhiều, nếu dùng các công thức cơ bản đế tính độ khó thì phải thống kê số điểm của tất cả các thí sinh, như vậy số lượng công việc sẽ rất lớn và thường xảy ra sai sót. Lúc này có thể dùng cách phân nhóm cực đoan đê tính độ khó. Cho dù là các câu hỏi TNKQ hay MCQ đều có thể áp dụng cách này để tính. Hơn nữa còn đồng thời tính được cả độ phân biệt. Dùng cách phân nhóm cực đoan đê tính độ khó của câu hỏi trăc nghiệm khách quan. Các bước cụ thê như sau; ( 1) Đầu tiên dựa vào mức độ cao thấp của tống điểm trắc nghiệm, dựa vào trình tự từ cao đến thấp, lần lượt xếp hạng các bài thi. (2) Bắt đầu từ bài có điềm cao nhất lần lượt chọn ra 27% bài được điểm cao và gọi là nhóm điểm cao.
TÍCH VÀ s ứ DỤNG KẾT QUẢ KIỂM TRA BÁN H GIẤ_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ C h ư ơ n g 4 . PHÂN (3) Bắt đầu từ bài có điếm thấp nhất lần lưọft chọn ra 27% bài được điểm thấp và gọi là nhóm điểm thấp. (4) Tính độ khó dựa vào công thức sau đây: p p 2 2 (6) Trong đó: p là độ khó. là độ khó của nhóm điểm cao. P/ là độ khó của nhóm điểm thấp. Tính độ khó của nhóm điểm cao và điểm thấp dựa vào công thức tính độ khó cơ bán. Dùng cách phân nhóm cực đoan để tính độ khó của câu hỏi trắc nghiệm tự luận. Câu hỏi trắc nghiệm tự luận thường không thê đoán định một cách đơn giản là đúng hay sai hoặc thông qua hoặc không thông qua. Tính độ khó của loại này đòi hỏi phải phức tạp một chút. Các bước cụ thể như sau: (1) Sắp xếp các bài thi theo số điêm đo được, xác định nhóm điểm cao và nhóm điểm thấp, mỗi nhóm chiếm 25% tổng số người tham gia (cách tính tương tự như trên). (2) Lần lượt lập bảng phân tích mồi đề của nhóm điổm cao và nhóm điểm thấp. (3) Tính độ khó theo công thức: ^ _ X„+X, -2*n*L 2*n*{H-L) (7) Trong công thức trên: p là chỉ số độ khó. Xf_i là tổng điếm của nhóm điểm cao. XI là tổng điểm của nhóm điểm thấp, n là 25% tổng số người tham gia. H là điềm cao nhất. L là điểm thấp nhất.
138________________________ GIÁO TRÌNH KlỂM TRA ĐÁNH GIÁ TRONG DẠY HỌC Ví dụ: Một đề trắc nghiệm tự luận nào đó có tổng điểm cúa nhóm điểm cao là 40, tổng điểm cua nhóm điêm thấp là 15. Có 40 người tham gia cuộc thi, điếm cao nhất là 8, điêm thấp nhất là 2. Vậy độ khó của đề này là: P _ X „ + X , - 2 * « * L _ 4 0 + 15-2*10*2__ . ... p = —— — -------------- = --------- :--------- ^— = 0.125 ^ Đê này khó. 2*n*{H-L) 2 * 1 0 * (8 -2 ) 4.1.1.3. Anh hưởng của độ khó - Độ khó ảnh hưởng tới hình thái phân bố của số điểm trắc nghiệm. Giá trị của độ khó quá lớn hoặc quá nhở đều có thể tạo ra sự phân bố khác nhau của số điếm trắc nghiệm. Giá trị độ khó càng gần 0 thì độ khó của trắc nghiệm càng lớn, số người trả lời đúng câu hởi càng ít. Số điểm trắc nghiệm sẽ càng tập trung ở đoạn điểm thấp, sự phân bố điểm của nó xuất hiện biến thái dương. Ngược lại, giá trị độ khó càng gần 1, thì độ khó càng nhỏ, số lượng người trả lời đúng câu hỏi càng nhiều, điểm số trắc nghiệm sẽ tập trung ở đoạn điểm cao, phân bố điếm số sẽ xuất hiện biến thái âm. - Độ khó ảnh hưởng tới mức phân tán của điêni trắc nghiệm. Độ khó của câu hỏi trắc nghiệm ảnh hưỏmg trực tiếp tới mức phân tán số điểm của câu hỏi trắc nghiệm. Bởi vì độ khó quá lớn hoặc quá nhở, sự phân bố số điểm trẳc nghiệm sẽ đều xuất hiện biến thái, tức là số điếm trắc nghiệm đều phân hố trên đoạn điếm cao hoặc đoạn điểm thấp. Như vậy, mức phân tán số đicm trắc nghiệm sẽ trở nên nhỏ đi. Nhưng điều nay không nhất định phù hợp với tình hình thực tế của thí sinh bởi vì sự khác nhau giữa các thí sinh luôn tồn tại. Chỉ có bài trắc nghiệm có độ khó vừa phải thì phạm vi phân bố của điểm số mới có khả năng đạt tới mức lớn nhất. - Độ khó ảnh hưởng tới khả năng phân biệt trắc nghiệm. Trên thực tế, ở đây nói tới anh hưởng độ khó đối với độ phân biệt. Độ khó vừa phải có thể khiến cho độ phân biệt của bài thi đạt tới mức lớn nhất, điều này sẽ được nói rõ ở phần sau.
C h ư ơ n g 4 .PHÂN TÍCH VÀ SỪ DỤNG KẾT QUÀ KIẾM TRA ĐÁNH GIÁ 1 4. ỉ. ì . 4. Độ khó phù h(XỊ? của bài thi trắc nghiệm Từ công thức độ giá trị độ khó ở trên, chúng ta có thể rút ra được phạm vi giá trị độ khó là 0 < p < 1. Khi p = 0, mức độ khó thực tế là lớn nhất (tất cả các thí sinh đều bị 0 điểm). Khi p = 1, độ khó thực tế của đề thi là nhỏ nhất (tất cả học sinh đều làm đúng). Trong các trắc nghiệm có tính tham chiếu, yêu cầu đề thi phải có độ khó vừa phải tức là phần lớn độ khó của các câu hỏi sẽ nằm trong khoảng 0.3 đến 0.7, số câu hỏi còn lại có thể nằm cạnh hai điểm này đê cho độ khó trung bình của đề thi xấp xỉ 0.5 (0.45 - 0.55). Chỉ có đề thi có độ khó vừa phải mới có thê làm cho đề thi có giá trị lớn nhất trong việc phân biệt trình độ khác nhau của các thí sinh và cũng có thể sự phân bố điểm của các thí sinh xuất hiện hình thái dương. Đối với các loại hình trác nghiệm khác, mục đích khác nhau thì yêu cầu đối với độ khó cũng khác nhau. Ví dụ: tuyển chọn người học đi thi Olympic toán học, giá trị độ khó sẽ rất nhỏ nhưng khi cho người học làm bài thêm, giá trị độ khó sẽ rất lớn. 4 .1. J.5. Cách cơ hán đê kiểm soát độ khó của đề thi Nói chung, các nhân tố chủ yếu ảnh hướng tód độ khó của đề thi có: ( 1) Phần kiến thức kiểm tra là bao nhiêu. (2) Sự cao thấp hoặc mức độ phức tạp của năng lực. (3) Mức độ quen thuộc của thí sinh đối với đề thi (Ví dụ, đề vốn khá dễ nhưng vì thí sinh chưa làm bao giờ sẽ trở thành khó hoặc đề thi vốn khó nhưng vì thí sinh thường xuyên luyện tập nên lại trở thành dễ). (4) Tính khôn khéo trong việc ra đề (Neu cùng một vấn đề, có thê ra đề khó nhưng cũng có thề ra đề dễ). Trong việc khống chế các nhân tố của đề thi, ngoài phải xét tới các nhân tố nói trên ta còn có thể thông qua các cách khác để khống chế. Trong thi cử của dạy học bình thường, do giáo viên hiểu khá rõ về
140________________________ GIÁO TRÌNH KlỂM TRA ĐÀNH GIÂ TRONG DẠY HỌC tình hình học tập của người học, vì thế giáo viên khống chế độ khó chủ yếu dựa vào kinh nghiệm, làm cho nó tương ứng với độ khó khi dạy học của giáo viên. Nhưng các kì thi có quy mô lớn lại phải thông qua xét đoán đế nắm được độ khó. Sau đó thông qua khảo thí xem xem mức độ chuấn xác của các tính toán này phân tích nguyên nhân, từ đó nâng cao khả năng đánh giá. Đe thi đã thông qua dự đoán có được độ khó, có thể cho vào ngân hàng đề để chuẩn bị cho sau này sử dụng. 4.1.2. Độ p h â n biệt 4.1.2. ì. Khái niệm về độ phân biệt Độ phân biệt là chỉ ra mức phân biệt đối với trình độ thực tế của các thí sinh, kí hiệu là D. Thí nghiệm có độ phân biệt tốt là trình độ thực tế giỏi thì điếm đạt được phải giỏi. Trình độ thực tế kém thì điêm đạt được phải thấp. Cho nên, độ phân biệt còn được gọi là khá năng phân biệt. Nó là chỉ tiêu và căn cứ chủ yếu để đánh giá chất lượng và lựa chọn của đề thi. Độ phân biệt chia thành độ phân biệt dương (D > 0); độ phân biệt bàng không (D = 0) và độ phân biệt âm (D < 0). Độ phân biệt dương còn gọi là độ phân biệt tích cực, độ phân biệt âm gọi là độ phân biệt tiêu cực. Cái gọi là độ phân biệt dương là chỉ số thí sinh có trình độ thực tế giỏi đạt đượt điểm cao; số thí sinh có trình độ thực tế kém đạt được điểm thấp. Còn độ phân âm thì ngược lại hoàn toàn; độ phân biệt bằng không là chỉ số khoảng cách giữa trình độ thực tế giỏi và kém không có mối quan hệ nào quá lớn, chỉ xuất hiện mối tương quan băng không. Một trong bất cứ mục đích nào của trắc nghiệm đều mong muốn có thế phân biệt được trình độ thực tế của các thí sinh. Trên thực tế cũng là yêu cầu cụ thể để đo độ tin cậy và tính giá trị của đề thi. Mức cao thấp của độ phân biệt ảnh hưởng trực tiếp đến độ tin cậy và tính giá trị của đề thi trắc nghiệm.
C h ư ơ n g 4 .PHÂN TÍCH VÀ sử DỤNG KẾT QUẢ KIỂM TRA ĐÁNH GIÁ 141 Bảng 4.1, Mối quan hệ giữa độ phân biệt với độ tin cậy Bảng này do R.L.Albert đưa ra vào năm 1962. ở đây giả định toàn bộ độ khó của đề thi là 0.50 để đo hệ số của độ tin cậy. Độ phân biệt ở đây là giá trị trung bình. Có thể thấy ràng, nếu nghĩ tới độ tin cậy của trắc nghiệm thì nâng cao độ tin cậy là một cách hay. Bảng 4.2. Mối quan hệ giữa giá trị lớn nhất của độ phân biệt với độ khó Độ khó p 1.00 0.90 0.70 0.50 0.30 0.10 0.00 Giá trị lớn 0.00 0.20 0.60 1.00 0.60 0.20 0.00 nhất cúa độ phân biệt Từ bảng trên ta có thể biết ràng độ khó thích hợp có thể làm cho độ phân biệt đạt tới giá trị lớn nhất. 4.1.2.2. Cách tính độ phân hiệt a. Cách tính độ phân biệt của đề thi trắc nghiệm khách quan Dùng cách này để tính độ phân biệt cơ bản giống với cách tính độ khó nhưng bước cuối cùng lại tính độ phân biệt dựa vào công thức dưới đây; D-P,~P, (8 ) Trong công thức trên: D là độ phân biệt. Pịị là độ khó của nhóm điểm cao. là độ khó của nhóm điểm thấp.
142________________________ GIÁO TRÌNH KlỂlVI TRA ĐÁNH GIÁ TRONG DẠY HỌC Ví dụ: ớ một đề thi, nhóm điểm cao có 70% người trả lời đúng, nhóm điểm thấp có 30% người trả lời đúng. Vậy độ phân biệt của đề thi ấy là 0.4. b. Cách tính độ phân biệt của đề thi trắc nghiệm chủ quan Cách tính độ phân biệt của đề thi trắc nghiệm chủ quan khác với đề thi trắc nghiệm khách quan. Đầu tiên, về việc phân nhóm, nhóm điểm cao và nhóm điểm thấp với tổng số người mồi nhóm là 25%, sau đó tính dựa vào công thức sau: (9) n*(H-L) Trong công thức trên: D là độ phân biệt. là tổng số điểm của nhóm điểm cao. XI là tổng số điểm của nhóm điểm thấp, n là 25% tổng số người tham gia. H là điểm cao nhất của đề thi ấy. L là điếm thấp nhất của đề thi ấy. Mặc dừ cách tính độ phân biệt bằng phân nhóm cực đoan là cách tính đơn giản, tiện và dễ hiếu nhưng kết quả đạt được lại không chính xác lắm, chi thường được sử dụng trong khi giáo viên ra đề đế kiểm tra kiến thức ở trên lớp. Trong đề kiếm tra tiêu chuấn hóa và có quy mô lớn có thể dùng nhiều cách liênquan đến nhau để phân tích độ phân biệt của đề thi. Tính độ phân biệt có thể dùng cách tính hệ sổ tương quan như tương quan điểm nhị phân, tương quan nhị phân, hệ sổ tương pi. Tương quan điểm nhị phân thích họp với tính độ phân biệt của đề thi có nhiều câu hỏi lựa chọn; hệ số tương quan trong thích hợp với độ phân biệt của hai biến lượng. Khi tính độ phân biệt phải căn cứ vào các mục đích đo lường khác nhau để lựa chọn cách tính phù hợp. Chỉ có như vậy mới có thể đo được độ phân biệt một cách chính xác nhất.
C h ư ơ n g 4 .PHÂN TÍCH VÀ s ử DỤNGKẾT QUÀ KIẾM TRA ĐÁNH GIÁ 143 4. ì .2.3. Các phương pháp đê nãn^ cao độ phân hiệt Làm cho độ khó của từng câu hỏi vừa phải, làm cho độ khó của ca bài thi vừa phải. Mối quan hệ giữa độ khó và độ phân biệt ở bảng trên đã chi rõ, độ khó thích họp có thể làm cho độ phân biệt đạt tới giá trị lớn nhât. Vì vậy, làm cho độ khó trở nên vừa phải là phương pháp là quan trọng để nâng cao độ phân biệt. Tập trung khảo sát mức độ phức tạp của kết quả học tập làm cho các người học giỏi có thể đạt được điểm cao và điểm cao nhất, người học kém bị điểm thấp và thậm chí là điểm thấp nhất làm cho điểm số phân bố trên cả một thước đo điểm số. Như vậy mới có thể nâng cao độ phân biệt. 4.1.2.4. Tiêu chuân đánh giá độ phân biệt Bảng 4.3. Tiêu chuẩn đánh giá độ phân biệt Độ phân biệt Đánh giá 0.40 trở lên rất tốt. 0.30 -> 0.39 tốt, nếu thay đổi một chút càng tốt. 0.20 -> 0.29 có thế được, có lúc cần phải thay đối. 0.19 trở xuống phải loại bỏ hoặc thay đổi để nâng cao độ phân biệt. Độ phân biệt tự nhiên càng cao càng tốt nhưng làm tới được mức này thì hơi khó. Nói chung có thể tham chiếu bảng tiêu chuẩn dưới đây. Đối với một số kiểm tra có yêu cầu không quá cao thì độ phân biệt của một số đề thấp hơn một chút cũng được. 4.1.3. Độ tin cậy 4.1.3.]. Khái niệm về độ tin cậy Độ tin cậy là mức độ ổn định hoặc đáng tin cậy của kết quả đo lường, nó cũng ám chỉ việc đo lường có cho kết quả chân thực, khách quan, phản ánh được đúng trình độ thực tế của thí sinh hay không.
144________________________ GIÂO TRÌNH KIỂM tr a đánh GIÂ tron g d ạ y học Chúng ta sẽ phải làm rõ 3 mặt dưới đây để có cách nhìn chính xác nhất về độ tin cậy. (1) Độ tin cậy cho biết mức độ sai số giữa quá trình đo lường thực tế và số đo chính xác của sự vật Một trong những mực đích của đo lường là mong muốn thông qua công việc này để nhận được những con số lớn nhở chân thực sát với số đo của sự vật. Do rất nhiều nguyên nhân khác nhau quá trình đo lường trong thực tế thông thường không cho những kết quả chân thực và người ta gọi chênh lệch giữa 2 con số đó là sai số. Sai số càng nhỏ thì độ tin cậy càng lớn. Chúng ta có thể dùng công thức dưới đây đế biểu diễn quan hệ này: X= T + E (10) x: giá trị của quá trình đo lường thực tế T : giá trị chính xác của sự vật E; sai số Nhưng chúng ta không thế biết được giá trị chính xác của sự vật là bao nhiêu (bởi nếu biết thì không cần đo). Do đó, sai số là không thể tránh khỏi. Đương nhiên có thể sử dụng nhiều lần đo lường sau đó lấy trung bình làm giá trị gần đúng nhất. Nhưng thực tế cho thấy không có được những thao tác này do đó căn cứ vào cách lý giải nói trên, chúng ta buộc phải chấp nhận độ tin cậy không thể chính xác tuyệt đối. (2) Độ tin cậy cho biết mức độ tiếp cận giữa tham số tổng thể và tham sổ mẫu Tham sổ tổng thể và tham số mẫu là hai khái niệm cơ bản trong khoa học thống kê. Tham số mẫu là các loại số đặc trưng cho mẫu (ví dụ: số trung bình mẫu, sai số tiêu chuẩn mẫu); tham số tổng thể là các loại số đặc trưng cho tổng thể (ví dụ; số trung bình tổng thể, sai số tiêu chuẩn tổng thể). Tham số tổng thể càng gần mới tham số mẫu thì độ tin cậy càng lớn. Mức tiếp cận giữa tham số mẫu và tham số tổng thể còn có thể giúp dự đoán không gian của tham số, phương pháp này có
C h ư ơ n g 4 . PHÂN VÀ sử DỤNG KẾT QUẢ KIỂM TRA ĐÁNH GIÁ TÍCH 14 tác dụng rất lớn trong việc dự đoán các điểm số thực. Nhưng cách lý giai của phương pháp trên không đưa ra độ tin cậy trong tính toán. (3) Độ tin cậy cho biết mức độ liên hệ giữa 2 lần đo trung lặp hoặc những đãng trị đo lường. Sau khi tiến hành đo lường 2 lần liên tiếp hoặc đo lường đắng trị, hệ số tương quan giữa 2 lần đo đó càng cao, cho biết độ tin cậy càng lớn. (Việc tính toán hệ số tương quan có thể tham khảo bất cứ tài liệu thống kê giáo dục nào). Ngược lại, hệ số tương quan nhỏ, độ tin cậy thấp. Cách lý giải về độ tin cậy như vật rất có lợi cho việc tính toán. Tuy nhiên, đo lường 2 lần liên tiếp sẽ chịu ảnh hưởng bởi các nhân tố như kinh nghiệm, tri thức của đối tưọng được đo lường, còn đối với đo lường đăng trị rất khó tiến hành. Có thế cho thấy, khi sử dụng 2 phương pháp tính toán nói trên cũng sẽ thấy xuất hiện những sai số. Do đó, cần phái lựa chọn kĩ càng đối tượng tham gia đo lường, rồi mới sử dụng phương pháp thích họrp. Độ tin cậy là điều kiện tất yếu để tiến hành bất kỳ hình thức đo lường nào. Đối với đo lường giáo dục, nó lại càng có ý nghĩa quan trọng bới đổi tượng được đo lường chủ yếu là các hiện tượng tinh thần với đặc tính không dễ nắm bắt. Do đó, muốn đo được những điểm chính xác của đối tượng càng cần phải chú ý hơn đến độ tin cậy. Nhờ có độ tin cậy mới phán đoán chính xác giá trị của kết quả đo lường. Độ tin cậy là công cụ hữu hiệu của đo lường giáo dục. Vì thế nếu thiếu nó kết quả đo lường sẽ trở nên vô nghĩa, không có tác dụng. 4.1.3.2. Công thức lý thuyết của độ tin cậy Căn cứ cách lý giải về điêm số thu được trong thực tế của độ tin cậy, chúng ta có thế đưa ra phương sai về điểm số thực như sau: ơ; ^ơị+ơị ^J J^ ơ ị : phương sai cúa điểm số thực ơ ị : phương sai của độ sai số trong mồi lần tiến hành đo lường
146________________________GIÁO TRÌNH KIỂM TRA ĐÁNH GIÁ TRONG DẠY HỌC Công thức tính toán của độ tin cậy là: r,= 4 =1-4 (1 ) 2 Từ công thức trên có thể thấy rằng: phương sai cua điểm số chi sự sai số qua mỗi lần đo lường càng nhỏ thì độ tin cậy của đo lường càng lón. Giá trị của độ tin cậy được lấy trong khoảng [0,1], nếu như phương sai của sai số đo lường là 0 thì độ tin cậy là 1; nếu phương sai cùa sai số đo lường bằng phương sai của điểm sổ được quan sát thì độ tin cậy bằng 0. 4.1.3.3. Các loại hĩnh của độ tin cậy Sử dụng các công thức nói trên không thê tính toán được độ tin cậy bởi vì chúng ta không biết được điểm số thực là bao nhiêu (nếu như biết thì không cần đo lường), như vậy có nghĩa là không thể tính toán được điểm sai số. Do đó, công thức lý thuyết nói trên chỉ có thể giúp chúng ta hiểu biết thêm về nội hàm của độ tin cậy. Như vậy, tiến hành đo lường trong thực tế làm thế nào tính toán hoặc dự báo được mức lớn nhở của độ tin cậy. Các nhà nghiên cứu đã đưa ra một số phương pháp sau: H ệ số ổn định: Hệ số ốn định còn được gọi là độ tin cậy trùng lặp, nó chỉ dùng trong những bài thi trắc nghiệm giống nhau. Tiến hành trắc nghiệm liền trong hai lần khác nhau ớ cùng một nhóm đối tượng, điểm số thu được của 2 lần trắc nghiệm này dùng để lính ra hệ số tương quan. Hệ số ổn định là phương pháp đơn giản nhất dự đoán về độ tin cậy, chỉ cần một bài thi trắc nghiêm giống nhau qua 2 lần trắc nghiệm giống nhau đã cho ta một kết quả khá chính xác. Dự đoán về trình tự cơ bản của hệ số ốn định như sau: Khoảng cách thời gian thích hợp Trẳc nghiệm A | --------------------------------- ► Trắc nghiệm A 2 A: cho biểt sự tương đồng về đề thi trắc nghiệm qua 2 lần thi.
C h ư ơ n g 4 . PHÂN TÍCH VẤ s ử DỤNG KẾT QUẢ KIẾM TRA AẨNH GIÁ_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ Ị _ ^ A] và A 2 cho biết mức độ sai ichác của 2 lần thi trắc nghiệm vào hai thời điêm khác nhau. Khoảng cách thời gian có thể một vài ngày hoặc vài tháng. Những điểm cần chú ý khi sử dụng phương pháp đo lường trùng lặp: - Phương pháp đo lường trùng lặp chỉ thích hợp cho các loại trắc nghiệm về tốc độ, không thích họp sử dụng cho những loại trắc nghiệm về mức khó. - Độ tin cậy đo được thường chịu ảnh hưởng của lượng thời gian giữa 2 lần đo. - Trẳc nghiệm lần thứ 2 không có sức hấp dẫn và sẽ không tạo được sự hứng khởi đối với ngưòá học. - Phải tiến hành 2 lần trắc nghiệm như vậy sẽ tốn tiền của và thời gian. Hệ số đ ẳ n g trị. Khi một loại hình trắc nghiệm nào đó không thể hoặc không thích họp sử dụng 2 lần đo liên tiếp, thì cần phải sử dụng các loại hình trắc nghiệm khác như trắc nghiệm song song hoặc trắc nghiệm dùng phụ bản kèm theo nó. Loại hình trắc nghiệm dùng phụ bản thì phải tuân thủ một nguyên tắc đó là: bản phụ phái giống với bản chính về nội dung, số lượng câu hỏi, độ khó, cách thức, số điểm bình quân, sai số tiêu chuấn. Nếu không hệ số đẳng trị dự đoán ra sẽ mang trong mình sai số rất lớn. Nhân tố quyết định đến chất lượng cúa phương pháp hệ số đẳng trị trước tiên là kết quả của lần đo trắc nghiệm đầu tiên; sau đó tới thời gian ngắn nhất thực hiện trắc nghiệm đăng trị thứ hai, cuối cùng là tính hệ số tương quan giữa 2 lần đo. Hệ số tương quan chính là hệ số đắng trị của độ tin cậy. Trình tự cơ bản của hệ số đẳng trị sẽ là: Khoảng cách thời gian ngắn nhất Trắc nghiệm A] ----------------------► Trắc nghiệm Bj A| là lần trắc nghiệm đầu tiên sử dụng đề thi A. Bi là lần trắc nghiệm đầu tiên sử dụng đề thi B. A,B: đẳng trị
148________________________ GIÁO TRÌNH KIÊM TRA ĐÁNH GIÁ TRONG DẠY HỌC Phương pháp xác định hệ số độ tin cậy như trên được gọi là phương pháp dùng phụ bản kèm theo. Những điêm cần chú ý khi sử dụng hệ số độ tin cậy bằng phương pháp dùng phụ bản; - Đăng trị của đề thi A và B qua 2 lần trắc nghiệm phai giống nhau về phạm vi, loại đề thi, số lượng câu hỏi, độ khó, độ phân biệt. - Hai lần thi trắc nghiệm phải cố gắng tô chức vào 2 thời điểm cách nhau gần nhất. - Việc xác định 2 lần trắc nghiệm có phải là đăng trị còn cần tiến hành quan sát số trung bình và sai số tiêu chuẩn của kết quả đo lưòng. Nhưng trong thực tế rất khó đế biết được 2 lần trắc nghiệm đó có phải là đăng trị hay không. H ệ số đồng n h ấ t nội tại: Hai phương pháp dự đoán hệ số độ tin cậy nói trên đều phải trải qua 2 lần trắc nghiệm. Trong thực tế, người giáo viên sẽ rất khó có thế đưa ra 2 bài thi đăng trị, người học cũng không có nhiều thời gian và sức lực để tham gia 2 kỳ thi trắc nghiệm giống nhau. Vì vậy, nên căn cứ vào hệ số độ tin cậy được dự đoán ớ lần thi đầu tiên để định ra hệ số độ tin cậy. Đây chính ià phương pháp đông nhất nội tại. Nội dung cúa cách làm này chính là phân tách nhóm người thi trắc nghiệm đầu tiên thành 2 tồ; tiến hành so sánh kết quả trình độ của 2 tổ. Từ đó sẽ dự đoán được hệ số của độ tin cậy. Do hai tố khác nhau nên phương pháp dự đoán hệ số thống nhất bên trong cũng sẽ có hai loại khác nhau. Độ tin cậy m ộ t n ử a : Chia lần thi đầu tiên thành 2 phần giả định, tương đương và độc lập. Cách phân thông thường là nhóm số đề thi lẻ vào một nhóm, chằn vào một nhóm. Cuối cùng là sử dụng công thức so sánh của spearm an sẽ tìm được hệ số độ tin cậy của cả quá trình trắc nghiêm. Công thức của Spearman là: xỵ Txy là hệ số tương quan của điêm sổ trắc nghiệm giữa 2 nhóm ĩtt là hệ số độ tin cậy của cả quá trình trắc nghiệm.
C h ư ơ n g 4 . PHÂN TÍCH VẦ s ứ DỤNG KẾT QUÁ KIẾM TRA B Á N H _ GIÁ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ __ C ông thứ c c ủ a K u d e r -R ic h a rd s o n : Phương pháp này chỉ cần dùng 1 lần trắc nghiệm, sau đó dựa trên các số phản ứng chính xác của câu hòi hoặc số trung bình, sai số tiêu chuẩn của tống số điếm mà người học đạt được tiến hành tính ra hệ số độ tin cậy. Có nhiều loại công thức Kuder khác nhau, nhưng trong đó r^^2() riịi^2 \ A —1 s Trong đó, là hệ số độ tin cậy đo được của cả quá trình trắc nghiệm. K là số lượng câu hỏi trong đề thi. p là số phần trăm những người trả lời đúng trên tổng số người tham gia q là số người trả lời sai trên tổng số người tham gia. là độ chênh lệch về điểm số (phương sai) cúa những người tham gia. C ách d ù n g • công thức này được tính toán dựa trên số trung bình và phương sai tổng số điểm của những người tham gia. Nó không quan tâm đến thông tin độ khó của đề thi. Công thức như sau: Q X x .{ K -~ x ) /v .s .V ; số điêni taing bình của tất cá những thí sinh tham gia. s ' ; phương sai của tổng số điểm K: số lượng câu hỏi thi Hệ số đồng nhất nội tại khi tính toán cần chú ý: - Nếu như sử dụng phưong pháp phân nửa: trọng tâm là chia nhóm đề thi thành 2 nhóm nhỏ: nhóm số đề thi chẵn và nhóm số đề thi lé. Nếu như chia đôi tổng số đề trắc nghiệm thì một mặt nhóm đề thi nửa trên sẽ không tương đương với nhóm đề thi nửa dưới; mặt khác đối tượng tham gia sẽ bị mệt mỏi sau
150________________________ GIÁO TRÌNH KIỂM t r a đ án h g iá tro n g d ạ y học khi trả lời hết toàn bộ các câu hỏi tron? đề. T ừ đó có thể ánh hưởng đến chất lượng câu trả lời, dẫn đến sự không thống nhất trong phản ứng của người học, ảnh hưởng đến độ tin cậy. - Không nên sử dụng phương pháp tính độ tin cậy một nửa đối với các loại đo lường có đối tượng là tốc độ. Loại đo lường này có các câu thi rất khó, điểm số mà thí sinh đạt được bị quyết định số lượng các câu hỏi trong đề. Do đó nếu sử dụng phương pháp này sẽ làm cho điểm số mỗi người học nhận được có sự trùng lặp, từ đó sẽ làm cho độ tin cậy nhận được cao hơn thông thường. - Không nên sử dụng công thức trên để tính hệ số bên trong nếu câu hỏi có nhiều đáp án trả lời và hệ số điểm số nhận được là khác nhau. Hệ số tin cậy của hình thức trắc nghiệm - công thức lý thuyết: Cho điểm theo hình thức trắc nghiệm công thức luận không có tiêu chuẩn gắt gao nào. Khi có hiện tượng cách trả lời ở cùng một câu thì của các thí sinh là khác nhau, chúng ta không thế sử dụng những phương pháp nêu trên, muốn tính toán độ tin cậy chúng ta cần dùng công thức Cronbach: K ' a - 1 ( 16) K -\ V ữr: hệ số độ tin cậy : phương sai điểm số của các thí sinh cùng trả lời 1 câu hỏi s~: phưong sai của tổng số điểm của tất cả các thí sinh. K: số lượng các câu hỏi Độ tin cậy dành cho người chấm điểm: Thông thường, cách thi bằng phưong pháp viết luận và chỉ đưa ra các đáp án tham khảo cho những câu hỏi khó, trọng tâm mà không có một đáp án tiêu chuân cô định. Do dó kết quả của mỗi người chấm bài sẽ không giống nhau.
C h ư ơ n g 4 . PHẦN TÍCH VÀ s ử DỤNG K ÍT QUÀ KIỂM TRA BÁN H GIÁ_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ Ị _ 5 J _ Quá trình chấm điếm các bài thi kiếu trắc nghiệm tự luận, trắc nghiệm phâm chất đạo đức, trắc nghiệm khả năng sáng tạo ... đều nổi lên một vấn đề: đó là tính chính xác của việc cho điếm không được đảm bảo. Chỉ khi nào kết quả chấm của những người cho điêm là giống nhau thì lúc đó độ tin cậy mới cao. Muốn tính toán được hệ số thống nhất trong việc cho điểm của người chấm cần làm rõ số lượt người chấm. Nếu hau người cho một bài thi điểm N, có thể sứ dụng công thức của Spearman để tính toán, nếu như số người chấm thì là ba trở lên thì cần phải sừ dụng công thức của Kende và tham khảo thêm tài liệu về thống kê. 4.1.3.3. Phương pháp nâng cao độ tin cậy Hệ sổ độ tin cậy nên đê ở mức cao, không bị trói buộc bởi các tiêu chuân đòi hỏi độ chính xác. Trong khoa học người ta quy định rằng hệ số độ tin cậy nên trên 0.9, nếu như một người nào đó có chỉ số trí tuệ đo được là trên 0.8, chỉ số phẩm chất đạo đức là 0.6 thì có thể coi là xuất sắc lắm rồi. Muốn nâng cao độ tin cậy trong quá trình đo lường thì đầu tiên cần phải kiểm soát được những ảnh hưởng của các nhân tố không liên quan tới quá trình đo. Do đó cần thiết phải tìm hiểu nguyên nhân dẫn đến sai số. Có ba nguyên nhân dẫn đến sai số, đó là: nguyên nhân từ chính bản thân quá trình đo lường, nguyên nhân có liên quan tới điều kiện thực hiên đặc thù, nguyên nhân do đối tượng đo có sự thay đôi. Có một số nhân tố nằm trong đo lường ảnh hưởng trực tiếp tới quá trình đo. V í dụ như: cách thức tiến hành đo lường, các câu hỏi phán đoán có chưa nhiều yếu tố đoán định sẽ làm cho trắc nghiệm mất đi tính ổn định; đề thi quá khó làm cho hầu hết thí sinh trả lời bàng cách đoán chứ không phải bàng tri thức vốn có cúa mình thì tổng điêm của tất cả các thí sinh sẽ gần với phân bố theo cơ hội, sự biến thiên của điểm sẽ thành sai số biến thiên.
152________________________ GIÁO TRÌNH KIỂM tr a đ àn h giá tro n g d ạ y học Đề thi càng khó người học càng phái dùng nhiều tới cách đoán định đế tả lời thì độ tin cậy sẽ càng thấp. Ngược lại, nếu đề thi quá dễ, độ chênh về điểm số nhỏ thì độ tin cậy cũng không cao. Việc hạn chế thời gian thi cũng là một biện pháp khuyến khích thí sinh tăng cường suy nghĩ, rèn luyện cho họ phản ứng nhanh hơn. Tuy nghiên, phương pháp này lại làm mất tính ồn định của điểm số đo lường. Nếu kéo dài thời gian đo sẽ ánh hưởng tới độ tin cậy. Thông thường chi có là sử dụng nhiều câu hòi thi là thích hợp để nâng cao độ tin cậy. Sai số tro n g q u á trìn h đo lường: c ầ n phải chuẩn hóa quá trình tiến hành đo lường bời thực tế đo lường rất phong phú đa dạng, nếu không có tiêu chuẩn căn cứ thì sai số sẽ là rất lớn. Tuy nhiên, do có nhiều cách chưa chính xác về chỉ đạo đo lường, dẫn tới việc thiết kế câu hỏi không chính xác, thời gian ghi chép không đúng, sai số trong quá trình đo vẫn cứ diễn ra. Có nhiều nhóm cùng tham gia thực hiện đo lường trên cùng một nhóm đối tượng, thêm vào đó những nhóm đo lường này lại tiến hành không đầy đú các thao tác đo, còn nhiều khoảng trống trong kế hoạch đo. Ngoài ra, việc ghi điêm cũng không chính xác, không hoàn toàn khách quan... Tất cả các lý do đó đều dẫn tới sai số. Sai số do b ản th â n đối tư ợ n g đ ư ọ c đo lư ờ ng : Loại sai số này là loại sai số khó khống chế nhất. Ngay cá khi chúng ta đã có những hình thức trắc nghiệm tương đồng, có trình tự ghi điếm đã được tiêu chuẩn hóa. có một môi trường và phương thức đo lường lý tưởng, thì chi cần đối tượng được trắc nghiệm có sự thay đổi dẫn tới kết quả điểm của hai lần thi là khác nhau, sai số cũng theo đó mà xuất hiện. Các biểu hiện cụ thể như: vai trò của động cơ học tập, ảnh hưởng của giai đoạn phát triển của cơ thể, những lo lắng khi tham gia trắc nghiệm, nhân tố về sinh lý,... Một người nào đó, một số người nào đó có động cơ không giống nhau đều dẫn tới sai số. Nếu đó là sai số hệ thống sẽ có thể làm giảm