Lý thuyết và ứng dụng Đo lường trong giáo dục: Phần 2 - GS.TSKH. Lâm Quang Thiệp

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:211

Thêm vào BST

Báo xấu

15
lượt xem 5
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Lý thuyết và ứng dụng Đo lường trong giáo dục: Phần 2 Trắc nghiệm hiện đại - lý thuyết ứng đáp câu hỏi gồm các nội dung chính như sau: Hàm đặc trưng câu hỏi – tế bào của lý thuyết ứng đáp câu hỏi; các mô hình đường cong đặc trưng của câu hỏi nhị phân; ước lượng các tham số của câu hỏi trắc nghiệm; điểm thực - đường cong đặc trưng của đề trắc nghiệm; hàm thông tin của câu hỏi và của đề trắc nghiệm;... Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Lý thuyết và ứng dụng Đo lường trong giáo dục: Phần 2 - GS.TSKH. Lâm Quang Thiệp

Phần II TRẮC NGHIỆM HIỆN ĐẠI - LÝ THUYẾT ỨNG ĐÁP CÂU HỎI 81
Chương 3 HÀM ĐẶC TRƯNG CÂU HỎI – TẾ BÀO CỦA LÝ THUYẾT ỨNG ĐÁP CÂU HỎI Chương này dành để trình bày bước xuất phát trong tiến trình xây dựng Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT). Trước hết, quy trình thiết kế một phép đo lường nói chung được mô tả, từ bước xây dựng thang đo, tạo thước đo, định cỡ thước đo và tiến hành đo. Để xây dựng các thang đo khác nhau các con số được sử dụng với vai trò khác nhau. Một yêu cầu chung nhằm tăng độ chính xác của phép đo sẽ được xác định: đó là đảm bảo cho thước đo và đối tượng đo tách biệt độc lập với nhau, yêu cầu đó được cụ thể hóa trong các phép đo trong tâm lý và giáo dục. Sau khi xác định yêu cầu để thiết kế một phép đo nói chung, quy trình thiết kế phép đo trong giáo dục được bắt đầu từ một cặp tương tác nguyên tố “thí sinh - câu hỏi”, tế bào của IRT, và mô tả từng bước cách xây dựng hàm đặc trưng CH theo mô hình Rasch đơn giản (tức là mô hình đơn chiều, nhị phân, một tham số). 3.1. VỀ CÁC PHÉP ĐO LƯỜNG 3.1.1. Về quy trình xây dựng một phép đo lường Để thực hiện một phép đo trong bất kỳ lĩnh vực khoa học kỹ thuật nào cũng cần một thước đo tác động lên đối tượng đo, từ đó rút ra các số đo đặc trưng cho đối tượng đó. Bất kỳ một phép đo nào cũng thu được số đo với một độ chính xác nào đó, nghĩa là phép đo nào cũng có sai số. Khi xây dựng một phép đo, người ta thường phải tạo một thang đo, sau đó thiết kế thước đo, và cuối cùng áp thước đo vào đối tượng cần đo 82
để so sánh nhằm đưa ra những con số giá trị đo xác định. Để có thể hình dung quá trình đó chúng ta hãy lấy một ví dụ cụ thể đơn giản về việc thiết kế một phép đo nhiệt độ thông thường. Đầu tiên giả sử ta lấy nhiệt độ của nước đá đang tan và nhiệt độ của nước sôi ở áp suất thường làm mốc, gọi tương ứng là 00C và 1000C, và khắc độ chia đều khoảng nhiệt độ thu được: bằng cách đó ta có một thang đo. Tiếp đến ta phải thiết kế các thước đo nhằm đo đối tượng ở một khoảng nhiệt độ nào đó, chẳng hạn đo thân nhiệt con người. Ta sử dụng hàng loạt ống thủy tinh có chứa thủy ngân và rút hết không khí để làm thước đo. Các ống thủy tinh muốn trở thành thước đo phải được khắc độ, hoặc định cỡ (calibration): giả sử đặt chúng lên hai mẫu thử (sample) có nhiệt độ chính xác và ổn định, một mẫu ở 350, mẫu kia ở 450, đỉnh cột thuỷ ngân trong các ống thuỷ tinh nâng lên các mức tương ứng. Từ các mức đó ta đánh dấu các vạch 35 0 và 450 trên các ống thủy tinh và chia khoảng ấy ra từng độ và 1/10 độ: ta đã biến các ống thuỷ tinh thành các thước đo (nhiệt kế). Cuối cùng ta có thể sử dụng các thước đo đã được cùng định cỡ như vậy để đo thân nhiệt của các bệnh nhân nào đó. Trong quy trình đo lường theo ví dụ nêu trên muốn phép đo chính xác phải đảm bảo hai điều. Một là quá trình định cỡ (khắc độ cho thước đo) phải đủ tin cậy, đặc biệt là các mẫu thử khác nhau không được ảnh hưởng lên kết quả định cỡ. Hai là, dù đo bằng một thước đo nào (trong các thước đã được cùng định cỡ) thì kết quả đo phải như nhau (trong phạm vi sai số chấp nhận được), tức là kết quả đo không phụ thuộc vào một thước đo cụ thể. Yêu cầu nêu trên cũng là điều kiện để đảm bảo độ chính xác chung cho nhiều phép đo khác nhau. 3.1.2. Các con số và các loại thang đo Nhiều nhà nghiên cứu đưa ra những định nghĩa khác nhau về đo lường, nhìn từ các góc độ khác nhau. Chúng ta hãy lưu ý đến hai định nghĩa sau đây. Theo Allen, M.J. và Yen, W.M. (1979) [7]: “Đo lường là gán các con số vào các cá thể theo một quy tắc có hệ thống để biểu diễn các đặc tính của các cá thể đó”. 83
Benjamin Wright (1979) [10] cho rằng: “Một số đo là một vị trí trên một đường. Đo lường là quá trình cấu trúc các đường và định vị các cá thể trên các đường đó”. Hai định nghĩa đều có một ý chung là đo lường là gán các con số vào các cá thể theo một nguyên tắc nào đó, nhưng định nghĩa đầu không nêu rõ tính chất của các con số, còn định nghĩa sau xác định rõ đó là các con số trên một đường liên tục, tức là các số trên trục số thực. Định nghĩa đầu rộng hơn, tuy nhiên phản ánh phép đo có tính định lượng thấp hơn, còn định nghĩa sau phản ánh phép đo có tính định lượng cao hơn. Hai định nghĩa đó cũng thể hiện các cách sử dụng các con số theo các cấp độ khác nhau. Các con số có thể được sử dụng theo 4 cách sau: làm nhãn hiệu để phân loại, tạo thang đo theo thứ tự, thang đo theo khoảng cách và thang đo theo giá trị. Làm nhãn hiệu, định danh (nominal) để phân loại: Chữ số in trên áo cầu thủ chỉ có tác dụng như một nhãn hiệu. Khi phân chia các vật và sự vật theo các tính chất xác định có thể sử dụng các con số để đánh dấu phân loại. Trong hai ví dụ vừa nêu không thể làm phép tính số học nào cả trên các con số đó. Tạo thang đo theo thứ tự (ordinal): Các con số để chỉ thứ bậc trên một thang đo, qua con số thứ bậc có thể biết cao thấp, hơn kém. Tuy nhiên không thể tính toán độ lớn của một tính chất gán với một thứ bậc nào đó và so sánh các độ lớn đó với nhau. Ví dụ một học sinh được xếp hạng ở thứ 5 không phải giỏi gấp đôi học sinh được xếp hạng ở thứ 10. Tạo thang đo theo khoảng cách (interval): Ví dụ thang nhiệt độ C hay F. Khoảng cách ở đây có ý nghĩa xác định, có thể so sánh các khoảng cách với nhau và áp dụng các phép tính số học cộng trừ nhân chia. Tuy nhiên các thang chia theo khoảng cách không có một số không tuyệt đối. Tạo thang đo theo tỷ lệ (ratio): Thang đo này có mọi đặc điểm như thang đo theo khoảng cách, nhưng có thêm một tính chất quan trọng: có tồn tại một số không tuyệt đối. Ví dụ về thang đo này là độ cao, khối lượng, số tiền… Vì có số không tuyệt đối nên có thể tính tỷ lệ giữa hai số 84
đo, chẳng hạn khi so sánh một người có 10 đồng và một người có 2 đồng có thể nói người thứ nhất có số tiền gấp 5 lần người thứ hai. Có thể thấy trong sự sắp xếp 4 loại thang đo trên mức độ định lượng tăng dần từ trên xuống dưới. Đo lường thành quả học tập trong giáo dục có thể hiểu là đo lường năng lực tiềm ẩn nào đó của đối tượng. Chúng ta cố gắng thiết kế phép đo sao cho có tính định lượng cao nhất, tức là không chỉ đo được các thứ hạng của cá thể (thang đo theo thứ tự), mà còn làm cho khoảng cách giữa các năng lực của các cá thể cũng có ý nghĩa (thang đo theo khoảng cách). Đối với năng lực tiềm ẩn nói chung không có một số không tuyệt đối, tức là điểm ứng với năng lực tiềm ẩn bằng không. 3.1.3. Về các phép đo lường trong tâm lý và giáo dục Từ lâu các chuyên gia về đo lường trong tâm lý và giáo dục đã bàn về yêu cầu của các phép đo lường này. Chẳng hạn, Thurstone từ đầu thế kỷ này (1904) [2] đã phát biểu: các số đo phải tuyến tính và có thể ứng dụng các phép tính số học. Wright (1982) [10] có nêu bốn đặc trưng mà đo lường phải có là: hướng (direction), thứ tự (order), độ lớn (magnitude) và các đơn vị có thể tái tạo (replicable units). Khi xÐt mét phÐp ®o l-êng cô thÓ trong t©m lý vµ gi¸o dôc, th-íc ®o cã thÓ lµ một hoặc một tập hợp các c©u hái hoặc cái gì đó được đưa ra để thử phản ứng của người được đo, ®èi t-îng ®o lµ mét thuéc tÝnh nµo ®ã cña một người được đo, ch¼ng h¹n n¨ng lùc tiềm ẩn của người được đo vÒ mét lÜnh vùc nµo ®ã. Để tiện trong diễn đạt, từ nay về sau ta quy ước gọi cái được đưa ra để thử ứng đáp của người được đo (item) là câu hỏi (CH) và đối tượng được đo nói chung là thí sinh (TS). Cũng giống như các phép đo lường nói chung đã nêu ở 3.1.1, đối với trắc nghiệm trong tâm lý và giáo dục, Thurstone cũng nêu ra những đòi hỏi về phép đo lường trong giáo dục, ngụ ý rằng việc định cỡ CH không được phụ thuộc vào mẫu TS dựng để định cỡ (sample-free) và kết quả đo về thuộc tính của một TS nào đó cũng không được phụ thuộc vào việc họ trả lời các CH nào (item-free). Đó là yêu cầu để đảm bảo tính khách quan của phép đo. 85
Tuy những yêu cầu cơ bản về đo lường đã được các nhà tâm lý giáo dục nhìn thấy từ lâu, nhưng chỉ đến những năm 60 - 70 của thế kỷ XX mới có các công trình lý thuyết đặt nền tảng khoa học vững chắc để thỏa mãn các yêu cầu cơ bản trên của khoa học về đo lường trong tâm lý và giáo dục. 3.2. VỀ ĐƯỜNG CONG ĐẶC TRƯNG CÂU HỎI 3.2.1. Các mối tương tác nguyên tố và tính đơn chiều Giả sử chúng ta muốn đánh giá một loại năng lực tiềm ẩn nào đó, chẳng hạn năng lực tiếng Anh, của 200 TS nhờ một đề trắc nghiệm có 100 CH. Trong trường hợp này ta có 200x100 = 20.000 mối tương tác khác nhau giữa một TS và một CH trắc nghiệm. Mô hình toán về phép đo lường trong tâm lý và giáo dục phải bắt đầu từ các mối tương tác đó giữa TS và CH, có thể gọi là mối tương tác nguyên tố, một tế bào để xây dựng Lý thuyết Ứng đáp Câu hỏi. Trong tập sách này từ chương 1 đến chương 12 dành để giới thiệu lý thuyết trắc nghiệm áp dụng để đo chỉ một loại năng lực của TS. Khi xây dựng một mô hình toán nói chung, để đơn giản và khả thi, bao giờ người ta cũng quan tâm đến những mối quan hệ bản chất nhất, lược bỏ bớt những yếu tố phụ phức tạp nhưng không bản chất. Ở trường hợp của chúng ta, để xây dựng mô hình toán phản ánh quan hệ các mối tương tác nguyên tố TS-CH, trong đó đối với TS ta chỉ xét đến một loại năng lực (hoặc một chiều nào đó của năng lực) được đo bởi các CH tạo nên đề trắc nghiệm (ĐTN). Đó là giả định về tính đơn chiều (unidimensionality). Trong thực tế thường có nhiều nhân tố ảnh hưởng lên việc làm trắc nghiệm (động cơ, sự hồi hộp, khả năng làm nhanh, xu hướng đoán nhận, các kỹ năng nhận thức…) ngoài năng lực chính được đo bởi ĐTN. Vậy, để đạt giả định về tính đơn chiều cần xây dựng ĐTN sao cho khu biệt được thành phần chính ảnh hưởng lên việc làm ĐTN. Thành phần đó được xem là năng lực tiềm ẩn (latent trait) được đo bởi ĐTN. Một khái niệm liên quan đến tính đơn chiều là tính độc lập địa phương (local independent). Độc lập địa phương có nghĩa: khi giữ không đổi năng lực tác động lên việc làm ĐTN, ứng đáp của TS đối với hai CH nào đó là độc lập với nhau về mặt thống kê. Nói cách khác, không có 86
quan hệ giữa các ứng đáp của TS đối với các CH khác nhau. Như vậy, năng lực được xác định bởi mô hình là yếu tố duy nhất ảnh hưởng lên việc trả lời của TS đối với CH. Tập hợp các năng lực ấy biểu diễn một không gian năng lực tiềm ẩn (latent trait) đầy đủ. Khi thỏa mãn tính đơn chiều, một không gian năng lực tiềm ẩn đầy đủ chỉ chứa một năng lực. Khi giả định về tính đơn chiều được thỏa mãn, cũng sẽ có tính độc lập địa phương. Trên tinh thần đó hai khái niệm ấy là tương đương. Tuy nhiên, có thể có tính độc lập địa phương ngay khi không có tính đơn chiều, chỉ cần không gian năng lực tiềm ẩn đầy đủ được xác lập. Nếu không gian ấy không được xác lập thì không có tính độc lập địa phương. Chẳng hạn, các TS kiểm tra môn Toán đồng thời phải biết đọc thạo tiếng Việt. Khi có TS không đọc thạo tiếng Việt thì năng lực tiếng Việt sẽ ảnh hưởng đến việc làm kiểm tra Toán, và tính độc lập địa phương sẽ không thỏa mãn. Khi mọi TS đều đọc thạo tiếng Việt thì sẽ có tính độc lập địa phương. Khi thỏa mãn tính đơn chiều, người ta giả định là có một Hàm đặc trưng của câu hỏi (Hàm ĐTCH - Item Characteristic Function- ICF) phản ánh mối quan hệ thực giữa các biến không quan sát được (năng lực của TS) và các biến quan sát được (việc trả lời câu hỏi). Biểu diễn đồ thị của hàm đặc trưng câu hỏi là Đường cong đặc trưng Câu hỏi (Đường cong ĐTCH - Item Characteristic Curve – ICC). Chúng ta hãy tìm cách xác định các đường cong ĐTCH đó. 3.2.2. Xây dựng thang đo để biểu diễn các tương tác Trước khi xét mối tương tác nguyên tố TS - CH chúng ta cần xây dựng một cái thang chung để biểu diễn các mối tương tác đó trên đó. Trước hết ta giả định mỗi TS có một năng lực tiềm ẩn nào đó, và giả thiết đây là năng lực một chiều, như đã nói ở 3.2.1. Giả sử ta có thể biểu diễn năng lực tiềm ẩn này bằng một biến dọc theo một trục liên tục, từ thấp đến cao, từ - đến +. Khi xét phân bố năng lực của một tập hợp TS nào đó, ta chọn giá trị năng lực trung bình của phân bố năng lực của tập hợp TS đó làm điểm không (0) cho thang đo năng lực, và độ lệch tiêu chuẩn của phân bố năng lực làm đơn vị đo năng lực (=1). 87
Tiếp đến, mỗi CH có một loạt tính năng được biểu diễn bởi các tham số xác định, như ta sẽ xem xét tiếp ở chương sau. Trong các tính năng của CH, một tính năng quan trọng nhất là độ khó của CH. Cũng giả thiết ta có thể biểu diễn độ khó của các CH bằng một biến dọc theo một trục liên tục, từ thấp đến cao, từ - đến +. Khi xét phân bố độ khó của một tập hợp CH nào đó, ta chọn giá trị độ khó trung bình của phân bố độ khó tập hợp CH đó làm điểm không (0) cho thang đo năng lực, và độ lệch tiêu chuẩn của phân bố độ khó CH làm đơn vị đo độ khó (=1). Để thực hiện một phép đo bằng cách dùng một ĐTN gồm nhiều CH nhằm đo các năng lực tiềm ẩn của từng TS trên thang đo năng lực của tập hợp TS nói trên, ta cần làm một sự so sánh giữa năng lực của TS và độ khó của CH. Thông thường hai đại lượng có thứ nguyên và ý nghĩa hoàn toàn khác nhau như vậy, năng lực của TS và độ khó của CH, không thể so sánh với nhau. Tuy nhiên như sẽ thấy ở mục sau, các biến năng lực và độ khó sẽ được biểu diễn bằng các đại lượng tỷ đối không thứ nguyên nên có thể so sánh chúng với nhau. 3.2.3. Ví dụ về mô hình đường cong đặc trưng câu hỏi đơn chiều, nhị phân, một tham số (mô hình Rasch) Để làm ví dụ, trước hết chúng tôi sẽ trình bày cách xây dựng một đường cong ĐTCH nhị phân, một tham số. CH nhị phân là CH mà câu trả lời chỉ có 2 mức: 0 và 1. Chúng tôi sẽ chọn cách trình bày lưu ý đến tính logic và sư phạm nhiều hơn để bạn đọc dễ hiểu, không lưu ý đến lịch sử của việc xây dựng các mô hình. Ở cuối chương 3, chúng ta sẽ theo dõi lịch sử phát triển các mô hình. IRT dựa trên hai giả thiết: - Sự ứng đáp của một TS đối với một CH có thể được tiên đoán bằng năng lực tiềm ẩn của TS; - Quan hệ giữa sự ứng đáp CH của TS và năng lực tiềm ẩn làm cơ sở cho sự đáp ứng đó có thể mô tả bằng một ICF đồng biến. Để xây dựng một mô hình toán diễn tả một mối quan hệ phải xuất phát từ một tiền đề nào đó. Nhµ to¸n häc Đan M¹ch, George Rasch, đã 88
xây dựng được một mô hình ICF đơn giản nhất nhưng cho đến nay cũng được sử dụng nhiều nhất trong công nghệ trắc nghiệm. Để biểu diễn CH, Rasch chỉ chọn một tham số: độ khó của CH. Chúng ta hãy theo dõi cách lập luận của Rasch. Phát biểu sau đây của Rasch có giá trị như một tiền đề làm cơ sở cho mô hình của ông: “Một người có năng lực cao hơn một người khác thì xác suất để người đó trả lời đúng một câu hỏi bất kỳ phải lớn hơn xác suất của người sau, cũng tương tự như vậy, một câu hỏi khó hơn một câu hỏi khác có nghĩa là xác suất để một người bất kỳ trả lời đúng câu hỏi đó phải bé hơn xác suất để trả lời đúng câu hỏi sau” (Rasch, 1960, tr. 117) [3]. Rõ ràng mô hình lý thuyết ứng đáp CH phải là một mô hình có tính xác suất, không phải là mô hình tất định. Chúng ta có thể thấy rõ tính hợp lý logic của tiền đề nêu trên. Với tiền đề đó, có thể đi đến kết luận: xác xuất để một TS trả lời đúng một CH nào đó phụ thuộc vào tương quan giữa năng lực của TS và độ khó của CH. Chúng ta sẽ chọn Θ để biểu diễn năng lực của TS, và β để biểu diễn độ khó của CH. Tuy nhiên, để đảm bảo khả năng so sánh năng lực và độ khó như đã nói ở mục 3.2.2, Θ và β đều được biểu diễn dưới dạng một tỷ số (lấy giá trị trung bình của chúng làm đơn vị). Tóm lại, với tiền đề Rasch, xác suất P để trả lời đúng CH phụ thuộc vào tương quan giữa Θ và β, tức là ta có thể biểu diễn: f (P) = Θ/β, (3.1) trong đó f là một hàm nào đó của xác suất trả lời đúng. Vấn đề là: chọn hàm f(P) như thế nào để có biểu diễn hợp lý nhất? Trước hết, vì, mối quan hệ cộng trừ đơn giản hơn mối quan hệ nhân chia, nên Rasch lấy logarit tự nhiên của (3.1): ln f (P) = ln [Θ/β] = lnΘ - lnβ = θ - b (3.2) Tiếp đến, để đơn giản, khi xét mô hình trắc nghiệm nhị phân (dichotomous) Rasch chọn hàm f chính là [P/(1-P)], bằng biểu thức odds (mức được thua) hoặc khả năng thực hiện đúng (likelyhood ratio), tức là tỷ số của khả năng xảy ra sự kiện khẳng định so với khả năng xảy ra sự kiện phủ định. Như vậy: 89
ln [P/(1-P)] = θ - b, (3.3) ln [P/(1-P)] được gọi là logit (log odds unit). Từ đó có thể viết: P/(1-P) = e (θ - b) Qua một vài biến đổi đơn giản, ta thu được: eθ  b  P (θ)  [1  e(θ  b) ] (3.4) Hàm có dạng như biểu thức (3.4) thuộc loại hàm logistic. Biểu thức (3.4) chính là hàm đặc trưng của mô hình ứng đáp CH một tham số, hay còn gọi là mô hình Rasch, có thể biểu diễn trên Hình 3.1 dưới đây (khi cho b=0): Hình 3.1. Đường cong ĐTCH một tham số Trở lại ví dụ của chúng ta ở 3.2.1 về trường hợp 200 TS làm ĐTN gồm 100 CH, chúng ta có 20.000 mối tương tác nguyên tố TS - CH. Từ đó chúng ta sẽ có 20.000 giá trị xác suất trả lời đúng CH được biểu diễn như sau: θ j  b i  e Pi (θ j )  (θ j  b i ) [1  e ], (3.5) 90
trong đó, chỉ số i chạy từ 1 đến 200 đánh dấu 200 TS tham gia trắc nghiệm, chỉ số j chạy từ 1 đến 100 đánh dấu 100 CH của ĐTN. Nếu biểu diễn tất cả các đường cong ĐTCH trên cùng một thang với hoành độ θ thì ta có một họ các đường cong như nhau được tịnh tiến trên trục θ, gốc của mỗi đường cong được đặt tại hoành độ θ = bj, các đường cong không cắt nhau. Tại gốc tọa độ của mỗi đường cong xác suất của TS thứ i trả lời CH thứ j tương ứng là Pi = 0,5. Hình 3.2. Họ các đường cong ĐTCH một tham số với các giá trị b khác nhau CÂU HỎI TỰ KIỂM TRA 1) Nêu các bước cần tiến hành để xây dựng một phép đo nói chung. Cần các điều kiện gì để có một phép đo chính xác? 2) Nêu các loại thang đo thường được sử dụng và đặc điểm của chúng. 3) Nêu các điều kiện cần thiết để đảm bảo chính xác cho phép đo bằng đề trắc nghiệm. 4) Giải thích điều kiện đơn chiều để xây dựng mô hình Rasch. 5) Phát biểu tiền đề của Rasch. 6) Lập biểu thức hàm ĐTCH cho mô hình Rasch. 91
Chương 4 CÁC MÔ HÌNH ĐƯỜNG CONG ĐẶC TRƯNG CỦA CÂU HỎI NHỊ PHÂN Tiếp tục mô hình đường cong ĐTCH một tham số (mô hình Rasch) được xác định ở chương 3, chương này giới thiệu mô hình ĐTCH 2 tham số bằng cách đưa vào thêm tham số biểu diễn độ phân biệt, và mô hình ĐTCH 3 tham số bằng cách tiếp tục đưa vào thêm tham số mô tả hiệu ứng đoán mò. Tính chất chung của các đường cong ĐTCH được khảo sát. Ngoài các mô hình dựa vào hàm logistic, các đường cong ĐTCH theo mô hình dạng đường cong tích lũy vòm chuẩn cũng được giới thiệu, và mối quan hệ giữa chúng với các đường cong dạng hàm logistic được xác lập. Cuối cùng, sự phát triển của mô hình Rasch trong lịch sử và các quan điểm về việc sử dụng mô hình Rasch 1 tham số so với các mô hình 2, 3 tham số cũng được bàn đến. 4.1. BA MÔ HÌNH ĐƯỜNG CONG ĐẶC TRƯNG CỦA CÂU HỎI NHỊ PHÂN DẠNG LOGISTIC Chương 3 đã giới thiệu một mô hình đường cong ĐTCH đầu tiên là mô hình Rasch. Đối với mô hình Rasch chỉ một tham số của CH được sử dụng, đó là độ khó, nên mô hình Rasch được gọi là mô hình một tham số. Tuy nhiên, như đã biết, trong trắc nghiệm cổ điển, người ta còn sử dụng một tham số quan trọng thứ hai đặc trưng cho CH là độ phân biệt. Do đó nhiều nhà tâm trắc học mong muốn đưa độ phân biệt vào mô hình đường cong ĐTCH. 4.1.1. Mô hình đường cong đặc trưng của câu hỏi hai tham số Từ khảo sát ở chương 3, chúng ta đã thấy các đường cong ĐTCH một tham số có dạng như nhau, khi biểu diễn trên cùng một thang năng 92
lực θ theo hoành độ thì sẽ có một họ các đường cong hình dạng như nhau tịnh tiến theo trục hoành, mỗi đường cong có gốc tọa độ tại điểm có θ = bi, trong đó bi là độ khó của CH thứ i tương ứng. Chúng ta cũng thấy rõ trong họ đường cong đã nêu độ dốc phần giữa của mọi đường cong là như nhau, điều đó chính là do độ phân biệt là như nhau đối với mọi CH trắc nghiệm. Từ công thức (3.4) e θb  P (θ)  [1  e(θ  b) ] (3.4) chúng ta thấy rõ khi trục hoành biểu diễn theo logit, độ dốc phần giữa đường cong được quyết định bởi hệ số ở số mũ của hàm e, mà ở công thức (3.4) hệ số đó bằng 1. Người ta có thể đưa thêm tham số a liên quan đến độ phân biệt của CH vào hệ số ở số mũ của hàm e, kết quả sẽ có biểu thức: e  a θb P (θ)  . [1  ea(θ  b) ] (4.1) (4.1) chính là hàm ĐTCH hai tham số. Hệ số a biểu diễn độ dốc của đường cong ĐTCH tại điểm có hoành độ θ = b và tung độ P(θ) = 0,5. Có thể thấy rõ độ dốc của đường cong ĐTCH phản ánh độ phân biệt của CH. Thật vậy, khi cho một biến đổi vi phân Δθ của năng lực thì sẽ thu được một biến đổi vi phân ΔP của xác suất trả lời đúng, giá trị ΔP này lớn hơn trên đường cong ĐTCH có độ dốc lớn so với trên đường cong có độ dốc nhỏ. Nói cách khác, đối với CH đã cho một sự khác biệt nhỏ về năng lực của TS cũng gây ra một độ chênh lớn về xác suất trả lời đúng. Đó chính là ý nghĩa của độ phân biệt. Dễ dàng xác định độ dốc của đường cong ĐTCH nhờ đạo hàm của P: P 2  1   a (  b )  a  a (  b )  e .  1  e  Khi  = b, ∂P/∂ = a/4, đó là giá trị lớn nhất của độ dốc tại điểm uốn của đường cong. 93
Hàm ĐTCH hai tham số trình bày trên đây và hàm ĐTCH theo mô hình Rasch có cùng dạng thức, chỉ khác nhau ở giá trị tham số a (đối với mô hình Rasch a=1). Như đã nói ở chương 3, các hàm có dạng như vậy được gọi là hàm logistic, là loại hàm tạo rất nhiều thuận lợi trong nhiều biến đổi toán học mà chúng ta sẽ xét sau này. Trở lại ví dụ đã nêu ở mục 3.2.1 chương trước về trường hợp 200TS làm ĐTN 100 CH, chúng ta có 20.000 mối tương tác nguyên tố TS-CH. Từ đó chúng ta cũng có 20.000 giá trị xác suất trả lời đúng CH được biểu diễn như sau: a i (θ j  b i ) e Pi (θ j )  a i (θ j  b i ) [1  e ], (4.2) trong đó chỉ số i chạy từ 1 đến 200 đánh dấu 200 TS tham gia trắc nghiệm, chỉ số j chạy từ 1 đến 100 đánh dấu 100 CH của đề trắc nhghiệm. Các đường cong ĐTCH trong họ các đường cong nói trên có độ nghiêng khác nhau tùy theo giá trị ai tương ứng của mỗi đường cong. Hình 4.1 biểu diễn các đường cong ĐTCH theo mô hình 2 tham số với b=0, và a lần lượt bằng 0,5; 1,0; 1,5; 2,0; 3,0 nên độ dốc của các đường cong ở đoạn giữa tăng dần. Hình 4.1. Các đường cong ĐTCH hai tham số với các giá trị a khác nhau (b=0) 4.1.2. Mô hình đường cong đặc trưng của câu hỏi ba tham số Lưu ý đến các hàm ĐTCH (3.4) và (4.1) chúng ta thấy tung độ tiệm cận trái của chúng đều có giá trị bằng 0, điều đó có nghĩa là nếu TS có 94
năng lực rất thấp, tức Θ → 0 và θ = ln Θ → -, thì xác suất trả lời đúng CH P(θ) cũng bằng 0. Tuy nhiên trong thực tế triển khai trắc nghiệm chúng ta đều biết có khi năng lực của TS rất thấp nhưng do đoán mò hoặc trả lời hú họa một CH nên TS vẫn có một khả năng nào đó trả lời đúng CH. Trong trường hợp đã nêu thì tung độ tiệm cận trái của đường cong không phải bằng 0 mà bằng một giá trị xác định c nào đó, với 0
Hình 4.2. Các đường cong ĐTCH 3 tham số với a=2, c=0,1 và 0,2 4.2. MỘT VÀI LƯU Ý VỀ CÁC MÔ HÌNH KIỂU KHÁC VỀ ĐẶC TRƯNG CỦA CÂU HỎI Chúng tôi đã giới thiệu lý thuyết IRT xuất phát từ mô hình đơn giản nhất – mô hình Rasch. Tuy nhiên trong lịch sử không phải mô hình Rasch được đưa ra đầu tiên để xây dựng IRT. Từ năm 1952 Lord F.M. đã đưa ra mô hình đường cong tích lũy vòm chuẩn 2 tham số (4.5) để phân tích số liệu trắc nghiệm nhiều lựa chọn. Sau đó vào năm 1957, Birnbaum A. [4] đã đề nghị đưa vào mô hình logistic 2 và 3 tham số (4.1) và (4.3) dễ sử dụng hơn thay cho các mô hình mô hình đường cong tích lũy vòm chuẩn. Tuy nhiên, cả Lord và Birnbaum đều không quan tâm đến mô hình một tham số theo cả dạng tích lũy vòm chuẩn cũng như dạng logistic, vì họ cho rằng mỗi CH cần ít nhất 2 tham số mới đủ xác định mô hình, một liên quan đến độ khó và một liên quan đến độ phân biệt, và mô hình một tham số chỉ là một trường hợp riêng của các mô hình mà họ đề nghị. Vào năm 1960, Rasch G. [3] đã đề nghị mô hình một tham số nhưng theo một cách tiếp cận khác hẳn so với hai tác giả nêu trên. Nếu Lord và Birnbaum chỉ quan tâm đến việc tìm các mô hình phù hợp với số liệu, thì Rasch muốn tìm mô hình phản ánh được ứng đáp của TS đối với ĐTN. Rasch xuất phát từ một quan niệm đơn giản: mức được thua (odds) của một TS khi trả lời một CH phụ thuộc vào tích của năng lực TS và độ dễ của CH, như lập luận được trình bày ở 3.2.3. Độ phân biệt của CH không được lưu ý trong mô hình một tham số của Rasch. 96
4.2.1. Mô hình đặc trưng của câu hỏi dạng đường cong tích lũy vòm chuẩn Vì phân bố chuẩn xác suất là nền tảng của lý thuyết thống kê, nên từ lâu các nhà tâm trắc học đã dùng đường cong tích lũy vòm chuẩn (normal ogive) làm mô hình để nghiên cứu việc trả lời CH (Muler 1904, Urban 1910, Thomson 1919). Tính hợp lý của việc sử dụng đường cong tích lũy vòm chuẩn làm đường cong ĐTCH được biện minh cả trên quan điểm thực dụng lẫn lý thuyết (Lord, 1980 [5], Barker, 1992 [8]). Biểu thức đường cong tích lũy vòm chuẩn đối với mô hình 2 tham số có dạng: a(θ-b) P (θ) = , (4.5)  1 2 e(-t 2) dt 2π -¥ và đối với mô hình 3 tham số như sau: a(θ  b) P (θ) = c + (1- c)  dt . (4.6) 1 e( t 2 2)  2π Biểu thức (4.5) và (4.6) cho thấy các hàm này là hàm xác suất tích lũy tính theo mật độ xác suất của phân bố chuẩn. Đó là các hàm của biến năng lực θ với các tham số a, b, c. Khi khảo sát quan hệ định lượng giữa các mô hình ĐTCH có dạng đường cong tích lũy vòm chuẩn và mô hình ĐTCH có dạng logistic, Halley (1952) [9] đã cho biết rằng nếu nhân tham số biểu thị độ dốc a của hàm logistic cho hệ số D=1,702 và sử dụng như ở biểu thức (4.1) thì sự sai khác tuyệt đối giữa các xác suất biểu diễn bởi biểu thức hàm dạng logistic (4.1) và biểu thức hàm dạng tích lũy vòm chuẩn (4.5) sẽ bé hơn 0,01 trên cả thang θ. (nếu nhân hệ số a ở 4.1 với D=1,702 thì hai đường cong gần như trùng nhau) Như vậy, đối với mọi ứng dụng thực tiễn hai mô hình hàm ĐTCH dạng logistic và dạng tích lũy vòm chuẩn là như nhau. Trong khi đó biểu 97
thức toán học của hàm logistic đơn giản hơn nhiều và tốc độ tính toán thực tế đối với chúng giảm nhiều vì không phải tính tích phân, do đó thậm chí có thể tính chúng trên các máy tính giản đơn. Vì lý do đó, trong những năm gần đây người ta thiên về sử dụng mô hình các đường cong logistic hơn là mô hình các đường cong tích lũy vòm chuẩn. Dù vậy trong nhiều nghiên cứu lý thuyết, đặc biệt là những nghiên cứu về mối quan hệ giữa lý CTT và IRT, người ta vẫn còn nhắc đến các mô hình hàm tích lũy vòm chuẩn. Hình 4.3. Các đường cong biểu diễn hàm (4.1) và (4.5) 4.2.2. Về mô hình Rasch và vai trò của nó Chúng tôi đã chọn mô hình một tham số, mô hình Rasch, làm mô hình trình bày đầu tiên trong các mô hình đường cong ĐTCH vì mô hình này đơn giản nhất và phản ánh tường minh nhất mối quan hệ giữa TS và CH. Tuy nhiên, như đã nói trên đây, trong tiến trình lịch sử hình thành IRT không phải mô hình Rasch xuất hiện trước các mô hình khác. Nhà toán học và tâm lý học người Đan Mạch, George Rasch, đã có ý tưởng xây dựng "một mô hình cấu trúc cho các CH trong một ĐTN" từ thập niên 1950, đề xuất mô hình xác suất logistic đó từ 1953, nhưng ở Mỹ người ta biết đến công trình của ông từ khi ông công bố chính thức trong 98
một cuốn sách xuất bản năm 1960 [3]. Động cơ của Rasch muốn thể hiện qua mô hình của mình là hạn chế việc dựa vào tổng thể TS khi phân tích các ĐTN. Theo ông, phân tích trắc nghiệm chỉ đáng giá khi dựa vào từng cá nhân TS, với các tham số của TS và CH được tách riêng. Để biện minh cho quan điểm của mình, ông thường dẫn lời Skiner, người rất ghét việc căn cứ vào thống kê dựa trên tổng thể để kết luận và thường triển khai nghiên cứu thực nghiệm trên từng cá thể. Quan điểm của Rasch đã đánh dấu sự chuyển tiếp từ CTT, dựa trên tổng thể với việc nhấn mạnh đến biện pháp tiêu chuẩn hóa và ngẫu nhiên hóa, sang IRT với mô hình xác suất tương tác giữa một CH và một TS. Sự tồn tại của các số liệu thống kê đầy đủ của các tham số của CH trong mô hình Rasch có thể được sử dụng vào việc điều chỉnh ước lượng các tham số năng lực theo một cách thức đặc biệt. Cùng trong khoảng thời gian công bố công trình của mình, Rasch được mời sang cộng tác nghiên cứu 3 tháng tại Viện Đại học Chicago. Tại đây, B. Wright [10] đã có rất nhiều đóng góp để nâng cao và phát triển mô hình Rasch. Theo Wright, ý tưởng của Rasch về việc chọn mô hình logistic với chỉ một tham số là độ khó đã giải phóng được bế tắc của việc phát triển IRT trong nhiều thập niên, vì nhiều nhà tâm trắc học qua các nghiên cứu của mình đã khẳng định rằng chỉ có độ khó là có thể ước lượng được một cách ổn định và đầy đủ qua số liệu quan sát đối với loại CH trắc nghiệm nhị phân. Do đó, hiện nay, tuy là mô hình ĐTCH đơn giản nhất trong các mô hình IRT (và có lẽ cũng chính vì tính đơn giản nhưng đầy đủ của nó), mô hình Rasch đã được sử dụng nhiều nhất trong các nghiên cứu tâm lý và giáo dục. Cũng theo Wright [10], mô hình Rasch là mô hình duy nhất thỏa mãn các yêu cầu để xây dựng các phép đo lường khách quan trong khoa học xã hội nói chung, và Wright có ý kiến khá cực đoan rằng không nên sử dụng các mô hình khác trong các phép đo lường khách quan. Tuy nhiên một số nhà nghiên cứu khác cho rằng về lý thuyết thì dạng toán học của mô hình Rasch có nhiều lợi thế, nhưng khi nói đến mô hình toán học, tức là nói đến một sự giả định, tiêu chuẩn để đánh giá hiệu quả của mô hình là sự phù hợp của chúng với số liệu thực nghiệm chứ không chỉ thuần túy ở dạng toán học. Người ta thường gọi quan điểm của Wright là quan điểm "dựa trên mô 99
hình" (model-based), còn quan điểm ngược lại là quan điểm "dựa trên dữ liệu" (data-based). CÂU HỎI TỰ KIỂM TRA 1) Dáng điệu của đường cong ĐTCH 2 tham số phụ thuộc tham số a như thế nào? Tại sao tham số a đặc trưng cho độ phân biệt của câu hỏi? 2) Dáng điệu của đường cong ĐTCH 3 tham số phụ thuộc tham số c như thế nào? Tại sao tham số c đặc trưng cho độ đoán mò của câu hỏi? 3) Ý nghĩa của hàm ĐTCH theo đường cong tích lũy vòm chuẩn. Sự khác biệt trong thực tế của xác suất trả lời đúng CH tính toán theo các hàm ĐTCH dạng tích lũy vòm chuẩn và dạng logistic. 4) So sánh các định nghĩa và các khoảng giá trị bằng số có thể có của độ khó và độ phân biệt theo CTT và IRT. 5) Quan niệm của B. Wright về việc sử dụng các mô hình 1, 2, 3 tham số. BÀI TẬP Bảng 4.1 cho các tham số của 6 CH nhị phân. Đối với mỗi CH hãy tính P(θ) tại θ = -3, -2, -1, 0, 1, 2 và 3. Vẽ các đường cong ĐTCH. CH nào dễ nhất? CH nào có tham số độ phân biệt thấp nhất? Một TS có năng lực θ = 0 sẽ ứng đáp đúng CH nào với xác suất cao nhất? Xác xuất để TS ấy ứng đáp sai CH bằng bao nhiêu? 100