Luận văn: Ứng dụng công nghệ Testing trong xây dựng ngân hàng đề thi (Test items Banking)

Chia sẻ: Sdasf Dgfcg | Ngày: | Loại File: PDF | Số trang:96

Thêm vào BST

Báo xấu

133
lượt xem 19
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu và phạm vi áp dụng của ngân hàng đề thi, cơ sở lý luận và phương pháp nghiên cứu. Quy trình xây dựng 1 ngân hàng đề thi, khả năng tin học hoá khâu kiểm tra đánh giá, kết luận

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn: Ứng dụng công nghệ Testing trong xây dựng ngân hàng đề thi (Test items Banking)

BỘ GIÁO DỤC V À Đ À O TẠO TRƯỜNG ĐẠI HỌC NGOẠI T H Ư Ơ N G Đ ế TÀI NGHIẾN CỨU KHOM HỌC CẤP B Ộ ỨNG DỤNG CÔNG NGHỆ TESTING TRONG XÂY DỰNG NGÂN HÀNG ĐẼ THI (TESTITEMS BANKING) Mã sô: B 8 4 - 2 9-00 Chủ nhiệm đề tài: - TS Nguyễn Đức Hoạt Người tham gia: - ThS. Nguyễn Phương Sửu - KS. Lãm Ngọc Minh T H Ư V) EN ỊB U Ô N G DA! HÓT: NGOAI ;H'JONfc DT.0C05% HÀ NỘI 2002
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGOẠI THƯƠNG ýfi ^ V % Đế TÀI NGHIÊN CỨU KHOA HỌC CẤP BỘ ỨNG DỤNG CÔNG NGHỆ TESTING TRONG XÂY DỰNG NGÂN HÀNG ĐÊ THI (TESTITEMS BANKING) MÃ SỐ: B98-40-02 Xác nhận của cơ quan chủ trì đề tài Chủ nhiệm đề tài KT HIỆU TRƯỞNG
Mạc LỤC NỘI DUNG Trang MỤC LỤC » LỜI NÓI Đ Ầ U » C H Ư Ơ N G ì: M Ú C TIÊU V À P H À M VI Á P DỤNG C Ủ A Đ Ể TÀI Ì 1.1. Tinh cấp thiết của đề tài 1 ỉ .ĩ. Mục tiêu và phạm vi áp dụng của đẽ tài 3 C H Ư Ơ N G l i : C ơ SỞ L Ý L U Ậ N V À P H Ư Ơ N G P H Á P N G H I Ê N c ứ u 6 2.1. Quan hệ giữa hoạt động giảng dạy và kiểm tra đánh giá 6 2.2. Các trường phái ngôn ngữ và lý thuyết về kiểm tra đánh giá ì C H Ư Ơ N G n i : QUY T R Ì N H X Â Y DỤNG M Ộ T N G Â N H À N G Đ Ể THI 15 3.1. Định nghĩa về ngân hàng đề thi (item bank) 15 3.2. Ý nghĩa của việc xây dựng ngân hàng đề thi 16 3.3. Thực tiễn áp dung ngân hàng đề thi trẽn thế giới li 3.4. Xây dựng tiểu mục (itemlquestion) 19 3.5. Quy trình xây dựng ngân hàng và làm đề thi 21 C H Ư Ơ N G IV: K H Ả N Ă N G TIN H Ọ C HOA K H Â U KIỂM TRA Đ Á N H GIÁ 40 4.1. Tính cẩn thiết của việc xác định thuộc tính 40 4.2. Đ c tính cần có của phần mềm chuyên dụng 33 4.3. Tinh tương thích với chương trình phân tích, đánh giá kết quả 44 4.4. Giới thiệu phẩn mềm ứng dụng TESTPRO Ì .0 44 C H Ư Ơ N G V: K Ế T L U Ậ N V À K H U Y Ế N NGHỊ GIẢI P H Á P 50 Tài liệu tham khảo 53 Phụ lục 1: Kết quả phán tích tiểu mục Phụ lục 2: Bài thi m u
L Ờ I NỚI ĐẨU Kiểm tra đánh giá (KTĐG/TESTING) là một kháu quan trọng trong giảng dạy và học tập nói chung và trong giảng dậy và học liếng Anh nói riêng. K i ể m tra đánh giá là công cụ quan trọng trong qua trình quản lý giáo dục, đặc biệt là trong quy trình bảo đảm chất lượng trong giáo dục và đào lạo. N ó đám báo cho các nhà quản lý, giáo viên và người học đánh gia chính xác tính hiệu quả trong hoạt động đào tạo. Trên thế giới công nghệ K T Đ G hay TESTING đã được áp dụng rộng rãi và đã thu được nhiều thành tễu to lớn góp phần đáng kể nâng cao chất lượng đào tạo. o Việt nam, cũng đã có nhiều công trình nghiên cứu và bài viết cả về phương diện lý thuyết và áp dụng thễc tiễn công nghệ K T Đ G trong đó có cả việc áp dụng tin học trong K T Đ G đặc biệt là áp dụng phần mềm chuyên dụng trong xây dễng, vận hành ngán hàng tiểu mục đề thi (gọi tất là ngân hàng đề thi (NHĐT)). N h ó m tác giả chúng tôi đã chọn đề tài nghiên cứu "ứng dụng công nghệ TESTING trong xây dễng ngân hàng đề t h i " nhằm mục đích nghiên cứu m ô hình và đánh aiá tính khả thi khi áp dụng phần mềm chuyên dụng trong xây dễng và vận hành một N H Đ T thông qua việc lập và cho vận hành thử nghiệm ở quy mỏ nhỏ (trên 720 tiểu mục). Mục tiêu nghiên cứu của đề tài là xây dễng một ngân hàng đề thi cho môn học tiếng Anh Kinh doanh quốc tế đang dạy cho sinh viên năm thứ 3 hệ cử nhân chuyên ngành Tiếng Anh thương mại tại trường đại học ngoại thương và vận hành thử trên quy m ô thễc nghiệm (demonstration) một ngân hàng gồm trên 720 tiểu mục. N h ó m tác giả hy vọng thành công của đề tài sẽ dẫn tới việc áp dụng trên quy m ô chính quy không những cho môn học này m à cả các m ô n học và ngành khác trong và ngoài trường. Trong quá trình thễc hiện đề tài chúng tôi đã nhận được sễ trợ giúp kinh phí quý báu của Bộ giáo dục và đào tạo thông qua Vụ Khoa học và Công nghệ, sễ
chỉ đạo sái sao và quan tâm cổ vũ lớn lao của ban giám hiệu n ường Đại học Ngoại thương, sự trự giúp và hợp lác nhiệt tình của cúc đồng nghiệp (rong và ngoài trường, các cán bộ các phòng, khoa. Chúng tôi cũng nhận dược các ý kiến góp ý quý báu của các nhà khoa héc và sự tham gia nhiệt tình của các sinh viên. Nhân dịp này chúng l ồ i xin bày tỏ lòng cảm ơn chán thành tới Bộ GD Đ T và Ban giám hiệu nhà trường cùng tốt cả các tập thể và cá nhãn đã giúp đỡ chúng tôi hoàn thành công trình này. Nhóm tác giả cũng xin cám ơn cône ty tin học EDTECH đã cộng tác và có nhã ý cho phép chúng tối sử dụng phần mềm chuyên dụng TestPro Ì .0 của công ty để thực hiện đề tài này. Các tác giả
C H Ư Ơ N G ì: MỤC TIÊU V À PHẠM VI ÁP DỰNG CỦA Đ Ể TÀI 1.1. TÍNH CẤP THẾT CỦA ĐỀ TÀI Vấn đề đo lường và đánh giá chất lượng đào tạo là một vấn đề then chốt trong hoạt động dạy và học, quản lý giáo dục nói chung và trong hoạt động học tập, giảng dạy, và quản lý đào tạo ngoại ngữ nóiriêngtrong đó có tiếng Anh. Hoạt động thi, kiểm tra đánh giá là một khâu quan trọng trong quá trình đó. Một bài thi hoặc kiểm tra đánh giá (TEST) phải đạt các tiêu chí như: có độ tin cậy cao (reliability) và độ giá trị cao (validity) có khả năng đo lường những kiến thệc và kỹ năng cần đo, có khả năng phân loại người học, an toàn và tiện lợi trong sử dụng, khách quan và công bằng trong đánh giá, đảm bảo tính khách quan cao, hạn chế đến mệc tối đa yếu tố chủ quan của người chấm. Từ lâu nay, việc kiểm tra theo phương pháp truyền thống chủ yếu dựa vào phương pháp đánh giá chủ quan (Subjective Tests) đã bộc l ộ một số nhược điểm. Tuy có tiện lợi cho người ra đề, dễ điều hành song cũng có nhiều hạn chế như không bảo đảm bao phủ các mảng kiến thệc, tính chủ quan cao, khó bảo đảm độ đồng nhất về độ khó dễ giữa các bài TEST, giữa bài ra trong các năm khác nhau, việc chấm thi rất mất thời gian và không đảm bảo tính đồng nhất giữa các người chấm khác nhau. Tại khoa tiếng A n h trường Đ ạ i học Ngoại thương (ĐHNT), công nghệ kiểm tra đánh giá ( C N K T Đ G ) đã được bước đầu ệng dụng ở mệc độ nhất định, ví dụ như các bài trắc nghiệm khách quan đã được các giáo viên sưu tầm, biên soạn để ệng dụng trong kiểm tra và đánh giá. Song về cơ bản đây m ớ i là hoạt động đơn lẻ, thiếu tính hệ thống và không dựa trên một quy trình công nghệ
và do vậy tuy đã có cải tiến so với các phương pháp truyền thống song vẫn chưa đáp ứng được các tiêu chí nêu trên. Đ ề tài này đã chọn m ô n Tiếng A n h kinh doanh quốc tế để thử nghiệm quy trình ứng dụng phần mềm chuyên dụng trong kiểm tra đánh giá. M ô n Tiếng A n h K D Q T là một m ô n đã được dạy qua hai khoa hệ cử nhân Tiếng A n h thương mại. M ô n học đã có giáo trình ổn đữnh, có mục tiêu và thời lượng xác đữnh cho các chương. Trong hai năm qua việc kiểm tra đánh giá vẫn thực hiện dưới hình thức kết hợp giữa đánh giá chủ quan thông qua bài tự luận, bài dữch ( 3 0 % tổng số điểm) và bài trắc nghiệm khách quan ( 7 0 % ) . Các bài trắc nghiệm được giáo viên sưu tẩm và sửa đổi hoặc lấy từ trên mạng. Các bài này tuy dưới hình thức trắc nghiệm khách quan song do không có phần mềm chuyên dụng nên chưa thể đữnh chuẩn theo các thông số như độ tin cậy, độ giá trữ, mức độ khó dễ của từng tiểu mục, từng bài test cụ thể so với mục tiêu và yêu cầu của m ô n học. Nói tóm lại việc ra đề, chấm thi, xác đữnh kết quả và phân hạng sinh viền cũng như khả năng đánh giá mức độ tiến bộ, các kiến thức và kỹ năng còn yếu và thiêu còn mang tính chủ quan và không chính xác. Kết quả là người học, thày dạy và người quản lý không có một công cụ đo lường nhất quán và chính xác. Từ nhiều năm nay, Bộ giáo dục và đào tạo, các cơ sở đào tạo đại học được chú trọng đến việc ứng dụng C N K T Đ G nhằm nâng cao hiệu quả và tính chuẩn xác trong đánh giá kết quả dạy và học đại học nói chung và trong dạy và học ngoại ngữ nóiriêng.Nhiều hội thảo, công trình nghiên cứu đã tập trung thảo luận các biện pháp nhằm nâng cao và hoàn thiện hơn nữa công tác đánh giá chất lượng trong giáo dục đại học, đặc biệt là việc ứng dụng C N K T Đ G trong đó có việc áp dụng công nghệ thông tin trong C N K T Đ G và xây dựng Ngân hàng tiểu mục đề thi, sau đây gọi tắt là Ngân hàng đề thi (NHĐT). Việc nghiên cứu m ô hình hoa quy trình C N K T Đ G dựa trên N H Đ T có sử dụng phần mềm chuyên dụng là một việc cấp thiết thực hiện mục tiêu của Bộ G D Đ T nhằm ứng dụng t i n học, và từng bước chuẩn hoa quy trình kiểm tra và 2
đánh giá trong giáo dục đại học. Việc ứng dụng C N K T Đ G sẽ giúp nâng cao tính hiệu quả giảng dạy và học ngoại ngữ tại khoa Tiếng Anh nói riêng và có thể nghiên cứu ứng dụng cho các m ô n và ngành học khác trên nền tảng công nghệ chung tại trường Đ H N T . N ó không những giúp nâng cao hiệu quả giảng dạy và học tập m à còn là một công cụ đắc lực cho các nhà quản lý giáo dục trong việc đánh giá hiệu quả và lập kế hoạch chiến lược trong đào tạo. 1.2. M Ụ C TIÊU V À PHẠM VI Á P DỤNG C Ủ A Đ Ể TÀI 1.2.1. Mục tiêu của đê tài: Mục tiêu của đề tài này nhằm: - Nghiên cứu đánh giá khả năng ứng dụng N H Đ T có sồ dụng phần mềm chuyên dụng trong kiểm tra đánh giá trong hoạt động giảng dạy tiếng Anh. - Khuyến nghị quy trình cồng nghệ và m ô hình ứng dụng N H Đ T trong giảng dạy tiếng A n h nói chung và tiếng A n h chuyên ngành nói riêng và các biện pháp và yêu cầu về hạ tầng cơ sở kỹ thuật, nguồn lực đề triển khai trên quy m ô rộng và bảo đảm tính bền vững của hệ thống. - Đưa ra một ngân hàng đề thi mẫu gồm trên 720 tiểu mục có sồ dụng phần mềm chuyền dụng. Ngân hàng này gồm các tiểu mục và đề thi cho m ô n Tiếng Anh kinh doanh quốc tế đang được giảng dạy cho hệ cồ nhân tiếng A n h thương mại tại Khoa tiếng Anh, trường Đ H N T H à nội. 1.2.2. Phạm vi áp dụng: Nếu được triển khai áp dụng công trình sẽ góp phần đắc lực bảo đảm cho công tác kiểm tra đánh giá được hiệu quả trong phạm v i khoa tiếng A n h và cho các bộ m ô n ngoại ngữ khác tại trường Đ H N T , cho các khoa hoặc trường chuyên ngữ khác. Do tính ứng dụng thực tiễn cao của phần mềm ứng dụng, các quy trình công nghệ thiết lập bởi công trình có thể được áp dụng cho công tác kiểm tra đánh giá cho Gác m ô n học thuộc các lĩnh vực và chuyên ngành khác. 3
1.2.3. Nội dung và sấn phẩm của đề tài: Nội dung của đềt i gồm hai phần chính sau: à Ả ) Phần giới thiệu và thuyết minh để tài gồm 5 chương: - Chương ì: Mục tiêu và phạm vì áp dụng cùa đề tài Mục tiêu của đềt i nhằm nghiên cứu cơ sở lý luận và khả năng áp dụng công à nghệ kiêm tra đánh giá hiện đại trong giảng dạy ngoại ncữ nói chung và tiếng Anh nói riêng nhìn tử giác độ lý thuyết về ngón ngữ, tâm lý và giáo học pháp ngoại ngũ. Trên cơ sở trên đề t i khuyến nghị quy trình công nghệ trong quá à trình lập, quản lý vận hành một ngân hàng đè thi có sử dụng phần m é m chuyên dụns. - Chương 2: Cơ sở lý luận và phương pháp nghiên cứu Phần này xem xét các trường phái lý thuyết liên quan đến giảng dạy ngoại ngữ và công nghệ kiểm tra đánh giá, các tiêu chí càn có của một ngán hàng đề thi và một bài kiểm tra đánh giá (test). - Chương 3: Quy trình xây dựng ngân hàng đề thi Trong phần này tác giả xác định các quy trình lập ngân hàng đề t h i và khuyếnnghị một m ô hình Ún 2 dụng mang tính khả thi cao đáp ứng được những tiêu chí cần có. - Chương 4: Khả năng tin học hoa khâu kiểm tra và đánh giá Trong phần này tác giả đã nghiên cứu khả năng áp dụng tin học trong kiểm tra và đánh giá đặc biệt là nêu các yêu cầu cần có của một phần mềm ứng dụng. Phần này cũng giới thiệu các tính năng, công dụng của phần mềm chuyên dụng TestPro Ì .0 do công ty tin học Edtech phát triển. Phần mềm này được sử dụng để chạy trên quy m ô thử nghiệm một ngán hàng tiểu mục đề t h i gồm 4
trên 720 tiểu mục cho món Tiếng Anh Kinh doanh quốc lố đang dạy tại n ường Đại học Ngoại thương. - Chương 5: Kết luận và khuyên nghị lỊÌái pháp Trên cơ sở đánh giá khả năng ứng dụng, m ô hình hoa và chạy thử nghiệm trên quỵ m ó nhỏ, đề t i khuyến nghị giải pháp triển khai trên quy m ó chính thức à cho một số môn học đang dạy tại Khoa tiếng Anh và cho cả các môn học khác trong trường. B) Sản phẩm của đề tài: Toàn bộ trên 720 tiểu mục thô đưẹc biên soạn, sưu tầm và phán loại sẽ đưẹc nạp vào một phần mềm ứng dụng do cóng ty Edtech phát triển. Toàn bộ phần mềm ứng dụng và trên 720 tiểu mục đưẹc chứa trong Ì đĩa CD để dùng vào mục đích hoạt độn£ trên quy m ô thử nghiệm. N ộ i dung kiểm tra đưẹc dựa trên mục tiêu và nội dung của 5 chương đầu thuộc môn học Tiếng A n h Kinh doanh quốc tế. Phần mềm ứng dụng sử dụng trong đề tài này mang tính thử nghiệm. Do kinh phí hạn hẹp của đề tài, phần mềm ứng dụng sẽ đưẹc chuyển giao trong giai đoạn triển khai một khi công trình đưẹc phép ứng dụng trên quy m ô lớn tại trường Đ H N T . 5
C H Ư Ơ N G l i : C ơ SỞ L Ý L U Ậ N V À P H Ư Ơ N G P H Á P N G H I Ê N cứu 2.1. Quan hệ giữa hoạt động giảng dạy và kiểm tra đánh giá Quá trình dạy là chu trình liên tục và khép kín bao gồm nhiều bước k ế tiếp nhau, bổ sung cho nhau. Xây dựng chương trình đào tạo theo hướng lấy người học làm trọng tám thường bắt đầu từ khâu phán tích yêu cầu, mục đích của người học. Những yêu cầu và mục đích ấy được cụ thộ hoa thành mục tiêu chương trình đào tạo. Mục tiêu chương trình đào tạo mang tính chỉ đạo quyết định nội dung chương trình nào, phương pháp nào, tài liệu dạy-học nào và phương thức kiộm tra-đánh giá nào là phù hợp độ đạt mục tiêu chương trình đề ra. Đ ộ có thộ đánh giá tổng thộ chất lượng của chương trình đào tạo, người ta cần đánh giá thành quả học tập của người học. Những thông tin đánh giá tổng thộ giúp người quản lý và người làm chương trình rút ra được bài học cho những khoa học sau. Quá trình dạy học có thộ m ô tả vắn tắt theo m ô hình sau (Hình 1): Phân tích nhu cầu người Mục tiêu đào tạo ị Đánh giá kết quả N ộ i dung đào tạo Phương pháp / hoạt động Hình Ì: Vị trí của kiểm tra đánh giá trong hoạt động đào tạo
Chu trình trên, theo quan diêm phát triển trong giáo dục, là chu trình khép kín luôn luôn đổi mới theo nhu cầu và trình độ của người học. Cũng như chương trình và phương pháp đào tạo, phương pháp và nội dung kiểm tra đánh giá cũng không ngừng được bổ sung và hoàn thiện. 2.2. Các t r u ồ n g phái ngôn ngữ và lý thuyết về k i ể m t r a đánh giá Phương pháp luận đóng vai trò đựnh hướng cho quá trình dạy-học. Lý luận về dạy và học ngoại ngữ đã trải qua nhiều thời kỳ phát triển và chựu sự chi phối của nhiều trường phái ngôn ngữ học, tâm lý học khác nhau. Đ ã có lúc các nhà khoa học đã cố gắng tìm ta một phương pháp dạy ngoại ngữ tốt nhất. Nhưng rốt cuộc, người ta phải đi đến kết luận rằng không có phương pháp nào là tốt nhất phù hợp với mọi đối tượng và m ọ i hoàn cảnh học tập. Phương pháp kiểm tra/đánh giá cũng chựu sự chi phối của các trào lưu trên. Tuy các trường phái thì có nhiều song trong phạm vi công trình này chúng tôi x i n chỉ đề cập đến hai trường phái chính có ảnh hưởng sâu sắc nhất tới phương pháp giảng dạy và kiểm tra đánh giá hiện đại, đó là trường phái cấu trúc-hành v i (structural- behavourist approach) và trường phái giao tiếp (communicative approach). Đ ể đảm bảo cho một bài test đáp ứng được những tiêu chí của nó, người soạn thảo phải hiểu rõ mình đựnh test cái gì. Theo quan điểm giao tiếp, một bài test phải gồm những tập hợp những kỹ năng ngôn ngữ nguyên mẫu m à người học có thể sử dụng trong những tình huống giao tiếp tương tự trong thực tế. Vì vậy một N H Đ T phải được xây dựng trên nền tảng lý thuyết và một m ô hình về năng lực giao tiếp của người học. D ư ớ i đây là một số trường phái ngôn ngữ và tâm lý học chính là cơ sở lý luận chủ chốt của C N K T Đ G hiện đại. 2.2.1. Trường phái cấu trúc và trắc nghiệm tâm lý (The psychometric- structural approach) Có thể nói nguyên tắc chủ đạo để thiết kế các bài test dựa trên các chương trình hoặc giáo trình thiết kế theo trường phái cấu trúc là dựa trên trường phái 7
lúm lý hành vi và lý thuyết ngôn ngữ học cấu trúc thể hiện cụ thè trong các công trình của Lado (1961), Harris (1969) và Healon (1975). Các bài test thời kỳ này gọi chung l bài test cấu trúc-lrấc nghiệm tám lý (The psychometric- à structural approach) với đặc trưng chính lù sự nhấn mạnh đến tính khách quan (objectivity) trona C N K T Đ G . Hình thức bài icsl chủ yếu l dạng câu lựa chọn à không cần ngữ cảnh (discrete-point multiple choice items), hình thức này thộm chí còn đùn" để kiểm tra cúc kỹ năng sản sinh (productive skills) như nói và viết. Các bài test chủ yếu dựa trên sự phân chia nhỏ ngôn ngữ thành các bộ phộn cấu thành có trình tự từ thành phần nhỏ đến lớn, từ cao đến thấp: ám vị, ngữ vị đến từ vị và sau cùng là cáu. Năng lực ngôn ngữ của một người được coi là quá trình nhớ và tích lũy và hình thành hệ thống thói quen trong giao tiếp từ đan giản đến phức tạp. Trường phái này rất được ưa chuộng và được áp dụna trong dạy ngoại ngữ trong thộp kỷ 60 và 70 và hiện nay vẫn được áp dụng khá rộng rãi tuy có được cải biên. Tuy nhiên trường phái này cũng có những hạn chế nhất định. Carrol (1961) nhộn xét các dạng test kiểu này chỉ có thể đo lường từng phần cấu thành nhỏ của ngôn ngữ không thể đánh giá tổng hợp quá trình vộn dụng cấu trúc trong giao tiếp trong những tình huống cụ thể và vì vộy cần thiết k ế test theo hướng tích họp có tính đến các yếu tố về tình huống siao tiếp cụ thể chứ không nén chia nhỏ kiến thức hoặc kỹ năng của người học. Bài test không đủ khả năng đưa các yếu tố về chu cảnh giao tiếp vào nội dung test. Tuv còn những hạn chế trên song các bài test dựa trên trường phái cấu trúc và trác nghiệm tám lý đã có nhũng đóng góp đáng kể cho C N K T Đ G như: • Đ ã chú trọng đến phương pháp phân tích thống kê và lượng hoa trong đánh giá • Đ ã dựa trên khái niệm về độ tin cộy (Reliability) và độ giá trị (Validity) • Có sự gắn kết giữa nội dung test và nội dung chương trình giảng dạy. 8
• Đ ể cao tính khách quan trong đánh giá 2.2.2. Trường phái giao tiếp Trường phái trắc nghiệm dựa trên nàng lực giao tiếp (Communicative language testing) được phát triển trên cơ sở trào lưu chung (rong giảng dạy ngoại ngữ từ trường phái cấu trúc sang trường phái giao liếp nhấn mạnh đến việc vận dụns ngôn ngữ trons giao tiếp. Hymes (1967) đưa ra khái niệm tình huống aiao tiếp để chỉ các hoạt đầng ngôn ngũ' chủ yếuchi phối bởi các quy tắc giao tiếp chứ không phải chỉ bởi các quy tắc ngữ pháp. Hymes cũng đưa ra khái niệm năng lực giao tiếp (communicative competence). Theo ông, năng lực giao tiếp không chỉ bao sòm các kiến thức về ngữ pháp m à còn liên quan đến các khả năng khác ngoài ngôn ngữ. Các yếutố giao tiếp thực tế cần phải đưa vào các bài test, các yếutố đó phải phản ánh được các đặc trưng sau của giao tiếp: • Giao tiếp phải mang tính tương tác, nghĩa là nầi dung người nói nói lệ thuầc vào nầi dung nghe được. Quá rình giao tiếp là qu trình trao đổi á linh hoạt luôn luôn phải phân tích tình huống và ý đồ của người đối thoại. • Giao tiếp đòi hỏi phải xảy ra trong ngữ cảnh cụ thể • Giao tiếp đòi hỏi phải sử dụng r.cữ liệu thực và phải đạt tới mầt mục đích cụ thể như thông báo hay thuyết phục. Dựa trên cơ sở lý luận trên chúng ta thấy hiểu rõ nầi dung, kiến thức và kỹ năng cần phải đánh giá là điều kiên tiên quyết, là điểm bắt đầu để trên cơ sở đó xác định tính (đầ) giá trị (validity) của mầt bài test hay mầt N H Đ T . Nói tóm lại tính giá trị của mầt test nhằm trả lời cho câu hỏi liệu bài test có đo lường được cái người thiết kế test định đo hay không? Tuy nhiên, trên thực tế 9
khái niệm tính giá trị cũng như phương pháp nhằm đạt được tính giá trị cao của một test cũng còn có nhiều điều phải bằn trong giới khoa học. 2.2.3. Loại hình kiểm tra đánh giá Về tính chất, bài test có thể chia thành 2 loại hình chính kiểm tra quá trình (process) và kiểm tra sản phẩm cuối cùng (end-product). M ỗ i loại có tác dụng riêng của nó, tuy thuộc vào mục đích sử dụng. Các bài test còn được chia thành các loại hình chính sau tuy mục đích test: Ì) Kiểm tra kết quả (Achievement Test): Kiềm tra kết quả dùng để đo kết quả người học đạt được sau một khoa học hoốc mức độ hoàn thành chương trình. N ó nhất thiết phải lấy múc tiêu và nôi dung chương trình học làm cơ sở (syllabus-based), ví dụ như bài t h i tốt nghiệp chương trình phổ thông trung học chẳng hạn. Ngân hàng tiểu mục đề thi thuộc đè tài nghiên cứu này cũng thuộc loại hình này. 2) Kiểm tra theo chuẩn thực tế(Proficiency Test) Loại hình kiểm tra này đánh giá kỹ năng toàn diện về một ngôn ngữ nhất định của thí sinh trước những yêu cầu cụ thể cần phải hoàn thành. N ộ i dung bài thi thuôc loại hình đánh giá này không liên quan đến chương trình, n ộ i dung, phương pháp học tập cụ thể của thí sinh, m à quan tâm đến yêu cầu thí sinh cần phải đạt được trong một tình huống nhất định (syllabus-independent) ví dụ như thi tuyển làm thông dịch viên cho Liên hơp quốc hoốc thi tuyển vào một trường đại học cụ thể nào đó chẳng hạn. 3) Kiểm tra thăm dò (Diagnostic Test) Kiểm tra thăm dò thường sử dụng trước khóa học để giúp giáo viên soạn chương trình giảng dạy hợp với trình độ học sinh và phát hiện những khó khăn của người học. 10
4) Kiểm tru xếp thứ bậc (Placement Tesl) Loại hình kiểm tra này được sử dụng đổ xếp người học vào nhóm, lớp cho thích hợp với trình độ, dặc điểm văn hoa, tâm lý . . hoặc phục vụ nhũng mục . đích khác. 2.2.4. Những tiêu chí của một bài kiểm tra đánh giá (test) Một bài đánh giá có tác dụng tích cực đối với quá trình dạy-học hay không phụ thuộc vào những tiêu chí quan trong cần có, đó là độ rin cậy, tính giá trị, khả năng phân loại tích cực và tính thực tiễn của một bài bài test cụ thể. Thiếu những tiêu chí này, một bài test không những không cóp khệ năng đo lường chính xác m à còn có thể có tác dụng tiêu cực đối với quá trình dạy và học. ã) Độ tin cậy Đ ộ tin cậy có liên quan đến mức độ chính xác của phương pháp đo. về mặt lý thuyết, độ tin cậy có thể được coi là số đo mức độ sai lệch giữa điểm số quan sát được và điểm số thực (lý thuyết). Điểm số quan sát được là điểm số thực tế m à người học có được và điểm số thực là điểm số lý thuyết m à ngươi học phệi đạt nếu không mắc lỗi. M ộ t bài thi/kiểm tra được coi là có độ tin cậy khi: - trong hai lần kiểm tra khác nhau, cùng một học sinh đạt số điểm tương đương nhau hoặc trùng nhau nếu làm cùng một nội dung kiểm tra, - í có khệ năng học sinh gian lận trong khi kiểm tra, t - hai giáo viên chấm cùng một bài cho hai hai điểm sát hoặc trùng nhau. - lời chỉ dẫn trong bài rõ ràng, người đọc không hiểu theo nhiều cách khác nhau Có nhiều yếu tố dẫn đến các sai số về phép đo. Các yếu tố này có thể mang tính nội tại hay bên ngoài. Các ngồn sai số từ bên ngoài có liên quan đến quá trình thực hiện bài test và yếu tố chùi quan của người được test như xúc cệm, không ổn định về tâm lý khi dự test . Các nguồn sai số bên trong gắn với n ộ i li
dung bài test gây ra do chọn qua í câu test. Một bài test trên thực tế muốn bảo t đảm độ tin cây phải có í nhất là 30 câu. Sai số cũng gây ra bởi việc lựa chọn t lệch mẫu. Ngay cả khi đã đủ về số lượng câu song nếu các câu không mang tính đại diện về nội dung cũng như tỷ lệ câu (trọng số). Khái niệm này gần với khái niệm về độ giá trị về nội dung bàn dưới đây. Đ ỏ đánh giá mực độ tin cậy của một bài test Kuder và Richarson đã đưa ra công thức gọi là công thức K- R21. Công thức này đo độ phù hợp nội tại có nghĩa là các câu hỏi càng thuần nhất thì độ khó của chúng là thích hợp điều đó có nghiã là hệ số tin cậy cao. Đ ộ tin cậy cao cũng có nghĩa là tần suất phân bổ các câu có độ khó trung bình phải cao còn ở hai thái cực phải nhỏ. Các câu hỏi hay tiỏu mục trong một bài test được xác đinh là có độ tin cậu cao k h i có độ tương quan dương. Ngoài yêu cầu về độ tin cậy, bài thi/ kiỏm tra cần phản ánh đúng trình độ của người học và đó được cái muốn đo - có nghĩa là đồng thời phải có tính giá trị. b) Tính giá trị Nói một cách đơn giản, bài kiỏm tra có tính giá trị cao phải thực sự đánh giá được người học về lĩnh vực cần được đánh giá, phải đo được cái cần phải đo. Tính giá trị là một khái niệm đa phương diện. Có một số phương pháp đỏ thiết lập tính giá trị: • Thông qua việc so sánh nội dung bài test với mục tiêu và nội dung của m ô n học. • So sánh với các bài test cùng kiỏm tra đánh giá một kỹ năng hay k h u vực kiến thức cụ thỏ. • So sánh khả năng thực tế của người tham gia test với yêu cầu lý tưởng trong một lĩnh vực kiến thức hay kỹ năng. 12
• Xác định được bài test đã phản ánh trung thực nguyên lý và lý thuyết về khả nàng thực hành của ngươi tham gia test. Trên cơ sở xác định nói trên, các học giả dã đi đến thống nhất về í nhất là 4 t phương diện thuộc tính giá trị bao gồm tính giá trị về nội dung (content validity), tính giá trị theo chuẩn (criterion-related validity), tính giá trị về cấu trúc hay thuộc tính (contruct validity), tính giá trị bề mặt hoặc hình thức (face validity). Tính giá trị nội dung có liên quan đến độ bao phủ của một test đối với nội dung của một chương trình, tính giá trị nội dung rất cển thiết cho loại hình test về thành tích học tập ngược lại nội dung kiểu test về trình độ hoàn toàn do người thiết k ế lựa chọn thù thuộc vào quan niệm của người test về chuẩn đánh giá. Tính giá trị theo chuẩn đo lường độ dự báo và độ tương đương đồng thời của một test so vói các test khác đã được kiểm định làm chuẩn. Phép đo này dựa vào tính tương đương giữa các bài test trên cơ sở so sánh kết quả test của các cá thể và các bài test. Tính giá trị về cấu trúc hay thuộc tính có liên quan đến khả năng đo lường các thuộc tính cấu thành nên một kỹ năng cụ thể cển đo. Phép đo này liên quan đến các thuộc tính thuộc hành vi, năng lực tư duy của người được test. Thí dụ một bài test với mục đích đo lường khả năng tư duy phân tích của một người phải phản ánh tương đối trung thực các thuộc tính các khía cạnh thuộc về tư duy phân tích được thể hiện qua việc thực hiện bài test gồm khả năng phân tích, tổng hợp, phê phán V..V.. v ề khía cạnh này tính giá trị về cấu trúc cũng trùng lặp với tính giá trị về nội dung. Cuối cùng là tính giá trị về bề mặt hay hình thức. Tính giá trị hình thức liên quan đến sự tiếp nhận của nguôi được test, giáo viên và người tổ chức test về hình thức. Ngày nay x u hướng chung là lựa chọn các dạng test thực hành. 13
Đ ộ tin cậy và tính giá trị có quan hệ với nhau. Trong thực tế có những tiểu mục có độ tin cậy nhưng lại không có tính giá trị. Đ ó là trường hợp người viết tiểu mục định kiểm tra về lĩnh vực A nhưng thực tế lại đo một lĩnh vực nào đó khác. Ví dụ, tiểu mục sau được viết nhằm kiểm tra kỹ năng đọc hoặc có thể là kiến thốc ngữ pháp. Ì. Napoleon was ứ. French b. German c. Italian ả. Russian 2. Bananas grow mostly in countries. a. cold b. tropical c. temperate ả. dry Tiểu mục này nếu cho cùng một thí sinh làm nhiều lần có thể mang lại kết quả giống nhau. Như vậy tiểu mục có độ tin cậy cao. Nhưng nếu xét về tính giá trị thì chưa chắc vì nó không chắc chắn là đo được cái định đo: kỹ nâng đọc hay kiến thốc ngữ pháp hay thậm chí kiến thốc lịch sử (1) hoặc sinh học (2). Hiện tượng này gọi là test song trùng. c) Khả năng phân loại tích cực Bài kiểm tra phải có khả năng phân loại tích cực. Điều đó đơn giản có nghĩa là người học có khả năng cao hơn phải đạt điểm cao hơn trong bài k i ể m tra ấy. Điều này nghe thật đơn giản, nhưng trong thực tế lại có những trường hợp bài thi phân loại tiêu cực đối với người học. Ví dụ, một bài thi quá thấp so v ớ i trình độ người học, người làm bài đều được điểm tuyệt đối hoặc gần tuyệt đối trong khi trình độ thực tế của họ rất khác nhau. Bài thi ấy không có khả năng phân loại tích cực. 14