intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE

Phân tích dữ liệu các kỳ kiểm tra trên phần mềm EVN E-learning để đánh giá và phân loại câu hỏi trong ngân hàng câu hỏi

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:8

8
lượt xem
3
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết Phân tích dữ liệu các kỳ kiểm tra trên phần mềm EVN E-learning để đánh giá và phân loại câu hỏi trong ngân hàng câu hỏi trình bày phân tích thời gian làm từng câu trong ngân hàng câu hỏi, kết hợp cùng mức độ trả lời đúng, sai; Sử dụng kết quả phân tích để tìm ra câu hỏi không phù hợp, câu hỏi bị lỗi; phân loại câu hỏi cho phù hợp với bậc thợ, yêu cầu năng lực tương ứng.

Chủ đề:
Lưu

Nội dung Text: Phân tích dữ liệu các kỳ kiểm tra trên phần mềm EVN E-learning để đánh giá và phân loại câu hỏi trong ngân hàng câu hỏi

  1. CHUYỂN ĐỔI SỐ VÀ NÂNG CAO HIỆU QUẢ HỆ THỐNG ĐIỆN QUỐC GIA PHÂN TÍCH DỮ LIỆU CÁC KỲ KIỂM TRA TRÊN PHẦN MỀM EVN E-LEARNING ĐỂ ĐÁNH GIÁ VÀ PHÂN LOẠI CÂU HỎI TRONG NGÂN HÀNG CÂU HỎI DATA ANALYSIS OF TESTS ON EVN E-LEARNING SOFTWARE FOR ASSESSMENT AND CLASSIFICATION OF THE QUESTIONS IN THE QUESTION BANK 1 2 3 Phan Thị Hồng Hạnh , Lê Văn Định , Trần Việt Hùng 1 Ban TCNS, Tập đoàn Điện lực Việt Nam, 0243 669 46092, hanhpth@evn.com.vn 2 Ban TCNS, Tập đoàn Điện lực Việt Nam, 0975543161, dinhlv@evn.com.vn 3Ban TCNS, Tập đoàn Điện lực Việt Nam, 0243 669 46095, hungtv@evn.com.vn TÓM TẮT: Sử dụng dữ liệu trong phần mềm EVN E-learning đánh giá thời gian trả lời và phân loại câu hỏi trong ngân hàng câu hỏi của các kỳ thi sát hạch. Đối tượng và phạm vi nghiên cứu: toàn bộ ngân hàng câu hỏi sát hạch trong Tập đoàn Điện lực Quốc gia Việt Nam có sẵn trên phần mềm E-learning Phương pháp: Phân tích dữ liệu các kỳ thi để nghiên cứu và đánh giá bộ ngân hàng câu hỏi. Mục tiêu, nhiệm vụ nghiên cứu: - Phân tích thời gian làm từng câu trong ngân hàng câu hỏi, kết hợp cùng mức độ trả lời đúng, sai. - Sử dụng kết quả phân tích để tìm ra câu hỏi không phù hợp, câu hỏi bị lỗi; phân loại câu hỏi cho phù hợp với bậc thợ, yêu cầu năng lực tương ứng. Kết quả: 1. Đánh giá chất lượng câu hỏi trong ngân hàng câu hỏi: thay vì phải thường xuyên rà soát toàn bộ ngân hàng câu hỏi, cách này giúp tiết kiệm thời gian rà soát, tìm ra các câu hỏi cần chuyển cho chuyên gia xem xét, đánh giá. 2. Hỗ trợ sắp xếp, lựa chọn câu hỏi phù hợp với trình độ của cán bộ công nhân viên trong các kỳ kiểm tra. 3. Hỗ trợ người lao động tìm ra các lỗ hổng kiến thức thông qua kết quả sát hạch, từ đó đưa ra khuyến nghị học tập phù hợp với từng người. Từ khoá: E-learning; ngân hàng câu hỏi; đánh giá. Abstract: Use data in EVN E-learning software to evaluate the time to answer and classify questions in the question bank of all skill tests. The results will show the quality and level (easy, hard) of the questions in the bank. Subjects and scope of research: question banks for testing of Vietnam National Electricity Group available in EVN E-learning software. Method: Analyse data of the test in EVN E-learning software to research and evaluate the question bank. 335
  2. KỶ YẾU HỘI NGHỊ KHOA HỌC VÀ CÔNG NGHỆ ĐIỆN LỰC TOÀN QUỐC NĂM 2022 Research objectives and tasks: - Analyse the time employee spent on each question, combine with right and wrong answer. - Based on the analytic result to find out impropriate or false questions; classify questions corresponding to the employee skills or competency level. Result: 1. Evaluate the quality of questions in the question bank: instead of having to regularly review the entire question bank, this way saves time reviewing and finding questions that need review of the experts. 2. Support in selecting questions suitable to the qualifications / required competency of employees in the examinations. 3. Support employees to find knowledge gaps through test results, thereby making appropriate learning recommendations for each person. Keywords: E-learning; question bank; assessment. CHỮ VIẾT TẮT CNV Công nhân viên Cuộc thi Cuộc thi “Kiểm tra quy trình an toàn điện năm 2022 - bậc 3/5 - 5/5 - Điện lực Thành phố Hải Dương KHCN Khoa học công nghệ HNTH Hệ thống họp thông qua Hội nghị truyền hình 1. GIỚI THIỆU Giai đoạn 2018 trở về trước, Tập đoàn Điện lực Quốc gia Việt Nam chủ yếu tổ chức đào tạo và thi nâng bậc, giữ bậc và sát hạch nghề phần lý thuyết hàng năm cho các CBCNV với hình thức tập trung và thi trắc nghiệm trên giấy. Đào tạo tập trung và thi trên giấy tổ chức khá phức tạp, chi phí cao do phải huy động nhiều nhân lực, tốn thời gian và chi phí đi lại, in ấn, ăn ở. Đối với phần thi, bộ ngân hàng câu hỏi của từng đơn vị đã phân loại theo bậc thợ (từ bậc 1 tới bậc 5 hoặc 7) và mức độ câu hỏi (dễ - trung bình - khó). Nhưng những đánh giá phân loại này đều dựa trên đánh giá khách quan của người ra đề, chưa được sự hỗ trợ của ứng dụng CNTT để đánh giá, rà soát lại. Các đơn vị chưa có điều kiện tham khảo ngân hàng câu hỏi của đơn vị tương tự khác. Từ năm 2018, thực hiện chủ đề năm “Nâng cao chất lượng nguồn nhân lực”, Tập đoàn Điện lực Quốc gia Việt Nam đã ứng dụng và triển khai thực hiện đào tạo, thi trên phần mềm EVN E-learning. Phần mềm Elearning đã giúp duy trì phong trào học tập trong EVN suốt thời gian giãn cách xã hội do Covid, đồng thời tạo điều kiện để người lao 336
  3. CHUYỂN ĐỔI SỐ VÀ NÂNG CAO HIỆU QUẢ HỆ THỐNG ĐIỆN QUỐC GIA động học tập mọi lúc, mọi nơi. Các chương trình thi sát hạch thường xuyên, nâng bậc, giữ bậc phần lý thuyết được duy trì tại các đơn vị. Thống kê của nhóm tác giả, từ năm 2020 tới nay, toàn Tập đoàn Điện lực Quốc gia Việt Nam đã tổ chức thực hiện 5.557 cuộc thi với hơn 300.000 lượt người thi. Trong đó, cuộc thi ghi nhận nhiều lượt người tham gia nhất là về Khung năng lực trong Tập đoàn Điện lực Quốc gia Việt Nam. Năm 2021, Tập đoàn Điện lực Quốc gia Việt Nam đã có chỉ đạo các đơn vị thành viên tổ chức thi nâng bậc, giữ bậc phần lý thuyết trên phần mềm EVN E-learning. Đây cũng là dữ liệu lớn, phục vụ cho nghiên cứu của nhóm tác giả. Nhằm cải tiến và đánh giá chính xác ngân hàng câu hỏi, phục vụ thi nâng bậc, giữ bậc, nhóm tác giả đã nghiên cứu và ứng dụng công cụ phần mềm EVN E-learning phục vụ phân loại, cụ thể:  Triển khai thi thử/thi thật bộ ngân hàng câu hỏi hiện nay đang được dùng thi nâng bậc, giữ bậc và sát hạch nghề phần thi lý thuyết.  Phân tích thời gian làm từng câu trong ngân hàng câu hỏi, kết hợp cùng mức độ trả lời đúng, sai.  Sử dụng kết quả phân tích để tìm ra câu hỏi không phù hợp, câu hỏi lỗi; phân loại câu hỏi cho phù hợp với bậc thợ, yêu cầu năng lực tương ứng. 2. CƠ SỞ LÝ THUYẾT/PHƯƠNG PHÁP NGHIÊN CỨU Ở Mỹ, từ đầu thế kỷ XIX, người ta đã dùng phương pháp đánh giá trắc nghiệm để phát hiện năng khiếu, xu hướng của người thi. Sang đầu thế kỷ XX, E. Thoidaico là người đầu tiên dùng trắc nghiệm như một phương pháp “Khác quan và nhanh chóng” để đo trình độ kiến thức người thi. Đến năm 1940 ở Mỹ đã xuất hiện nhiều hệ thống trắc nghiệm để đo thành tích. Ở Liên Xô, từ năm 1926-1931 đã có một số nhà sư phạm tại Mát-xcơ-và, Leningrat tiếp tục thí nghiệm dùng trắc nghiệm để kiểm tra kiến thức người thi. Từ 1936-1960, các công trình nghiên cứu của chuyên gia Liên Xô hướng vào những việc tìm kiếm học tập, kiểm tra tri thức, kỹ năng của người thi. Năm 1936 tại Liên Xô mới phục hồi việc sử dụng trắc nghiệm để kiểm tra kiến thức và đánh giá người thi. Ở trong nước, tháng 4/1998, trường Đại học sư phạm Hà Nội tổ chức hội thảo khoa học về sử dụng trắc nghiệm khách quan và tiến hành xây dựng nhân hàng câu hỏi để kiếm tra, đánh giá. Tháng 7/1996 nước ta đã thí điểm thành công thi tuyển sinh đại học bằng phương pháp trắc nghiệm tại trường Đại học Đà Lạt. 337
  4. KỶ YẾU HỘI NGHỊ KHOA HỌC VÀ CÔNG NGHỆ ĐIỆN LỰC TOÀN QUỐC NĂM 2022 Ở Việt Nam nói chung và ở Tập đoàn Điện lực Quốc gia Việt Nam nói riêng, tuy đã có thời gian phát triển thi trắc nghiệm, song do chưa chú ý đến việc phân tích các câu hỏi, không có thử nghiệm khi đưa ra sử dụng và dựa nhiều vào cảm tính của người làm đề, các cuộc thi trắc nghiệm vẫn chưa hoàn toàn công bằng và chính xác theo vị trí chức danh. Đề quá dễ dẫn đến kết quả làm bài quá tốt hoặc quá khó dẫn tới kết quả không cao, không phản ánh đúng được năng lực của người thi. Đánh giá chất lượng người thi mà chỉ nhìn vào điểm số thì hoàn toàn thiếu chính xác vì điểm số phụ thuộc rất nhiều vào mức độ khó của câu hỏi trong đề thi. Phương pháp nghiên cứu của báo cáo dựa trên lý thuyết và thực tiễn đã có sẵn: a) Phương pháp nghiên cứu lý luận:  Phương pháp chọn lọc, phân tích, tổng hợp tài liệu.  Phương pháp phân loại, hệ thống hóa lý thuyết. b) Phương pháp nghiên cứu thực tiễn: phương pháp phân tích dữ liệu thực tiễn và thống kê toán học. Báo cáo này sẽ phân tích dựa trên dữ liệu người thi để phân tích thời gian làm từng câu hỏi của người thi, sau đó đánh giá câu hỏi và bộ đề, cụ thể: a) Đối tượng: CNV tham gia thi sát hạch nghề, nâng bậc, giữ bậc hàng năm trong Tập đoàn Điện lực Việt Nam. b) Cách thức: triển khai thi sát hạch nghề, nâng bậc, giữ bậc cho CNV các bậc với cùng 1 bộ đề: c) Kết thúc kiểm tra/thi: phần mềm trích xuất dữ liệu thời gian làm bài của CNV đối với từng câu hỏi. d) Phân tích thời gian trả lời các câu hỏi của CNV:  Thời gian làm dưới 3 giây.  Thời gian làm dưới 5 giây.  … e) Đánh giá thời gian trả lời các câu hỏi của CNV:  Cùng một câu hỏi, thời gian làm bài của CNV phần lớn dưới 3 giây có thể xem xét câu hỏi này thuộc mức độ “dễ” và thuộc “bậc thấp hơn”.  Cùng một câu hỏi, thời gian làm bài của CBNV phần lớn dưới 5 giây có thể xem xét câu hỏi này thuộc mức độ “dễ”. 338
  5. CHUYỂN ĐỔI SỐ VÀ NÂNG CAO HIỆU QUẢ HỆ THỐNG ĐIỆN QUỐC GIA 3. KẾT QUẢ NGHIÊN CỨU/TÍNH TOÁN/MÔ PHỎNG VÀ THẢO LUẬN (RESULTS AND DISCUSSION) Nghiên cứu bộ ngân hàng câu hỏi trong các cuộc thi trên phần mềm EVN E-learning của Tập đoàn Điện lực Quốc gia Việt Nam, chúng ta có thể đánh giá được từng câu hỏi thông qua thời gian trả lời của thí sinh. Điển hình cuộc thi “Kiểm tra quy trình an toàn điện năm 2022 - bậc 3/5 - 5/5 - Điện lực Thành phố Hải Dương (thi ngày 25/1/2022)” (Cuộc thi) của Công ty Điện lực Hải Dương, Tổng công ty Điện lực miền Bắc với sự tham gia của 112 thí sinh, chi tiết như tại Hình 1: (Nguồn: https://elearning.evn.com.vn) Hình 1: Cuộc thi an toàn điện Cuộc thi được tổ chức với ngân hàng câu hỏi 356 câu, đề thi 50 câu và thời gian làm bài 40 phút, trung bình 48 giây/câu trả lời. Kết quả Cuộc thi được đánh giá là thành công với 100% số lượng CNV tham gia đã có kết quả đạt với trên 90 điểm (thang điểm 100). Số lượng CNV đạt điểm từ 98 tới 100 cao nhất với 68 thí sinh, đạt 36,8% (chi tiết tại Hình 2). Điều này cho chúng ta có thể đặt ra giả thiết bộ ngân hàng câu hỏi được sử dụng chưa thực sự phù hợp với bậc của CNV. Phân tích thời gian làm bài của CNV trong Cuộc thi, với thời lượng trung bình tối thiểu 3 giây cho một câu hỏi trắc nghiệm (vừa đọc vừa trả lời), kết quả trả lại các câu hỏi dưới mức tối thiểu được bôi đỏ (chi tiết tại hình 3). 339
  6. KỶ YẾU HỘI NGHỊ KHOA HỌC VÀ CÔNG NGHỆ ĐIỆN LỰC TOÀN QUỐC NĂM 2022 (Nguồn: https://elearning.evn.com.vn) Hình 2: Báo cáo phổ điểm Cuộc thi (Nguồn: https://elearning.evn.com.vn) Hình 3: Phân tích và đánh giá thời gian làm bài của CNV dưới 3 giây Kết quả phân tích cho thấy, câu hỏi số 5, số 9, số 17 và số 26… có rất ít nhất 02 CNV làm bài với thời gian dưới 3 giây. Điều này có thể phân tích câu hỏi này rất “dễ” và có thể dành cho bậc thấp hơn (bậc 3 hoặc bậc 2). Tương tự, phân tích thời gian làm bài của CNV trong Cuộc thi, với thời lượng trung bình tối thiểu 5 giây cho một câu hỏi trắc nghiệm (vừa đọc vừa trả lời), kết quả như Hình 4. 340
  7. CHUYỂN ĐỔI SỐ VÀ NÂNG CAO HIỆU QUẢ HỆ THỐNG ĐIỆN QUỐC GIA (Nguồn: https://elearning.evn.com.vn) Hình 4: Phân tích và đánh giá thời gian làm bài của CNV dưới 5 giây Kết quả phân tích cho thấy, câu hỏi số 4, số 8, số 21… có ít nhất 06 CNV làm bài với thời gian dưới 5 giây. Điều này có thể phân tích câu hỏi này “dễ”. Sau khi có kết quả phân tích cho thấy, các câu hỏi được đánh giá rất “dễ” và có thể dành cho bậc thấp hơn và các câu hỏi “dễ” được lọc ra, đánh giá lại bởi Hội đồng thi trước khi sử dụng cho các cuộc thi tiếp theo. 4. KẾT LUẬN VÀ KHUYẾN NGHỊ Phương pháp phân tích dữ liệu các kỳ kiểm tra trên phần mềm EVN E-learning dựa trên phân tích thời gian làm từng câu hỏi của người thi và đánh giá câu hỏi và bộ đề đã giúp chúng ta có thể:  Đánh giá chất lượng câu hỏi trong ngân hàng câu hỏi: thay vì phải thường xuyên rà soát toàn bộ ngân hàng câu hỏi, cách này giúp tiết kiệm thời gian rà soát, tìm ra các câu hỏi cần chuyển cho chuyên gia xem xét, đánh giá.  Hỗ trợ sắp xếp, lựa chọn câu hỏi phù hợp với trình độ của cán bộ công nhân viên trong các kỳ kiểm tra.  Hỗ trợ người lao động tìm ra các lỗ hổng kiến thức thông qua kết quả sát hạch, từ đó đưa ra khuyến nghị học tập phù hợp với từng người. 341
  8. KỶ YẾU HỘI NGHỊ KHOA HỌC VÀ CÔNG NGHỆ ĐIỆN LỰC TOÀN QUỐC NĂM 2022 Nghiên cứu này khi áp dụng, theo đánh giá chủ quan của nhóm tác giả, các lợi ích mang lại rất hiện hữu: a) Ứng dụng KHCN để hỗ trợ đánh giá chất lượng câu hỏi trong ngân hàng. b) Thực hiện đánh giá trực tuyến với sự trợ giúp của phần mềm EVN E-learning. c) Làm việc trực tuyến, hội đồng đánh giá có thể họp qua HNTH hoặc Zoom- meeting. Tuy đây mới là nghiên cứu bước đầu của nhóm tác giả, tuy nhiên đã mang lại được lơi ích lớn. Hướng nghiên cứu tiếp theo:  Tiếp tục ứng dụng phần mềm EVN E-learning để đánh giá các câu hỏi, qua đó từng bước rà soát, đánh giá bộ ngân hàng câu hỏi phù hợp với bậc thợ, vị trí chức danh trong Tập đoàn Điện lực Quốc gia Việt Nam.  Nghiên cứu phương pháp tự động tìm kiếm và đưa ra cảnh báo cho người dùng về thời gian trả lời câu hỏi của thí sinh dựa trên dữ liệu lớn về các cuộc thi. LỜI CẢM ƠN Nhóm tác giả xin chân thành cảm ơn Công ty Cổ phần Công nghệ Giáo dục thông minh (VietED), đối tác xây dựng phần mềm EVN E-learning đã hỗ trợ, giúp đỡ nhóm tác giả trong quá trình thiết kế và xây dựng phân hệ báo cáo thời gian làm bài thi. Qua đó, thời gian thực hiện đánh giá và phân loại câu hỏi trong ngân hàng câu hỏi đã được rút ngắn đi đáng kể. TÀI LIỆU THAM KHẢO [1] Dương Thiệu Tống, 1995. Trắc nghiệm và đo lường thành quả học tập. Đại học Tổng hợp, Tp HCM. [2] Lê Huy Thập, Lương Văn Nguyên. Đề tài Thi trắc nghiệm có hỗ trợ của hệ chuyên gia. Interdisciplinary Sci., 2013, Vol. 58, No. 10, pp. 67-74. 342
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

 

Đồng bộ tài khoản
4=>1