Đánh giá khả năng thực hiện dạng bài tập sửa lỗi sử dụng Tiếng Việt của công cụ ChatGPT (Khảo sát trên bài tập thực hành Tiếng Việt lớp 10 chương trình giáo dục phổ thông 2018)

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:8

Thêm vào BST

Báo xấu

5
lượt xem 0
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết cung cấp cái nhìn từ tổng quát đến chi tiết khả năng hoàn thành nhiệm vụ nhận diện và sửa lỗi sử dụng tiếng Việt của ChatGPT qua việc giải bài tập tiếng Việt trong các sách Ngữ văn 10 để từ đó các nhà quản lí giáo dục, người dạy và người học có thêm cơ sở để đánh giá và vận dụng công cụ này trong dạy học, sao cho phù hợp với mục tiêu và nhu cầu của mình.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Đánh giá khả năng thực hiện dạng bài tập sửa lỗi sử dụng Tiếng Việt của công cụ ChatGPT (Khảo sát trên bài tập thực hành Tiếng Việt lớp 10 chương trình giáo dục phổ thông 2018)

ĐÁNH GIÁ KHẢ NĂNG THỰC HIỆN DẠNG BÀI TẬP SỬA LỖI SỬ DỤNG TIẾNG VIỆT CỦA CÔNG CỤ CHATGPT (KHẢO SÁT TRÊN BÀI TẬP THỰC HÀNH TIẾNG VIỆT LỚP 10 CHƯƠNG TRÌNH GIÁO DỤC PHỔ THÔNG 2018) Đinh Thị Thu Phượng 1 1. Khoa Sư phạm, Trường Đại học Thủ Dầu Một. TÓM TẮT Việc ra đời của công cụ ChatGPT đã đưa đến nhiều cơ hội và thách thức đối với đội ngũ quản lí và triển khai hoạt động giáo dục và đào tạo của mỗi quốc gia. Việc áp dụng ChatGPT vào quá trình dạy và học đòi hỏi cả năng lực am hiểu cách thức vận hành của nó lẫn năng lực sử dụng thông tin do nó cung cấp. Bài viết này tiếp cận công cụ ChatGPT từ góc độ khảo sát, đánh giá khả năng thực hiện giải bài tập tiếng Việt ở ba bộ sách Ngữ văn 10 trong Chương trình giáo dục phổ thông 2018. Kết quả nghiên cứu cho thấy ChatGPT đạt yêu cầu ở mức độ dưới trung bình, có sự chênh lệch về điểm trong các lần thực hiện cùng một nhiệm vụ và có khả năng sửa lỗi thấp ở cấp độ từ vựng, ngữ pháp và cao hơn ở cấp độ văn bản. Bài viết cung cấp cái nhìn từ tổng quát đến chi tiết khả năng hoàn thành nhiệm vụ nhận diện và sửa lỗi sử dụng tiếng Việt của ChatGPT qua việc giải bài tập tiếng Việt trong các sách Ngữ văn 10 để từ đó các nhà quản lí giáo dục, người dạy và người học có thêm cơ sở để đánh giá và vận dụng công cụ này trong dạy học, sao cho phù hợp với mục tiêu và nhu cầu của mình. Từ khóa: Bài tập thực hành tiếng Việt, ChatGPT, sách giáo khoa Ngữ văn lớp 10, ứng dụng AI trong dạy học. 1. ĐẶT VẤN ĐỀ Trí tuệ nhân tạo (Artificial Intelligence - AI) được xem là một bước phát triển đột phá của thời đại công nghệ 4.0 với sự đóng góp đáng ghi nhận trong nhiều lĩnh vực của cuộc sống. Trong dòng chảy tất yếu ấy, sự ra đời của ChatGPT (Chat Generative Pre-training Transformer) – một ứng dụng giúp con người trò chuyện với AI) ra đời vào cuối tháng 11/2022 đã chiếm được nhiều sự quan tâm trên thế giới nói chung và ở Việt Nam nói riêng. Khác với các thuật toán của Google (sàng lọc để đưa ra gợi ý về các nguồn thông tin để người dùng tự chọn lựa, tổng hợp), ChatGPT sử dụng các mô hình ngôn ngữ được huấn luyện trước, phân tích dữ liệu đầu vào để tổng hợp và đưa ra câu trả lời ngay lập tức. Nó có thể thực hiện các tác vụ cần đến trí thông minh của con người như học tập, ra quyết định, giải quyết vấn đề, thậm chí dạy kèm và làm cô vấn (Zhai, 2022, p.2). Ứng dụng này còn có thể trực tiếp tương tác được với người dùng, thậm chí chỉnh sửa câu trả lời theo góp ý/tranh luận của người dùng. Tuy nhiên, vì là dữ liệu tổng hợp nên các câu trả lời của ChatGPT vẫn được đánh giá là thiếu xác thực (Baidoo, 2023, p.14). 372
Riêng trong lĩnh vực giáo dục, ChatGPT đã và đang là mối quan tâm chung của nhiều nhà hoạch định chính sách, nhà nghiên cứu, học giả, giáo viên và cả học sinh. Nhiều nhà khoa học đang nghiên cứu thời cơ và thách thức do ứng dụng này mang lại. Một mặt, họ xem đây là một phương tiện có thể áp dụng hiệu quả vào việc dạy ngôn ngữ nói riêng (Kwon, 2023, p.25) và dạy học nói chung (Zhai, 2022, p.3-5), đồng thời có thể áp dụng vào việc đánh giá diễn ngôn (Philips, 2022, p.56). Mặt khác, người ta lại lo ngại về sự lạm dụng ChatGPT như một công cụ để đạo văn, làm tiểu luận, tóm tắt tài liệu,… Đội ngũ giáo viên trên thế giới cũng đang phải vật lộn để chống lại sự bùng nổ của ChatGPT trong trường học, và thực tế đã kiểm tra thấy sinh viên có sử dụng công cụ này để gian lận trong thi cử (Cotton, 2023, p.8). Để tránh việc lạm dụng này, một số phần mềm phát hiện văn bản AI đã ra đời như AI Text Classifier, OriginalityAI, Corrector App, AI Content Detector, GPTZero,... Các nhà nghiên cứu đang đặt ra vấn đề về sự thay đổi trong cách thức triển khai chương trình dạy học cũng như cách thức đánh giá bài thi một khi ChatGPT được cho phép áp dụng vào dạy học (Baidoo, 2023, p.13-16). Trước xu thế phát triển và hội nhập với thế giới phẳng của thời đại công nghệ số, việc ngăn cản người học sử dụng ChatGPT sẽ đi ngược với bước phát triển chung. Chúng tôi quan niệm rằng ChatGPT có thể được sử dụng như một công cụ để tối đa hóa việc dạy và học nếu người dạy biết khai thác công cụ này một cách an toàn, mang tính xây dựng để tổ chức dạy học và hỗ trợ quá trình học tập của học sinh, sinh viên. Vì vậy, hành trang cần chuẩn bị cho đội ngũ hoạt động trong lĩnh vực giáo dục là sự am hiểu về cách thức mà ChatGPT vận hành, khả năng của nó đối với việc thực hiện các nhiệm vụ thay thế cho người học hiện nay để có thể kiểm soát được hoạt động dạy học và đánh giá được sản phẩm của người học. Vai trò của người thầy “chắc chắn sẽ không mất đi nhưng ngày một thay đổi” (Ministry of Education and Training, 2023, p.1). Để góp phần đánh giá khả năng của ChatGPT trong việc thực hiện thay thế các nhiệm vụ của người học, đồng thời đánh giá khả năng am hiểu tiếng Việt của công cụ này, chúng tôi tiến hành khảo sát thử nghiệm để đánh giá khả năng của nó trong việc thực hiện nhiệm vụ nhận diện và sửa lỗi sử dụng tiếng Việt trong sách giáo khoa (SGK) để tìm câu trả lời cho nghi vấn liệu rằng công cụ này đã có thể thay thế hoạt động học tập của học sinh hay chưa. 2. PHƯƠNG PHÁP NGHIÊN CỨU 2.1. Đối tượng và tư liệu nghiên cứu Đối tượng nghiên cứu là khả năng sửa lỗi sử dụng tiếng Việt của công cụ ChatGPT, một ứng dụng trò chuyện được phát triển bởi Phòng thí nghiệm OpenAI (thuộc tổ chức phi lợi nhuận OpenAI Incorporated – OpenAI Inc.) đặt trụ sở tại Mỹ. Phiên bản được dùng là phiên bản vận hành ở tháng 5/2023. Tư liệu dùng để khảo sát là các bài tập sửa lỗi sử dụng tiếng Việt trong các mục Thực hành tiếng Việt xuất hiện trong phần Đọc của SGK Ngữ văn 10 các bộ Kết nối tri thức với cuộc sống, Chân trời sáng tạo và Cánh diều. Các quyển sách này được Bộ Giáo dục và Đào tạo phê duyệt theo Quyết định số 442/QĐ-BGDĐT được đưa vào sử dụng từ năm học 2022 – 2003 (Ministry of Education and Training, 2022, p.2). 373
Bài tập được chọn là hệ thống bài tập yêu cầu nhận diện và sửa lỗi sử dụng tiếng Việt, trong đó, nội dung được chọn để khảo sát là nội dung liên quan đến yêu cầu học sinh nhận diện, giải thích và sửa lỗi sử dụng ngôn ngữ (lỗi dùng từ, lỗi về trật tự từ, lỗi liên kết đoạn văn và văn bản) (Ministry of Education and Training, 2018). Ngoài ra, các sách giáo viên của ba bộ sách này cũng được lấy làm quy chuẩn tham chiếu để đánh giá tỉ lệ hoàn thành nhiệm vụ của công cụ ChatGPT. 2.2. Quy trình nghiên cứu Trước tiên, các bài tập thuộc nội dung sửa lỗi sử dụng tiếng Việt trong ba bộ sách được tập hợp lại. Lần lượt, chúng tôi dán cả lệnh đề lẫn ngữ liệu trong từng bài tập vào hộp thoại của công cụ ChatGPT. Chúng tôi sử dụng cùng một tài khoản, mỗi câu hỏi được hỏi 3 lần. Các kết quả do công cụ này trả về sẽ được sao chép lại, lưu trữ trong một tập tin chung. Để đảm bảo tính khách quan, các lệnh đề cơ bản được giữ nguyên (câu hỏi có được can thiệp bằng cách dùng dấu ngoặc kép khi nhập liệu để đánh dấu chữ in nghiêng được thể hiện trong SGK). Sau đó, chúng tôi tiến hành chấm điểm sản phẩm do ChatGPT thực hiện. Đáp án được lấy làm quy chuẩn chấm điểm là đáp án trong các mục hướng dẫn, gợi ý tổ chức hoạt động dạy học phần Thực hành tiếng Việt trong cách sách giáo viên. Để quá trình này diễn ra công bằng và khách quan, sản phẩm sẽ được 03 giáo viên đánh giá, trong đó, có một thạc sĩ dạy ngôn ngữ học ở đại học, hai giáo viên đang dạy Ngữ văn lớp 10 (một ở trường công lập và một ở trường tư thục). Từ kết quả thu được, chúng tôi tổng hợp, phân tích và đưa ra nhận xét về khả năng thực hiện giải bài tập sửa lỗi sử dụng tiếng Việt của công cụ ChatGPT. 3. KẾT QUẢ VÀ THẢO LUẬN 3.1. Khả năng nhận diện và sửa lỗi sử dụng tiếng Việt của ChatGPT Trong ba bộ SGK Ngữ văn 10, chúng tôi thống kê được 21 bài tập với 85 ngữ liệu liên quan đến lỗi sử dụng tiếng Việt. Đối với mỗi ngữ liệu, có từ 1 đến 3 28.7% lệnh đề yêu cầu thực hiện nhận diện lỗi, Đạt yêu cầu giải thích lỗi và đưa ra cách hướng dẫn hoặc trực tiếp sửa lỗi. Như vậy, có tất cả Không đạt 179 nhiệm vụ cần được thực hiện. Qua 3 71.3% yêu cầu lần đánh giá, ChatGPT thực hiện đạt yêu cầu được 52 nhiệm vụ, đạt tỉ lệ 28.7%, tương đương 2.9 điểm tính trên thang điểm 10. Kết quả trên cho thấy nếu đánh đồng ChatGPT với một học sinh lớp 10 thì nó Biểu đồ 1. Tỉ lệ trả lời đúng của ChatGPT khi chỉ hoàn thành nhiệm vụ ở mức dưới trung nhận diện và sửa lỗi sử dụng tiếng Việt trong 3 bình, nếu đem so với mức phân loại trong bộ SGK lớp 10 thang đánh giá học sinh phổ thông thì điểm này thuộc mức xếp loại “kém”. 374
So sánh với kết quả của một bài nghiên cứu khác thực hiện đánh giá khả năng của ChatGPT trong việc làm bài kiểm tra định kì môn Ngữ văn lớp 9 và lớp 12 vào tháng 11/2022 (Le et al., 2022, p.3), điểm số của ChatGPT trong khảo sát này còn thấp hơn (thấp hơn 1.4 điểm so với điểm thực hiện bài kiểm tra Ngữ văn lớp 9, thấp hơn 2.8 điểm so với điểm thực hiện bài kiểm tra Ngữ văn lớp 12). Bài nghiên cứu trên dùng dữ liệu là toàn bộ đề thi, kiến thức tiếng Việt trải rộng với các bài tập về thực hành tiếng Việt, đọc hiểu văn bản và thực hành viết văn, bài nghiên cứu này chỉ khảo sát riêng về việc sửa lỗi sử dụng tiếng Việt. Kết quả trên phản ánh khả năng phân tích lệnh đề và khả năng am hiểu tiếng Việt của công cụ ChatGPT. Về lệnh đề, có 12 trường hợp công cụ này bỏ qua mà không thực hiện. Có khi nó hiểu sai lệnh đề (trả lời “không có lỗi ngữ pháp” khi đề yêu cầu nhận diện hoặc sửa về “lỗi dùng từ”). Điều này chứng tỏ ChatGPT chưa được huấn luyện để thực hiện tỉ mỉ từng nhiệm vụ để đáp ứng khung đáp án của một đề thi.Về khả năng am hiểu tiếng Việt, có 33/85 (chiếm 38.8%) ngữ liệu có lỗi được ChatGPT nhận diện là sử dụng đúng chuẩn mực ngôn ngữ nên đã không phân tích hoặc sửa lỗi. Còn lại, hơn 30% nhiệm vụ không được hoàn thành là do ChatGPT nhận diện sai, giải thích sai hoặc sửa lại không thỏa đáng. Để giải thích cho những ưu và nhược điểm này, chúng ta có thể kể đến đặc điểm về nguồn dữ liệu và mức độ được huấn luyện của ChatGPT. Thứ nhất, nguồn dữ liệu của ChatGPT chỉ được cập nhật đến năm 2021. SGK lớp 10 được xuất bản sau thời điểm này là một bất lợi đối với ChatGPT. Thứ hai, ChatGPT hoạt động dựa vào lệnh đề và thông tin mà người sử dụng cung cấp. Nếu không được cung cấp cụ thể về ngữ cảnh (bối cảnh hẹp về thời gian, không gian, vai, mục đích giao tiếp,…), nó không biết dùng thông tin nào làm kiến thức nền để xử lí vấn đề đang bàn như con người. Thứ ba, mức độ được huấn luyện của ChatGPT chưa phù hợp với tiếng Việt. Ở đây, chúng ta cần kể đến sự khác biệt về loại hình ngôn ngữ – một trong những rào cản lớn đối với người học ngoại ngữ, đồng thời cũng là trở ngại đáng kể của việc phiên dịch, bất luận do người hay AI đảm nhiệm. ChatGPT được huấn luyện trên dữ liệu tiếng Anh và một số ngôn ngữ châu Âu vốn thuộc loại hình ngôn ngữ hòa kết, trong khi tiếng Việt thuộc loại hình ngôn ngữ đơn lập với những quy tắc vận hành ngữ pháp rất riêng. Trong đó, “trật tự từ” và “hư từ” (hai phương thức ngữ pháp trọng yếu của tiếng Việt) chỉ là hai phương thức phụ trợ trong ngôn ngữ hòa kết. Thứ tư, cần kể đến kho từ vựng của tiếng Việt, nơi có sự pha trộn giữa thuần Việt và Hán Việt, sự đa dạng về các hiện tượng đa nghĩa, đồng âm, đồng nghĩa, gần nghĩa, gần âm,… Hệ thống chữ viết ghi âm âm vị hiện tại cũng góp phần làm tăng lên số lượng từ ngữ đồng âm đồng tự, gây bất lợi cho trí tuệ nhân tạo. Như vậy, có thể thấy, ở thời điểm hiện tại, ChatGPT chỉ có khả năng hạn chế trong việc nhận diện và sửa lỗi sử dụng tiếng Việt vì những trở ngại nhất định về nguồn dữ liệu và cách mà nó được huấn luyện từ trước. 3.2. Sự chênh lệch trong khả năng của ChatGPT đối với việc sửa lỗi ở các cấp độ ngôn ngữ 375
45 Trong bài viết này, các lỗi ở “cấp độ từ vựng” bao gồm các lỗi về dùng từ 40 39.4 như dùng từ có lỗi về hình thức ngữ âm – 35 chính tả, ngữ nghĩa (nghĩa sở chỉ, nghĩa sở 30 biểu, nghĩa kết cấu và nghĩa sở dụng)46. 25 Các lỗi ở “cấp độ ngữ pháp” bao gồm lỗi 27.1 25.2 về sử dụng sai trật tự từ, hư từ trong tiếng 20 Tỉ lệ đáp án đúng Việt. Các lỗi ở “cấp độ văn bản” bao gồm 15 lỗi về liên kết và lỗi về mạch lạc47 trong 10 đoạn văn và trong văn bản. Biểu đồ 2 cho thấy kết quả đánh giá 5 khả năng của ChatGPT trong thực hiện 0 nhiệm vụ liên quan đến các cấp độ sử dụng Cấp độ từ Cấp độ Cấp độ Biểu đồ 2. Khả pháp văn bản sử dụng tiếng Việt vựng ngữ năng sửa lỗi tiếng Việt. Xét theo khả năng nhận diện, của ChatGPT ở các cấp độ ngôn ngữ giải thích và sửa lỗi theo từng cấp độ sử dụng ngôn ngữ của tiếng Việt, ChatGPT có khả năng sửa lỗi cao hơn ở cấp độ văn bản (3.9/10 điểm), thấp hơn ở cấp độ từ vựng (2.7/10 điểm) và thấp nhất ở cấp độ ngữ pháp (2.5/10 điểm). Cụ thể hơn, biểu đồ 3 cho thấy điểm đánh giá khả năng sửa lỗi theo các cấp độ sử dụng tiếng Việt trong từng bộ SGK được khảo sát. Sau đây, chúng tôi trình bày cụ thể việc nhận diện, phân tích và sửa lỗi trong từng mảng nhỏ của mỗi cấp độ. 7 6.5 6 5 4.4 4 Kết nối tri thức với cuộc sống 3.3 3.2 3.1 Chân trời sáng tạo 3 2.7 Cánh diều 2 2 1 0.9 0.3 0 CẤP ĐỘ TỪ VỰNG ĐỘ NGỮ PHÁP CẤP ĐỘ VĂN BẢN Biểu đồ 3. Điểm số thực hiện dạng bài tập sửa lỗi sử dụng tiếng Việt của ChatGPT xét theo các cấp độ ngôn ngữ trong từng bộ SGK lớp 10 46 Lỗi này, sách Kết nối tri thức với cuộc sống gọi là lỗi lặp từ, dùng từ không đúng nghĩa, không đúng phong cách; sách Chân trời sáng tạo gọi là lỗi lặp từ, dùng từ không đúng hình thức ngữ âm, không đúng nghĩa, không phù hợp với khả năng kết hợp, không phù hợp với kiểu văn bản; sách Cánh diều gọi là lỗi dùng từ về hình thức ngữ âm chính tả và ngữ nghĩa, không hợp với phong cách ngôn ngữ, và lặp nghĩa. 47 Thuật ngữ “mạch lạc” trong cả 3 bộ SGK lớp 10 đều được định hướng hiểu là liên kết về nội dung, khác với liên kết về hình thức – nội hàm của thuật ngữ “liên kết”. Trong bài viết này, chúng tôi cũng sử dụng thuật ngữ “mạch lạc”, “liên kết” với nghĩa như trên. 376
Ở cấp độ từ vựng: Xét về mặt ngữ âm – chính tả, ChatGPT không nhất quán trong việc chấp nhận cách viết phiên âm tên nước ngoài (chấp nhận Hê-ra-clét, Ăng-tê, Pa-lét-xơ-tin, I-xra-en, A-ma-dôn; không chấp nhận Cô-ba-y-a-sy Ít-sa, Chi-ô; riêng trường hợp hai-cư thì có lúc chấp nhận, có lúc không). Đồng thời, nó không chấp nhận hình thức lưỡng khả của chữ viết -i/-y khi thể hiện âm chính /i/ trong một số trường hợp theo sau phụ âm đầu /m-/, /h-/ (đánh giá mĩ miều, hi vọng sai chính tả). Xét về nghĩa sở chỉ và sở biểu, ChatGPT chỉ nhận diện được một bộ phận nhỏ các từ trùng lặp về nghĩa (nhận ra sự giao thoa về nghĩa giữa công bố và công khai, tác phẩm và tuyệt tác, nhưng không nhận ra lỗi trong trường hợp thi phẩm – bài thơ, hoạn lộ – con đường làm quan, thắng cảnh đẹp, đề cập đến vấn đề, tối hậu thư cuối cùng khi các hình vị/ từ này xuất hiện cạnh nhau). Công cụ này xử lí tốt một số lỗi về phân biệt nghĩa của một số từ ngữ (tài hoa – tài năng, thị giác – thị lực, quyết đoán – quyết liệt, ngộ sát – ngộ độc, lợi dụng – tận dụng), mặt khác lại mắc lỗi khi nhầm lẫn nghĩa của một số lượng từ ngữ khác, lớn hơn. Cụ thể là, ChatGPT không hiểu nghĩa của một số cụm từ ít gặp (sửa hoa triêu nhan, dây gàu thành hoa triệu nhan, dây gai), nhầm lẫn nhân danh với địa danh, hoặc nhân danh với không phải nhân danh (trường hợp Huyện Trìa, Cắm), nhầm lẫn nghĩa của một số từ (thăm quan (xem như tham quan), chín mùi (xem như chín muồi), lượng mưa (xem như mùa mưa), chứng minh (xem như minh chứng, bằng chứng). Và trong nhiều sự giải thích khác, ChatGPT sử dụng từ ngữ không có trong hệ thống từ vựng tiếng Việt hoặc từ ngữ thiếu chính xác về nghĩa (đề nghị sửa danh giá thành danh giấc, danh hiệu thay vì danh tiếng; đề nghị sửa song thân thành hai anh em, hai người anh em ruột, hai người thân). Xét về nghĩa sở dụng và nghĩa kết hợp, ChatGPT không nhận ra được lỗi khi một từ thuần Việt đặt trong mối quan hệ bình đẳng với một từ Hán Việt (trường hợp nông nghiệp và nghề đánh cá), không thấy sự bất thường trong một số tình huống giao tiếp, ví dụ như sử dụng khẩu ngữ trong văn bản hành chính (Tôi xin phiền Ban Giám hiệu xem xét và giải quyết vấn đề này giúp tôi), sử dụng cụm từ chúc tụng trong đám cưới để chúc tết (trường hợp bách niên giai lão). Công cụ này cũng không nhận ra được sự bất thường hoặc ngược logic trong diễn đạt sự tình (Khi đọc thơ trữ tình, người đọc cần quan tâm đến mạch sự kiện hơn là mạch cảm xúc trong bài thơ; Nhà thơ cho phép thơ giải phóng cảm xúc; Những bệnh nhân không cần phải mổ mắt, được khoa Dược tích cực pha chế, điều trị bằng những thứ thuốc tra mắt đặc biệt). Ở cấp độ ngữ pháp, ChatGPT tỏ ra rất hạn chế trong khả năng nhận diện, giải thích và sửa lỗi về trật tự từ và hư từ trong tiếng Việt. Công cụ này nhận diện được một số lỗi sử dụng định ngữ, bổ ngữ sai đối tượng (bộ phim nổi tiếng về ngày tận thế của Mỹ/bộ phim nổi tiếng của Mỹ về ngày tận thế, Tên trộm khai nhận đã thực hiện nhiều vụ trộm ở trụ sở công an/ Ở trụ sở công an, tên trộm khai nhận đã thực hiện nhiều vụ trộm); tuy nhiên, nó không thấy sự bất thường trong một số kết hợp sai trật tự (độc đáo gieo vần/gieo vần độc đáo), sai logic của một chuỗi hành động (Họ úp cái nón lên mặt, nằm xuống ngủ một giấc cho đến chiều). Nó cũng không nhận ra sự bất thường khi quan hệ từ, trợ từ đặt không đúng chỗ (giấu giếm với ba mẹ, những phẩm chất cao quý và tốt đẹp của nhân văn, Một bộ phận độc giả đông đảo đã không cảm nhận được cái mới ngay trong thơ Hàn Mặc Tử/Một bộ phận độc giả đông đảo đã không cảm nhận được ngay cái mới trong thơ Hàn Mặc Tử). Phụ từ các và những vốn khác biệt về cách kết hợp được ChatGPT xem là tương đương nhau trong các trường hợp được khảo sát, v.v. Ở cấp độ văn bản, so với hai cấp độ từ vựng và ngữ pháp, ChatGPT hoàn thành tốt hơn cả. Có trường hợp nó thực hiện khá tốt các nhiệm vụ được giao. Biểu đồ 3 cho thấy công cụ này có 377
khả năng đạt 6.5 điểm khi sửa lỗi về văn bản trong sách Kết nối tri thức với cuộc sống. Nó đã phân tích được nhiều lỗi trong logic sắp xếp ý, tách đoạn văn, duy trì chủ đề và liên kết các ý. Tuy nhiên, đối với những ngữ liệu cần chuẩn bị nhiều về văn cảnh như một tình huống truyện (Dưới bóng hoàng lan), tên của nhân vật (Cắm trong truyện Rẻo cao), một chi tiết trong một tác phẩm văn học Việt Nam (cảnh mùa thu trong chùm thơ thu của Nguyễn Khuyến), công cụ này lại tỏ ra bất lực (chỉ đạt được 0.3 điểm khi thực hiện dạng bài tập này trong bộ Cánh diều). Nhìn một cách tổng thể, ChatGPT có khả năng sửa lỗi cao hơn ở cấp độ văn bản, thấp hơn ở cấp độ từ vựng và ngữ pháp. Vấn đề khác biệt về loại hình ngôn ngữ cho phép chúng ta hiểu được nguyên nhân để ChatGPT gặp khó khăn nhiều nhất ở dạng bài tập sửa lỗi về ngữ pháp. Riêng ở cấp độ văn bản, sự sắp xếp các ý, logic trong duy trì và triển khai chủ đề trong viết đoạn văn, bài văn thì giữa các ngôn ngữ có nhiều điểm tương đồng hơn. Chính vì vậy mà khả năng sửa lỗi ở cấp độ văn bản của ChatGPT cũng cao hơn. 3.3. Sự chênh lệch về độ chính xác trong các lần sửa lỗi sử dụng tiếng Việt của ChatGPT 3.5 Trong thử nghiệm của chúng tôi, 3 3.3 qua 3 lần khảo sát, khi được yêu cầu sửa 2.5 một lỗi trong một câu, ChatGPT đưa ra 2.6 2.7 2 nhiều câu trả lời khác biệt, có khi mâu Số điểm đạt thuẫn với nhau. Biểu đồ 4 cho thấy mức 1.5 được 1 điểm đạt được chênh lệch qua các lần, cao 0.5 nhất là 3.3 điểm và thấp nhất là 2.6 điểm. 0 Điều này cho thấy tuy là sản phẩm nhân Lần 1 Lần 2 Lần 3 tạo nhưng ChatGPT không máy móc rập Biểu đồ 4. Số điểm đạt được của ChatGPT qua khuôn, nó tỏ ra linh động, “biết suy nghĩ” 3 lần khảo sát trong quá trình trả lời. Khi được hỏi lại, công cụ này cho rằng người sử dụng không hài lòng với đáp án nhận được, vì thế, nó ra sức chỉnh sửa để làm hài lòng người sử dụng. Kết quả này phản ánh việc ChatGPT đã sử dụng các mô hình khác nhau với những giả định khác nhau để xử lí dữ liệu. Đặc điểm này có lợi cho người sử dụng khi yêu cầu ChatGPT thực hiện các dạng bài tập yêu cầu diễn đạt, ví dụ như viết đoạn văn, bài luận, tóm tắt tài liệu,… nhưng lại bất lợi đối với khi xử lí bài tập dạng nhận diện lỗi và sửa lỗi sử dụng tiếng Việt. Việc đưa ra những câu trả lời theo kiểu “trống đánh xuôi, kèn thổi ngược” này sẽ gây bối rối cho người sử dụng, đặc biệt trong trường hợp người sử dụng chưa có nhiều vốn sống, tri thức nền về vấn đề đang trao đổi với ChatGPT. 4. KẾT LUẬN Trong những nỗ lực sử dụng trí tuệ nhân tạo để phục vụ cho cuộc sống, ChatGPT được đánh giá là một công cụ đắc lực, giúp con người tiết kiệm thời gian và công sức để tiếp thu, xử lí thông tin và tạo lập các sản phẩm ngôn ngữ và phi ngôn ngữ hữu ích. Thực hiện bài viết này, chúng tôi đã đi tìm câu trả lời cho nghi vấn về khả năng ứng dụng ChatGPT như một phương tiện dạy học nói chung, như một công cụ giúp người học nhận diện và sửa lỗi sử dụng tiếng Việt nói riêng. Kết quả nghiên cứu cho thấy, ở thời điểm hiện tại, công cụ này còn mắc rất nhiều lỗi và không được đánh giá là một công cụ hữu ích trong việc phát hiện và sửa lỗi sử dụng tiếng Việt. 378
Theo đó, người học không nên sử dụng ChatGPT để tham khảo câu trả lời vì ở lĩnh vực này, kết quả do ChatGPT thực hiện được đánh giá rất thấp. Ở cấp độ từ vựng và ngữ pháp, công cụ này xử lí được yêu cầu ở mức rất thấp, không đáng tin cậy. Riêng ở cấp độ văn bản, công cụ này được đánh giá là thực hiện tốt hơn khi được yêu cầu nhận diện và sửa lỗi. Vì vậy, ở cấp độ này, người sử dụng có thể tham khảo cách thức phân tích và sửa lỗi do ChatGPT cung cấp. Đối với những câu hỏi cần nhiều tri thức nền, bối cảnh thì cần cung cấp ngữ cảnh hẹp trong câu hỏi để đảm bảo ChatGPT hiểu đúng yêu cầu. Tuy nhiên, đây cũng chỉ được xem là một nguồn tham khảo, vì nhìn chung mức độ hoàn thành vẫn không đảm bảo đạt điểm trung bình của đáp án đưa ra. Thêm vào đó, khác với con người, công cụ này không nhất quán trong các lần trả lời khác nhau đối với cùng một nội dung câu hỏi. Trong tương lai, ChatGPT có thể sẽ được cải tiến và nâng cao khả năng sửa lỗi ngôn ngữ của mình nhờ vào khả năng cập nhật thông tin liên tục từ dữ liệu mới. Tuy nhiên, ở thời điểm hiện tại, nếu công cụ này có được sử dụng trong phân tích, sửa lỗi thì người dùng cần phải cân nhắc kĩ càng. Bài nghiên cứu này chưa tiến hành điều chỉnh các lệnh đề để thử nghiệm khả năng nhận diện và sửa lỗi sử dụng tiếng Việt của ChatGPT khi nhận được các dạng lệnh đề khác nhau. Bài viết này có thể được sử dụng làm căn cứ để để thực hiện các bài nghiên cứu khác trong việc thử nghiệm điều chỉnh lệnh đề sao cho ChatGPT thực hiện tốt hơn nhiệm vụ sửa lỗi sử dụng tiếng Việt./. TÀI LIỆU THAM KHẢO 1. Baidoo-Anu, D., & Owusu Ansah, L. (2023). Education in the era of generative artificial intelligence (AI): Understanding the potential benefits of ChatGPT in promoting teaching and learning. Available at SSRN 4337484. 2. ChatGPT: optimizing language models for dialogue [Internet]. OpenAI; c2023 [cited 2023 May 9]. Available from: https://openai.com/blog/chatgpt. 3. Cotton, D. R., Cotton, P. A., & Shipway, J. R. (2023). Chatting and cheating: Ensuring academic integrity in the era of ChatGPT. Innovations in Education and Teaching International, 1-12. 4. Kwon, T, (2023), Interfaces for Personalized Language Learning with Generative Language Models (Doctoral dissertation, Columbia University). 5. Le, A. V., Bui, T. D., Le, Q. Q., Vu, V. L. (2023). Khả năng thực hiện bài kiểm tra định kì môn Toán và môn Ngữ văn cấp Trung học của công cụ ChatGPT: Kết quả nghiên cứu và một số khuyến nghị ban đầu. Tạp chí Khoa học Giáo dục Việt Nam. Tập 19, số 02, năm 2023, pp. 1-10. 6. Ministry of Education and Training (2018). Chuong trinh giao duc pho thong mon Ngu van [General education curriculum in Language Arts and Literature]. Retrieved from http://rgep.moet.gov.vn/chuong-trinh-gdpt-moi/chuong-trinh-cac-mon-hoc/chuong-trinh-mon-ngu- van-4729.html 7. Ministry of Education and Training (2022). Quyet dinh phe duyet danh muc sach giao khoa lop 10 su dung trong co so giao duc pho thong [Decision Approving the list of 10th grade textbooks used in General education institutions]. Retrieved from https://moet.gov.vn/van-ban/vbdh/Pages/chi-tiet- van-ban.aspx?ItemID=3111 8. Ministry of Education and Training (2023). Toạ đàm “ChatGPT, Trí tuệ nhân tạo - Lợi ích và thách thức đối với giáo dục”, Retrieved from https://vov2.vov.vn/giao-duc-dao-tao/chatgpt-va-tri-tue- nhan-tao-khong-danh-mat-di-vi-the-vai-tro-cua-nguoi-thay-40299. 9. Phillips, T., Saleh, A., Glazewski, K. D., Hmelo-Silver, C. E., Mott, B., & Lester, J. C. (2022). Exploring the use of GPT-3 as a tool for evaluating text-based collaborative discourse. Companion Proceedings of the 12th, 54. 10. Zhai, X., (2022). ChatGPT User experience: Implications for education. (December 27, 2022). Available at SSRN: https://ssrn.com/abstract=4312418 or http://dx.doi.org/10.2139/ssrn.4312418. 379