372
ĐÁNH GIÁ KHẢ NĂNG THỰC HIỆN DẠNG BÀI TẬP SỬA LỖI
SỬ DỤNG TIẾNG VIỆT CỦA CÔNG CỤ CHATGPT
(KHẢO SÁT TRÊN BÀI TẬP THỰC HÀNH TIẾNG VIỆT LỚP 10
CHƯƠNG TRÌNH GIÁO DỤC PHỔ THÔNG 2018)
Đinh Thị Thu Phượng 1
1. Khoa Sư phạm, Trường Đại học Thủ Dầu Một.
TÓM TẮT
Việc ra đời của công cụ ChatGPT đã đưa đến nhiều cơ hội và thách thức đối với đội ngũ
quản lí và triển khai hoạt động giáo dục và đào tạo của mỗi quốc gia. Việc áp dụng ChatGPT
vào quá trình dạy và học đòi hỏi cả năng lực am hiểu cách thức vn hành của nó lẫn năng lực
sử dụng thông tin do nó cung cấp. Bài viết này tiếp cn công cụ ChatGPT từ góc độ khảo sát,
đánh giá khả năng thực hiện giải bài tp tiếng Việt ở ba bộ sách Ngữ văn 10 trong Chương
trình giáo dục phổ thông 2018. Kết quả nghiên cứu cho thấy ChatGPT đạt yêu cầu ở mức độ
dưới trung bình, có sự chênh lệch về điểm trong các lần thực hiện cùng một nhiệm vụ và có khả
năng sửa lỗi thấp ở cấp độ từ vựng, ngữ pháp và cao hơn ở cấp độ văn bản. Bài viết cung cấp
cái nhìn từ tổng quát đến chi tiết khả năng hoàn thành nhiệm vụ nhn diện và sửa lỗi sử dụng
tiếng Việt của ChatGPT qua việc giải bài tp tiếng Việt trong các sách Ngữ văn 10 để từ đó
các nhà quản lí giáo dục, người dạy và người học có thêm cơ sở để đánh giá và vn dụng công
cụ này trong dạy học, sao cho phù hợp với mục tiêu và nhu cầu của mình.
Từ khóa: Bài tp thực hành tiếng Việt, ChatGPT, sách giáo khoa Ngữ văn lớp 10, ứng
dụng AI trong dạy học.
1. ĐẶT VẤN ĐỀ
Trí tuệ nhân tạo (Artificial Intelligence - AI) được xem là một bước phát triển đột phá của
thời đại công nghệ 4.0 với sự đóng góp đáng ghi nhận trong nhiều lĩnh vực của cuộc sống. Trong
dòng chảy tất yếu ấy, sự ra đời của ChatGPT (Chat Generative Pre-training Transformer) – một
ứng dụng giúp con người trò chuyện với AI) ra đời vào cuối tháng 11/2022 đ chiếm được nhiều
sự quan tâm trên thế giới nói chung và ở Việt Nam nói riêng. Khác với các thuật toán của Google
(sàng lọc để đưa ra gợi ý về các nguồn thông tin để người dùng tự chọn lựa, tổng hợp), ChatGPT
sử dụng các mô hình ngôn ngữ được huấn luyện trước, phân tích dữ liệu đầu vào để tổng hợp và
đưa ra câu trả lời ngay lập tức. Nó có thể thực hiện các tác vụ cần đến trí thông minh của con
người như học tập, ra quyết định, giải quyết vấn đề, thậm chí dạy kèm và làm cô vấn (Zhai, 2022,
p.2). Ứng dụng này còn có thể trực tiếp tương tác được với người dùng, thậm chí chỉnh sửa câu
trả lời theo góp ý/tranh luận của người dùng. Tuy nhiên, vì là dữ liệu tổng hợp nên các câu trả lời
của ChatGPT vẫn được đánh giá là thiếu xác thực (Baidoo, 2023, p.14).
373
Riêng trong lĩnh vực giáo dục, ChatGPT đ và đang là mối quan tâm chung của nhiều nhà
hoạch định chính sách, nhà nghiên cứu, học giả, giáo viên và cả học sinh. Nhiều nhà khoa học
đang nghiên cứu thời cơ và thách thức do ứng dụng này mang lại. Một mặt, họ xem đây là một
phương tiện có thể áp dụng hiệu quả vào việc dạy ngôn ngữ nói riêng (Kwon, 2023, p.25) và dạy
học nói chung (Zhai, 2022, p.3-5), đồng thời có thể áp dụng vào việc đánh giá diễn ngôn (Philips,
2022, p.56). Mặt khác, người ta lại lo ngại về sự lạm dụng ChatGPT như một công cụ để đạo văn,
làm tiểu luận, tóm tắt tài liệu,… Đội ngũ giáo viên trên thế giới cũng đang phải vật lộn để chống
lại sự bùng nổ của ChatGPT trong trường học, và thực tế đ kiểm tra thấy sinh viên có sử dụng
công cụ này để gian lận trong thi cử (Cotton, 2023, p.8). Để tránh việc lạm dụng này, một số phần
mềm phát hiện văn bản AI đ ra đời như AI Text Classifier, OriginalityAI, Corrector App, AI
Content Detector, GPTZero,... Các nhà nghiên cứu đang đặt ra vấn đề về sự thay đổi trong cách
thức triển khai chương trình dạy học cũng như cách thức đánh giá bài thi một khi ChatGPT được
cho phép áp dụng vào dạy học (Baidoo, 2023, p.13-16).
Trước xu thế phát triển và hội nhập với thế giới phẳng của thời đại công nghệ số, việc ngăn
cản người học sử dụng ChatGPT sẽ đi ngược với bước phát triển chung. Chúng tôi quan niệm
rằng ChatGPT có thể được sử dụng như một công cụ để tối đa hóa việc dạy và học nếu người dạy
biết khai thác công cụ này một cách an toàn, mang tính xây dựng để tổ chức dạy học và hỗ trợ
quá trình học tập của học sinh, sinh viên. Vì vậy, hành trang cần chuẩn bị cho đội ngũ hoạt động
trong lĩnh vực giáo dục là sự am hiểu về cách thức mà ChatGPT vận hành, khả năng của nó đối
với việc thực hiện các nhiệm vụ thay thế cho người học hiện nay để có thể kiểm soát được hoạt
động dạy học và đánh giá được sản phẩm của người học. Vai trò của người thầy “chắc chắn sẽ
không mất đi nhưng ngày một thay đổi” (Ministry of Education and Training, 2023, p.1).
Để góp phần đánh giá khả năng của ChatGPT trong việc thực hiện thay thế các nhiệm vụ
của người học, đồng thời đánh giá khả năng am hiểu tiếng Việt của công cụ này, chúng tôi tiến
hành khảo sát thử nghiệm để đánh giá khả năng của nó trong việc thực hiện nhiệm vụ nhận diện
và sửa lỗi sử dụng tiếng Việt trong sách giáo khoa (SGK) để tìm câu trả lời cho nghi vấn liệu
rằng công cụ này đ có thể thay thế hoạt động học tập của học sinh hay chưa.
2. PHƯƠNG PHÁP NGHIÊN CỨU
2.1. Đối tượng và tư liệu nghiên cứu
Đối tượng nghiên cứu là khả năng sửa lỗi sử dụng tiếng Việt của công cụ ChatGPT, một
ứng dụng trò chuyện được phát triển bởi Phòng thí nghiệm OpenAI (thuộc tổ chức phi lợi nhuận
OpenAI Incorporated – OpenAI Inc.) đặt trụ sở tại Mỹ. Phiên bản được dùng là phiên bản vận
hành ở tháng 5/2023.
Tư liệu dùng để khảo sát là các bài tập sửa lỗi sử dụng tiếng Việt trong các mục Thực
hành tiếng Việt xuất hiện trong phần Đọc của SGK Ngữ văn 10 các bộ Kết nối tri thức với cuộc
sống, Chân trời sáng tạo và Cánh diều. Các quyển sách này được Bộ Giáo dục và Đào tạo phê
duyệt theo Quyết định số 442/QĐ-BGDĐT được đưa vào sử dụng từ năm học 2022 – 2003
(Ministry of Education and Training, 2022, p.2).
374
Bài tập được chọn là hệ thống bài tập yêu cầu nhận diện và sửa lỗi sử dụng tiếng Việt,
trong đó, nội dung được chọn để khảo sát là nội dung liên quan đến yêu cầu học sinh nhận diện,
giải thích và sửa lỗi sử dụng ngôn ngữ (lỗi dùng từ, lỗi về trật tự từ, lỗi liên kết đoạn văn và văn
bản) (Ministry of Education and Training, 2018).
Ngoài ra, các sách giáo viên của ba bộ sách này cũng được lấy làm quy chuẩn tham chiếu
để đánh giá tỉ lệ hoàn thành nhiệm vụ của công cụ ChatGPT.
2.2. Quy trình nghiên cứu
Trước tiên, các bài tập thuộc nội dung sửa lỗi sử dụng tiếng Việt trong ba bộ sách được
tập hợp lại. Lần lượt, chúng tôi dán cả lệnh đề lẫn ngữ liệu trong từng bài tập vào hộp thoại của
công cụ ChatGPT. Chúng tôi sử dụng cùng một tài khoản, mỗi câu hỏi được hỏi 3 lần. Các kết
quả do công cụ này trả về sẽ được sao chép lại, lưu trữ trong một tập tin chung. Để đảm bảo
tính khách quan, các lệnh đề cơ bản được giữ nguyên (câu hỏi có được can thiệp bằng cách
dùng dấu ngoặc kép khi nhập liệu để đánh dấu chữ in nghiêng được thể hiện trong SGK).
Sau đó, chúng tôi tiến hành chấm điểm sản phẩm do ChatGPT thực hiện. Đáp án được lấy
làm quy chuẩn chấm điểm là đáp án trong các mục hướng dẫn, gợi ý tổ chức hoạt động dạy học
phần Thực hành tiếng Việt trong cách sách giáo viên. Để quá trình này diễn ra công bằng và khách
quan, sản phẩm sẽ được 03 giáo viên đánh giá, trong đó, có một thạc sĩ dạy ngôn ngữ học ở đại
học, hai giáo viên đang dạy Ngữ văn lớp 10 (một ở trường công lập và một ở trường tư thục).
Từ kết quả thu được, chúng tôi tổng hợp, phân tích và đưa ra nhận xét về khả năng thực
hiện giải bài tập sửa lỗi sử dụng tiếng Việt của công cụ ChatGPT.
3. KẾT QUẢ VÀ THẢO LUẬN
3.1. Khả năng nhận diện và sửa lỗi sử dụng tiếng Việt của ChatGPT
Trong ba bộ SGK Ngữ văn 10,
chúng tôi thống kê được 21 bài tập với 85
ngữ liệu liên quan đến lỗi sử dụng tiếng
Việt. Đối với mỗi ngữ liệu, có từ 1 đến 3
lệnh đề yêu cầu thực hiện nhận diện lỗi,
giải thích lỗi và đưa ra cách hướng dẫn
hoặc trực tiếp sửa lỗi. Như vậy, có tất cả
179 nhiệm vụ cần được thực hiện. Qua 3
lần đánh giá, ChatGPT thực hiện đạt yêu
cầu được 52 nhiệm vụ, đạt tỉ lệ 28.7%,
tương đương 2.9 điểm tính trên thang điểm
10. Kết quả trên cho thấy nếu đánh đồng
ChatGPT với một học sinh lớp 10 thì nó
chỉ hoàn thành nhiệm vụ ở mức dưới trung
bình, nếu đem so với mức phân loại trong
thang đánh giá học sinh phổ thông thì điểm
này thuộc mức xếp loại “km”.
28.7%
71.3%
Đạt yêu cầu
Không đạt
yêu cầu
Biểu đồ 1. Tỉ lệ trả lời đúng của ChatGPT khi
nhn diện và sửa lỗi sử dụng tiếng Việt trong 3
bộ SGK lớp 10
375
So sánh với kết quả của một bài nghiên cứu khác thực hiện đánh giá khả năng của
ChatGPT trong việc làm bài kiểm tra định kì môn Ngữ văn lớp 9 và lớp 12 vào tháng 11/2022
(Le et al., 2022, p.3), điểm số của ChatGPT trong khảo sát này còn thấp hơn (thấp hơn 1.4 điểm
so với điểm thực hiện bài kiểm tra Ngữ văn lớp 9, thấp hơn 2.8 điểm so với điểm thực hiện bài
kiểm tra Ngữ văn lớp 12). Bài nghiên cứu trên dùng dữ liệu là toàn bộ đề thi, kiến thức tiếng
Việt trải rộng với các bài tập về thực hành tiếng Việt, đọc hiểu văn bản và thực hành viết văn,
bài nghiên cứu này chỉ khảo sát riêng về việc sửa lỗi sử dụng tiếng Việt.
Kết quả trên phản ánh khả năng phân tích lệnh đề và khả năng am hiểu tiếng Việt của
công cụ ChatGPT. Về lệnh đề, có 12 trường hợp công cụ này bỏ qua mà không thực hiện. Có
khi nó hiểu sai lệnh đề (trả lời “không có lỗi ngữ pháp” khi đề yêu cầu nhận diện hoặc sửa về
“lỗi dùng từ”). Điều này chứng tỏ ChatGPT chưa được huấn luyện để thực hiện tỉ mỉ từng nhiệm
vụ để đáp ứng khung đáp án của một đề thi.Về khả năng am hiểu tiếng Việt, có 33/85 (chiếm
38.8%) ngữ liệu có lỗi được ChatGPT nhận diện là sử dụng đúng chuẩn mực ngôn ngữ nên đ
không phân tích hoặc sửa lỗi.
Còn lại, hơn 30% nhiệm vụ không được hoàn thành là do ChatGPT nhận diện sai, giải
thích sai hoặc sửa lại không thỏa đáng.
Để giải thích cho những ưu và nhược điểm này, chúng ta có thể kể đến đặc điểm về nguồn
dữ liệu và mức độ được huấn luyện của ChatGPT. Thứ nhất, nguồn dữ liệu của ChatGPT chỉ
được cập nhật đến năm 2021. SGK lớp 10 được xuất bản sau thời điểm này là một bất lợi đối
với ChatGPT. Thứ hai, ChatGPT hoạt động dựa vào lệnh đề và thông tin mà người sử dụng
cung cấp. Nếu không được cung cấp cụ thể về ngữ cảnh (bối cảnh hẹp về thời gian, không gian,
vai, mục đích giao tiếp,…), nó không biết dùng thông tin nào làm kiến thức nền để xử lí vấn đề
đang bàn như con người. Thứ ba, mức độ được huấn luyện của ChatGPT chưa phù hợp với
tiếng Việt. Ở đây, chúng ta cần kể đến sự khác biệt về loại hình ngôn ngữ – một trong những
rào cản lớn đối với người học ngoại ngữ, đồng thời cũng là trở ngại đáng kể của việc phiên
dịch, bất luận do người hay AI đảm nhiệm. ChatGPT được huấn luyện trên dữ liệu tiếng Anh
và một số ngôn ngữ châu Âu vốn thuộc loại hình ngôn ngữ hòa kết, trong khi tiếng Việt thuộc
loại hình ngôn ngữ đơn lập với những quy tắc vận hành ngữ pháp rất riêng. Trong đó, “trật tự
từ” và “hư từ” (hai phương thức ngữ pháp trọng yếu của tiếng Việt) chỉ là hai phương thức phụ
trợ trong ngôn ngữ hòa kết. Thứ tư, cần kể đến kho từ vựng của tiếng Việt, nơi có sự pha trộn
giữa thuần Việt và Hán Việt, sự đa dạng về các hiện tượng đa nghĩa, đồng âm, đồng nghĩa, gần
nghĩa, gần âm,… Hệ thống chữ viết ghi âm âm vị hiện tại cũng góp phần làm tăng lên số lượng
từ ngữ đồng âm đồng tự, gây bất lợi cho trí tuệ nhân tạo.
Như vậy, có thể thấy, ở thời điểm hiện tại, ChatGPT chỉ có khả năng hạn chế trong việc
nhận diện và sửa lỗi sử dụng tiếng Việt vì những trở ngại nhất định về nguồn dữ liệu và cách
mà nó được huấn luyện từ trước.
3.2. Sự chênh lệch trong khả năng của ChatGPT đối với việc sửa lỗi ở các cấp độ ngôn ngữ
376
Trong bài viết này, các lỗi ở “cấp
độ từ vựng” bao gồm các lỗi về dùng từ
như dùng từ có lỗi về hình thức ngữ âm –
chính tả, ngữ nghĩa (nghĩa sở chỉ, nghĩa sở
biểu, nghĩa kết cấu và nghĩa sở dụng)46.
Các lỗi ở “cấp độ ngữ pháp” bao gồm lỗi
về sử dụng sai trật tự từ, hư từ trong tiếng
Việt. Các lỗi ở “cấp độ văn bản” bao gồm
lỗi về liên kết và lỗi về mạch lạc47 trong
đoạn văn và trong văn bản.
Biểu đồ 2 cho thấy kết quả đánh giá
khả năng của ChatGPT trong thực hiện
nhiệm vụ liên quan đến các cấp độ sử dụng
tiếng Việt. Xét theo khả năng nhận diện,
giải thích và sửa lỗi theo từng cấp độ sử
dụng ngôn ngữ của tiếng Việt, ChatGPT
có khả năng sửa lỗi cao hơn ở cấp độ văn
bản (3.9/10 điểm), thấp hơn ở cấp độ từ
vựng (2.7/10 điểm) và thấp nhất ở cấp độ
ngữ pháp (2.5/10 điểm).
Cụ thể hơn, biểu đồ 3 cho thấy điểm đánh giá khả năng sửa lỗi theo các cấp độ sử dụng
tiếng Việt trong từng bộ SGK được khảo sát.
Sau đây, chúng tôi trình bày cụ thể việc nhận diện, phân tích và sửa lỗi trong từng mảng
nhỏ của mỗi cấp độ.
46 Lỗi này, sách Kết nối tri thức với cuộc sống gọi là lỗi lặp từ, dùng từ không đúng nghĩa, không đúng phong cách;
sách Chân trời sáng tạo gọi là lỗi lặp từ, dùng từ không đúng hình thức ngữ âm, không đúng nghĩa, không phù
hợp với khả năng kết hợp, không phù hợp với kiểu văn bản; sách Cánh diều gọi là lỗi dùng từ về hình thức ngữ
âm chính tả và ngữ nghĩa, không hợp với phong cách ngôn ngữ, và lặp nghĩa.
47 Thuật ngữ “mạch lạc” trong cả 3 bộ SGK lớp 10 đều được định hướng hiểu là liên kết về nội dung, khác với liên
kết về hình thức – nội hàm của thuật ngữ “liên kết”. Trong bài viết này, chúng tôi cũng sử dụng thuật ngữ “mạch
lạc”, “liên kết” với nghĩa như trên.
0.9
2.7
6.5
3.2
2
4.4
3.3 3.1
0.3
0
1
2
3
4
5
6
7
C Ấ P Đ Ộ T Ừ V Ự N G Đ Ộ N G Ữ P H Á P C Ấ P Đ Ộ V Ă N B Ả N
Kết nối tri thức với cuộc sống
Chân trời sáng tạo
Cánh diều
27.1
25.2
39.4
0
5
10
15
20
25
30
35
40
45
Cấp độ từ
vựng
Cấp độ
ngữ pháp
Cấp độ
văn bản
Tỉ lệ đáp án đúng
Biểu đồ 3. Điểm số thực hiện dạng bài tp sửa lỗi sử dụng tiếng Việt của ChatGPT xét theo
các cấp độ ngôn ngữ trong từng bộ SGK lớp 10