NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 423
...................................................................................................................................................................................
ỨNG DỤNG MÔ HÌNH DỊCH MÁY THỐNG KÊ
TRONG BÀI TOÁN DỊCH VĂN BẢN
CHỮ QUỐC NGỮ VIỆT NAM SANG CHỮ HÁN NÔM
NGÔ THÁI PHỤNG* - ĐẶNG MINH NHỰT**
Tóm tắt: Chữ viết được xem là đại diện cho ngôn ngữ bởi nó in đậm dấu vết chặng
đường mà một dân tộc đã đi qua. Trong lịch sử Việt Nam, có lẽ chữ Hán Nôm và chữ Quốc
Ngữ là hai chữ viết đặc trưng nhất và có gốc gác Việt Nam nhất. Nếu chữ Quốc Ngữ là chữ
viết chính thức hiện nay và được xem như một minh chứng cho độc lập và chủ quyền của quốc
gia này, thì chữ Hán Nôm lại được xem như chữ viết đầu tiên của riêng người Việt sau gần
1.000 năm Bắc thuộc và là nền tảng mở đường cho chữ Quốc Ngữ sau này. Vì vậy, việc phục
sinh và duy trì để giá trị tinh thần ấy không bị thất truyền là vô cùng quan trọng. Chúng tôi
mong muốn tạo điều kiện cho người Việt Nam hiện đại tiếp cận đến giá trị tinh thần xa xưa ấy
dễ dàng hơn thông qua việc cung cấp hướng phát triển cho bài toán dịch ngược từ chữ Quốc
Ngữ sang chữ Hán Nôm. Bài báo này ứng dụng và khảo sát mô hình dịch máy thống kê Moses
trong bài toán dịch ngược. Ngữ liệu huấn luyện bao gồm 26.000 cặp câu Quốc Ngữ - Hán Nôm
song song được thu thập từ các văn bản truyện, thơ, văn, bản tụng… trên trang web
nomfoundatinon.org. Kết quả cho thấy mô hình baseline của Moses đem lại được kết quả ổn
định hơn so với một mô hình dịch ngược state-of-the-art (SOTA) khác hiện nay. Điều này mở
ra thêm hướng phát triển hứa hẹn đối với mô hình Moses để phục vụ cho bài toán dịch ngược
này. Từ khóa: dịch ngược, chữ Quốc Ngữ, chữ Hán Nôm, dịch máy thống kê, Moses SMT,
xử lý ngôn ngữ tự nhiên.
I. GIỚI THIỆU
Có thể nói rằng nền văn hoá Việt Nam luôn có bước chuyển mình sâu đậm qua mỗi
thời kì mà một chữ viết mới xuất hiện. Hiện nay, Tiếng Việt - hay còn được gọi là Chữ Quốc
Ngữ - là ngôn ngữ và chữ viết chính thức mà dân tộc Việt Nam từ tận sau năm 1882 cho đến
thời điểm hiện tại đều sử dụng rộng rãi trong giao tiếp, ghi chép thường ngày và cả trong học
thuật, hành chính. Tuy nhiên, chữ Hán Nôm vẫn là một loại chữ viết mang giá trị tinh thần và
giá trị văn hoá cao của người Việt bởi nó là kết tinh của tiếng Việt cổ và chữ Hán nhưng không
làm mất đi gốc gác của người Việt xưa. Vì vậy, bên cạnh sự cần thiết của việc dịch từ chữ Hán
Nôm sang chữ Quốc Ngữ để khai thác giá trị và kiến thức của người xưa, việc dịch ngược
* Trường Đại học Khoa học Tự nhiên - ĐHQG TP. HCM; Email: ntphung21@apcs.fitus.edu.vn
** Trường Đại học Khoa học Tự nhiên - ĐHQG TP. HCM; Email: dmnhut22@apcs.fitus.edu.vn
424 | KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2024
...................................................................................................................................................................................
cũng quan trọng không kém trong công tác phục sinh và duy trì đứa con tinh thần của riêng
dân tộc Việt Nam.
Trước khi bước vào giai đoạn ứng dụng mô hình, chúng tôi nghiên cứu và tìm kiếm
một số công trình nghiên cứu liên quan, đánh giá các công cụ, mô hình tốt nhật hiện có để xác
định tính đúng đắn và hướng đi của bài toán này.
Sau đó, chúng tôi sẽ trình bày cơ sở nghiên cứu. Trong đó, chúng tôi trình bày tổng
quan cơ chế hoạt động của dịch máy thống kê và công cụ Moses SMT.
Trong phần chính của bài báo, chúng tôi trình bày phương pháp nghiên cứu gồm những
phần sau:
1) Lý do chúng tôi chọn Moses cho bài toán dịch ngược
2) Mô tả về bộ ngữ liệu Quốc Ngữ - Hán Nôm
3) Quy trình cài đặt mô hình baseline
4) Quy trình tiền xử lí dữ liệu
5) Quy trình huấn luyện mô hình
6) Quy trình đánh giá mô hình
Tiếp theo, chúng tôi sẽ trình bày kết quả thí nghiệm, đánh giá và so sánh hiệu quả dịch
của Moses với một mô hình SOTA khác hiện có trên cùng một bộ ngữ liệu và nêu lên một số
yếu tố hạn chế để khắc phục và ưu điểm để tận dụng để có hướng phát triển tốt hơn trong
tương lai.
Cuối cùng để kết luận bài báo, chúng tôi sẽ tóm tắt các điểm chính nhất của quy trình
ứng dụng Moses và nhấn mạnh những điểm sáng triển vọng cho bài toán dịch ngược. Chúng
tôi mong muốn bài báo là một đóng góp tích cực trong công tác phục sinh và bảo tồn chữ Hán
Nôm ở Việt Nam.
II. NHỮNG NGHIÊN CỨU LIÊN QUAN
Các nghiên cứu về dịch máy thống kê đã đạt được những tiến bộ đáng kể, đặc biệt đối
với các ngôn ngữ ít tài nguyên. Tuy không cùng ngôn ngữ nguồn - đích với bài báo này, nghiên
cứu của Suraiya Jabin và cộng sự (2013) đã hướng dẫn quy trình xây dựng một hệ thống dịch
máy từ tiếng Anh sang tiếng Khmer bằng công cụ Moses với bộ ngữ liệu vỏn vẹn 5.000 cặp
câu. Kết quả cho thấy Moses có khả năng xử lý các ngôn ngữ ít phổ biến dù dữ liệu song ngữ
bị hạn chế. Tuy nhiên, độ chính xác vẫn còn phụ thuộc nhiều vào chất lượng và kích thước của
bộ ngữ liệu.
Ngoài ra, trong một lĩnh vực khác không thuần về ngôn ngữ hay chữ viết, Hudík và
Ruopp (2011) đã nghiên cứu tích hợp công cụ Moses vào các hệ thống hỗ trợ dịch thuật
trong ngành nội đại hoá. Họ đã phát triển một quy trình xử lý dữ liệu Translation Memory
(TM) thông qua định dạng XLIFF để tạo điều kiện thuận lợi cho việc áp dụng Moses trong các
dự án dịch thuật phức tạp. Nghiên cứu này cũng đã mở ra hướng tiếp cận mới cho việc tích
hợp vào các quy trình dịch thuật phi truyền thống, giúp tối ưu hoá hiệu quả làm việc.
NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 425
...................................................................................................................................................................................
Gần đây, liên quan đến đề tài bài báo này nhất, một công cụ dịch trực tuyến (CLC
Phiên dịch Hán Nôm) do Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia TP.HCM
phát triển đã cho phép dịch tự động từ chữ Quốc ngữ sang chữ Hán Nôm dựa trên mô hình T5
(Text-To-Text Transfer Transformer). Mô hình T5 có khả năng học sâu và hiểu ngữ cảnh, giúp
nâng cao chất lượng dịch giữa tiếng Việt hiện đại và chữ Hán Nôm. Tuy nhiên, công cụ này
có một số hạn chế về việc đảm bảo giữ đúng độ dài câu và số lượng chữ khi dịch. Vì vậy,
chúng tôi xem công cụ này là đối trọng với mô hình Moses mà chúng tôi khảo sát. Hạn chế
trên cũng sẽ được đề cập và bàn luận thêm ở phần đánh giá và so sánh kết quả giữa Moses với
công cụ CLC, nhằm đánh giá hiệu suất của hai phương pháp này đối với bài toán dịch ngược.
III. CƠ SỞ NGHIÊN CỨU
1. Dịch máy thống kê (Statistical Machine Translation - SMT)
Dịch máy thống kê (SMT) là một phương pháp dịch tự động, dựa trên các mô hình xác
suất được học từ dữ liệu song ngữ. Ý tưởng chính của SMT là dựa trên các quy luật thống kê
để tạo ra bản dịch từ ngôn ngữ nguồn sang ngôn ngữ đích: mục tiêu chính yếu là tìm bản dịch
t tối ưu sao cho xác suất p(t|s) là lớn nhất, trong đó s là câu ngôn ngữ nguồn. SMT hoạt động
dựa trên giả định rằng việc dịch là một chuỗi các quyết định nhỏ:
1) Dịch từ (word translation)
2) Sắp xếp thứ tự từ (reordering)
Các bước cơ bản để xây dựng hệ thống SMT bao gồm:
1) Xây dựng mô hình dịch (translation model)
2) Ước lượng tham số (parameter estimation)
3) Giải mã (Decoding)
Các mô hình SMT ban đầu, chẳng hạn như mô hình dựa trên từ (word-based), chỉ dịch
từng từ một cách độc lập. Tuy nhiên, sau này các nghiên cứu đã phát triển lên mô hình dịch
dựa trên cụm từ (phrase-based), cho phép dịch các cụm từ liên tiếp thay vì từng từ như ban
đầu. Điều này giúp mang lại kết quả dịch tốt hơn, đặc biệt trong việc xử lý các ngôn ngữ có
cấu trúc khác nhau về thứ tự từ.
Các hệ thống SMT cần một lượng lớn dữ liệu song ngữ để có thể huấn luyện các mô
hình xác suất tốt nhất. Các dữ liệu song ngữ bao gồm những cặp câu song song được căn chỉnh
và SMT sẽ dùng những mô hình ngôn ngữ để nắm bắt quy luật và học được ngữ cảnh của ngôn
ngữ đích. Ngoài ra, các mô hình SMT hiện đại thường sử dụng các thuật toán tìm kiếm để tìm
được bản dịch tốt nhất trong một không gian dịch vô cùng lớn. Mặc dù SMT đã đạt được
những thành tựu đáng kể trong dịch tự động, phương pháp này vẫn gặp thách thức lớn về việc
xử lý loại ngôn ngữ có kích thước dữ liệu hạn chế hoặc có cấu trúc ngôn ngữ phức tạp.
2. Công cụ Moses SMT
Moses là một trong những công cụ mã nguồn mở phổ biến nhất dựa trên lý thuyết SMT
phrase-based, được phát triển bởi Phillip Koehn. Moses được tạo ra nhằm xóa đi rào cản cho
426 | KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2024
...................................................................................................................................................................................
các nhà nghiên cứu muốn tiếp cận với SMT. Moses cho phép xây dựng và thực hiện các hệ
thống dịch máy cho bất kì cặp ngôn ngữ nào dựa theo hướng dẫn trên website chính thức
http://www2.statmt.org/moses/.
Moses thực hiện dịch cụm từ bằng cách nhận vào câu nguồn và tìm ra câu đích có xác
suất cao nhất dựa trên mô hình xác suất. Quá trình này bao gồm: phân đoạn câu nguồn thành
những cụm từ liên tục, dịch từng cụm, và sắp xếp lại các cụm từ đã dịch cho phù hợp với ngôn
ngữ đích.
Điểm nổi bật của Moses là tính linh hoạt và khả năng mở rộng, với cấu trúc phần mềm
mô-đun và thiết kế hướng đối tượng, giúp các nhà nghiên cứu dễ dàng phát triển hoặc tùy
chỉnh các thành phần trong hệ thống dịch. Ngoài ra, Moses không chỉ hỗ trợ việc dịch các câu
đơn giản 1-1 mà còn hỗ trợ dịch mạng lưới từ (lattice networks) và đưa ra kết quả dưới dạng
danh sách các bản dịch tốt nhất (n-best lists).
Nhờ tính linh hoạt và khả năng mở rộng, Moses có thể trở thành công cụ lý tưởng để
nghiên cứu và so sánh với các mô hình dịch máy hiện đại khác, chẳng hạn như các mô hình
học sâu như T5.
IV. PHƯƠNG PHÁP NGHIÊN CỨU
1. Vì sao là Moses SMT?
Thế kỷ 17, các giáo sĩ Kito Giáo Dòng Tên đến Việt Nam truyền giáo và phải học theo
chữ Nôm của đất nước ta. Vì chữ Nôm thời bấy giờ vốn dĩ rất khó học đối với người Việt, đối
với người ngoại quốc xa lạ với chữ tượng hình thì chữ Nôm lại càng khó hơn. Vì vậy, các vị
giáo sĩ đã Latin hóa tiếng Việt bằng mẫu tự Latin để soạn những kinh sách của đạo để các con
chiên có thể học, đọc theo và truyền lại. Vì tính chất biểu âm của chữ Nôm mà việc Latin hóa
này trở nên dễ dàng hơn. Các giáo sĩ đã biến đổi loại chữ gốc Hán có yếu tố biểu âm ấy thành
thứ chữ biểu âm Latin hóa dễ học và dễ dùng hơn. Qua điều này chúng tôi rút ra được kết luận
rằng chữ Hán Nôm và chữ Quốc Ngữ có tính tương đồng nhau về số lượng âm tiết và cách
phát âm. Đặc điểm này chính là cơ sở quan trọng cho việc lựa chọn Moses. Moses rất phù hợp
đối với bài toán dịch ngược cho cặp chữ viết Quốc Ngữ - Hán Nôm vì những đặc điểm vượt
trội sau:
a) Ràng buộc 1-1
Điều này có nghĩa là mỗi từ hoặc cụm từ trong câu nguồn đều được ánh xạ tương ứng
với một từ hoặc cụm từ trong câu đích mà không có sự chia nhỏ thêm. Đặc tính này rất quan
trọng trong bài toán dịch ngược, đặc biệt giữa các hệ thống chữ viết có sự tương đồng cao như
chữ Hán Nôm và chữ Quốc Ngữ. Cả hai đều có cấu trúc âm tiết gần như giống nhau, chỉ khác
nhau về mặt chữ viết: một bên là hệ chữ Hán và bên còn lại là hệ chữ Latinh. Điều này đảm
bảo độ dài của câu đích được dịch bằng với độ dài của câu nguồn.
b) Hạn chế việc đảo trật tự từ
NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 427
...................................................................................................................................................................................
Như đã đề cập ở trên, chữ Hán Nôm và chữ Quốc Ngữ chỉ khác nhau về mặt chữ viết
và có cấu trúc âm tiết rất ít khi khác nhau. Vì vậy, việc thay đổi trật từ trong câu đích so với
câu nguồn là hầu như không cần thiết. Việc này Moses hoàn toàn có thể học và nhận biết sự ít
thay đổi về trật từ này trong quá trình xây dựng hệ thống dịch qua bước học trật tự từ
(reordering) từ bộ ngữ liệu được cung cấp.
2. Bộ ngữ liệu
Trong nghiên cứu này, chúng tôi sử dụng bộ ngữ liệu Quốc Ngữ - Hán Nôm song song
được thu thập từ trang web nomfoundation.org. Đây là trang web lưu trữ một lượng
lớn các tác phẩm văn học cổ điển của Việt Nam như: Truyện Kiều, Chinh phụ Ngâm
Khúc, Lục Vân Tiên,… Ngoài ra trang web còn có những tài liệu bản kinh tụng của các nhà
chùa. Tất cả những tài liệu trên đều có nguồn gốc trong khoảng thế kỷ 17-18 và đã có sẵn
phiên bản chữ Hán Nôm và chữ Quốc Ngữ. Sau khi thu thập và tập hợp, chúng tôi tạo nên
được bộ ngữ liệu gồm 26.370 cặp câu Quốc Ngữ - Hán Nôm song song. Đây là số lượng vừa
đủ để có thể đạt được một kết quả khả quan ban đầu.
Về quy trình phân chia bộ ngữ liệu, đầu tiên chúng tôi xáo trộn ngẫu nhiên thứ tự các
cặp câu với nhau nhằm đảm báo tính ngẫu nhiên và giảm thiểu thiên lệch trong quá trình huấn
luyện mô hình. Sau đó, bộ ngữ liệu được chia theo tỉ lệ 6:2:2 cho ba tập: huấn luyện (15.822
cặp câu), tinh chỉnh (5.274 cặp câu), và kiểm thử (5.274 cặp câu). Cách chia này đảm bảo tính
cân bằng giữa các giai đoạn phát triển mô hình, giúp đánh giá chính xác hiệu năng của hệ
thống dịch ngược.
3. Quy trình cài đặt mô hình baseline
Từ phần này trở đi, chúng tôi sẽ trình bày tổng quát từ quy trình cài đặt Moses cho đến
quy trình đánh giá hiệu quả của mô hình Moses SMT. Chúng tôi đã cài đặt và sử dụng thành
công Moses dựa theo các bước hướng dẫn hữu ích trên trang web
http://www2.statmt.org/moses/?n=Moses.Baseline. Về kĩ thuật, chúng tôi dùng môi trường
Ubuntu 22.04 được cài đặt trên máy ảo có RAM 10GB, Chipset PIIX3, và có 6 CPU. Đầu tiên,
theo hướng dẫn chuẩn bị môi trường trên trang web
https://www2.statmt.org/moses/?n=Development.GetStarted, chúng tôi đã cài đặt một
số công cụ cơ bản để có thể Moses có thể vận hành:
1) GCC (GNU Compiler Collection): Một bộ biên dịch C++ hiện đại để có thể biên
dịch mã nguồn.
2) Boost Libraries: Moses phụ thuộc rất nhiều vào thư viện Boost để hỗ trợ các tính
năng nâng cao cho C++. Thư viện này cung cấp một tập hợp các hàm và công cụ
mạnh mẽ, đặc biệt quan trọng đối với các tác vụ như xử lý chuỗi và cấu trúc dữ
liệu.
3) CMake: Một công cụ quản lý quá trình build và biên dịch. Nó cho phép kiểm
soát dễ dàng cấu hình môi trường và các bước biên dịch.