Khóa luận tốt nghiệp: Ứng Dụng Mô Hình Học Sâu Tiếng Việt

Trong kỷ nguyên số, lượng thông tin trực tuyến bằng tiếng Việt tăng trưởng mạnh mẽ, đặt ra thách thức lớn cho người dùng trong việc tiếp cận và xử lý hiệu quả. Sự bùng nổ dữ liệu từ báo chí, mạng xã hội và các tài liệu chuyên ngành khiến nhu cầu tóm tắt văn bản tự động trở nên cấp thiết hơn bao giờ hết, nhằm tiết kiệm thời gian và nâng cao hiệu suất thông tin. Tuy nhiên, việc phát triển các hệ thống tóm tắt tiếng Việt đối mặt với nhiều rào cản do đặc thù ngữ pháp phức tạp và sự thiếu hụt tài nguyên dữ liệu chuẩn hóa. Đề tài này tập trung xây dựng một hệ thống tóm tắt văn bản tiếng Việt sử dụng mô hình học sâu, đặc biệt là phương pháp tóm tắt trừu tượng với mô hình viT5, nhằm cung cấp một công cụ hiệu quả, có khả năng hiểu và rút gọn nội dung cốt lõi của văn bản gốc, góp phần nâng cao năng suất trí tuệ và khắc phục những hạn chế hiện có.

Sinh viên, nhà nghiên cứu trong lĩnh vực công nghệ thông tin và xử lý ngôn ngữ tự nhiên; các chuyên gia, cá nhân và tổ chức có nhu cầu tóm tắt tài liệu tiếng Việt nhanh chóng, hiệu quả trong các lĩnh vực như báo chí, giáo dục, nghiên cứu, y tế và luật pháp.

Khóa luận này trình bày quá trình xây dựng một hệ thống tóm tắt văn bản tiếng Việt tiên tiến, tập trung vào phương pháp tóm tắt trừu tượng nhằm giải quyết vấn đề quá tải thông tin trong thời đại số. Hệ thống khai thác sức mạnh của học sâu và các mô hình ngôn ngữ lớn, đặc biệt là kiến trúc Transformer. Mô hình viT5, một biến thể của Transformer đã được tiền huấn luyện trên dữ liệu tiếng Việt, là cốt lõi của nghiên cứu này, được fine-tuning chuyên biệt trên các tập dữ liệu tóm tắt văn bản chất lượng cao. Quy trình phát triển bao gồm việc thu thập và xây dựng bộ dữ liệu tiếng Việt đa dạng, từ tin tức đến tài liệu khoa học, sau đó là tiền xử lý dữ liệu để đảm bảo chất lượng đầu vào. Phương pháp nghiên cứu bao gồm việc phân tích các phương pháp tóm tắt văn bản hiện có, từ tóm tắt trích xuất đến tóm tắt trừu tượng, để lựa chọn và tối ưu hóa mô hình. Kiến trúc hệ thống được thiết kế chi tiết từ luồng dữ liệu, chiến thuật huấn luyện đến các bước đánh giá chất lượng tóm tắt bằng các chỉ số tiêu chuẩn như ROUGE và BLEU, kết hợp với đánh giá thủ công ngữ nghĩa. Mặc dù tiếng Việt với đặc thù ngữ pháp phức tạp và sự thiếu hụt tài nguyên NLP chuẩn hóa gây ra nhiều thách thức, khóa luận này đã phát triển một công cụ có khả năng tạo ra các bản tóm tắt mạch lạc, giữ được ngữ nghĩa cốt lõi của văn bản gốc. Sản phẩm cuối cùng được triển khai dưới dạng một trang web đơn giản sử dụng Flask, cho phép người dùng nhập và xuất văn bản dễ dàng. Hệ thống này không chỉ cung cấp một giải pháp hữu ích cho cá nhân và tổ chức trong việc xử lý thông tin hàng ngày mà còn mở ra hướng đi mới cho nghiên cứu và ứng dụng xử lý ngôn ngữ tự nhiên trên tiếng Việt.