Khóa luận tốt nghiệp: Xây dựng danh bạ web tiếng Việt với phân cụm phân cấp văn bản

Sự bùng nổ thông tin trên Internet đã đặt ra thách thức lớn về khả năng tổ chức và truy xuất hiệu quả. Trong bối cảnh đó, danh bạ web đóng vai trò thiết yếu trong việc cung cấp một cấu trúc phân cấp, định hướng người dùng đến các thông tin liên quan một cách có hệ thống. Mặc dù việc xây dựng danh bạ web đã phát triển mạnh mẽ trên thế giới, nhưng ở Việt Nam, các danh bạ hiện có còn hạn chế về quy mô và độ sâu. Nghiên cứu này nhằm giải quyết nhu cầu cấp thiết về việc tự động hóa quá trình xây dựng danh bạ web tiếng Việt chất lượng cao. Cụ thể, khóa luận tập trung vào ứng dụng các phương pháp phân cụm phân cấp văn bản để kiến tạo một cây chủ đề toàn diện, từ đó cải thiện đáng kể khả năng tìm kiếm và tổ chức thông tin trực tuyến.

Các nhà nghiên cứu, sinh viên ngành Công nghệ thông tin, Kỹ thuật phần mềm, và các chuyên gia trong lĩnh vực khai phá dữ liệu, xử lý ngôn ngữ tự nhiên và hệ thống tìm kiếm thông tin, đặc biệt là những người quan tâm đến ứng dụng trong tiếng Việt.

Nghiên cứu này giải quyết bài toán tổ chức lượng lớn thông tin trên web bằng cách xây dựng danh bạ web tiếng Việt có cấu trúc cây phân cấp, một giải pháp hiệu quả để định hướng người dùng. Phương pháp thủ công để tạo danh bạ web quy mô lớn thường tốn kém và mất thời gian, do đó, khóa luận tập trung vào các phương pháp tự động sử dụng phân cụm văn bản. Cụ thể, nghiên cứu đi sâu vào tìm hiểu và ứng dụng hai thuật toán phân cụm điển hình: phân cụm cây phân cấp (Hierarchical Agglomerative Clustering - HAC) và K-means. HAC được lựa chọn vì khả năng tạo ra cấu trúc phân cấp tự nhiên, rất phù hợp cho việc xây dựng cây chủ đề của danh bạ web. Các phương pháp đánh giá chất lượng phân cụm cũng được trình bày chi tiết, bao gồm đánh giá dựa trên kinh nghiệm người dùng và so sánh với cây chủ đề mẫu, làm cơ sở cho các thực nghiệm. Dữ liệu từ Vnexpress và Wikipedia được sử dụng để tiến hành thử nghiệm, và kết quả ban đầu cho thấy chất lượng khả quan với độ chính xác đạt đến 99%. Điều này chứng minh tiềm năng lớn của việc áp dụng các thuật toán phân cụm phân cấp trong việc tự động xây dựng và duy trì danh bạ web tiếng Việt toàn diện, góp phần nâng cao hiệu quả tìm kiếm và tổ chức thông tin trong môi trường kỹ thuật số.