Khóa luận tốt nghiệp: Phân cụm đa mức web bằng K-means dựa trên chủ đề ẩn và thực nghiệm đánh giá

Trong bối cảnh bùng nổ thông tin trên Internet, người dùng thường xuyên phải đối mặt với lượng dữ liệu khổng lồ, khiến việc tìm kiếm thông tin hiệu quả trở nên thách thức. Mặc dù các công cụ tìm kiếm hiện đại đã có những cải tiến đáng kể trong việc xếp hạng kết quả, vấn đề quá tải thông tin và sự xuất hiện của nhiều nội dung không liên quan vẫn là một rào cản lớn. Để giải quyết thách thức này, phân cụm dữ liệu, đặc biệt là phân cụm trang web, đã nổi lên như một giải pháp quan trọng nhằm tổ chức lại các kết quả tìm kiếm một cách khoa học và dễ tiếp cận hơn. Nghiên cứu này tập trung vào việc phát triển một phương pháp phân cụm web đa mức nhằm cải thiện khả năng điều hướng thông tin và cung cấp cái nhìn tổng quan rõ ràng hơn về nội dung web.

Đối tượng độc giả chính là các nhà nghiên cứu, sinh viên và kỹ sư trong lĩnh vực Khoa học Máy tính, Công nghệ thông tin, đặc biệt là những người quan tâm đến khai phá dữ liệu, xử lý ngôn ngữ tự nhiên, phân cụm dữ liệu, mô hình hóa chủ đề và hệ thống tìm kiếm thông tin.

Luận văn này đề xuất một giải pháp cho vấn đề quá tải thông tin trên Internet bằng cách giới thiệu một phương pháp phân cụm trang web đa mức, nhằm cải thiện hiệu quả của các hệ thống tìm kiếm hiện tại. Với sự gia tăng không ngừng của dữ liệu web, khả năng tổ chức và truy cập thông tin một cách có cấu trúc trở nên vô cùng cần thiết. Phương pháp tiếp cận chính của nghiên cứu này là sử dụng thuật toán K-means để thực hiện phân cụm đa mức, dựa trên mô hình chủ đề ẩn được xây dựng từ nội dung các trang web. Cụ thể, quy trình bao gồm các bước: trích rút và tiền xử lý dữ liệu web, xây dựng mô hình chủ đề ẩn (sử dụng mô hình phân phối Dirichlet ẩn - LDA để phát hiện các chủ đề tiềm ẩn trong văn bản), biểu diễn văn bản bằng các chủ đề ẩn này, và cuối cùng là áp dụng K-means để phân cụm văn bản theo cấu trúc phân cấp. Khóa luận tập trung vào việc phân cụm hai mức, mô phỏng cách tổ chức nội dung trên nhiều trang tin tức, nơi các danh mục lớn được chia nhỏ thành các tiểu mục cụ thể hơn (ví dụ: "Kinh doanh" thành "bất động sản", "chứng khoán"). Kết quả thực nghiệm ban đầu cho thấy tính khả thi và hiệu quả của phương pháp được đề xuất trong việc tổ chức thông tin web. Giá trị ứng dụng của nghiên cứu nằm ở khả năng hỗ trợ người dùng giảm bớt gánh nặng xử lý thông tin, cung cấp một cái nhìn tổng quan có cấu trúc về kết quả tìm kiếm và nâng cao tính sẵn sàng (availability) cũng như khả năng truy cập (accessibility) của dữ liệu. Hơn nữa, những kết quả này mở ra tiềm năng phát triển và tích hợp vào các ứng dụng máy tìm kiếm trong tương lai, góp phần vào việc xây dựng các hệ thống tìm kiếm thông minh và thân thiện với người dùng hơn.