Khóa luận tốt nghiệp: Phát hiện sự trùng lặp nội dung của các bài báo

Trong bối cảnh bùng nổ thông tin trực tuyến và sự phát triển nhanh chóng của báo điện tử, vấn đề phát hiện sự trùng lặp nội dung giữa các bài báo ngày càng trở nên cấp thiết. Nhiều trang web thường xuyên đăng tải các phiên bản sao chép hoặc gần giống nhau của cùng một bài viết, gây khó khăn cho việc quản lý thông tin và đặc biệt ảnh hưởng đến hiệu quả của các hệ thống tìm kiếm. Luận văn này tập trung giải quyết bài toán phát hiện sự trùng lặp bằng cách nghiên cứu và ứng dụng phương pháp lấy dấu vân của tài liệu. Mục tiêu là xây dựng một mô hình thử nghiệm để nhận diện các bản sao, góp phần nâng cao chất lượng dữ liệu và tối ưu hóa hoạt động của các nền tảng thông tin số.

Sinh viên và nghiên cứu viên trong lĩnh vực Công nghệ thông tin, đặc biệt là các chuyên gia về xử lý ngôn ngữ tự nhiên, khai phá dữ liệu và hệ thống tìm kiếm, cũng như những ai quan tâm đến vấn đề chống đạo văn và quản lý thông tin số.

Khóa luận này giải quyết bài toán quan trọng trong thời đại số: phát hiện sự trùng lặp nội dung của các bài báo trên web. Hiện tượng các bài báo được sao chép hoặc gần giống nhau, chỉ khác biệt về các yếu tố không cốt lõi như quảng cáo hay định dạng, gây ra nhiều thách thức cho các hệ thống tìm kiếm và quản lý thông tin. Để giải quyết vấn đề này, nghiên cứu đã tiến hành phân tích sâu các hướng tiếp cận so sánh tài liệu và đề xuất một phương pháp hiệu quả dựa trên kỹ thuật lấy dấu vân của tài liệu. Cụ thể, phương pháp được áp dụng là tạo dấu vân cho từng tài liệu và sau đó so sánh các dấu vân này để xác định mức độ giống nhau. Dữ liệu được thu thập từ web, lưu trữ dưới dạng file văn bản, và trải qua quá trình xử lý để chuẩn bị cho mô hình học dữ liệu. Trọng tâm của luận văn là phát triển một mô hình thử nghiệm dựa trên thuật toán Simhash để tạo ra các dấu vân đặc trưng. Mô hình này không chỉ giúp phát hiện các bài báo sao chép mà còn xác định các đặc trưng và trọng số của chúng. Các thuật toán như Rabin cũng được xem xét trong quá trình này để hiểu rõ hơn về các phương pháp dấu vân. Kết quả ban đầu cho thấy mô hình Simhash là khả quan và có tiềm năng lớn để tiếp tục phát triển, cung cấp một công cụ mạnh mẽ trong việc chống lại đạo văn và quản lý hiệu quả nguồn thông tin trực tuyến, đặc biệt là trong các ứng dụng Information Retrieval.