Inverse Document Frequency

This paper investigates the impact of word embedding techniques on enhancing SMS spam detection models. Traditional statistical methods (BoW, TF-IDF) are compared with advanced techniques (Word2Vec, fastText, GloVe, PhoBERT) using a proprietary dataset.

5p viengfa 28-10-2024 2 2   Download

Đề tài "Phát triển ứng dụng hội thoại thông minh tư vấn trong lĩnh vực xuất nhập khẩu" nghiên cứu xây dựng một mô hình hội thoại cho tiếng Việt tư vấn trong lĩnh vực xuất nhập khẩu. Mô hình hội thoại mà Tôi đề xuất là kết hợp giữa mạng nơ-ron LSTM và phương pháp tìm câu trả lời trong các tài liệu dựa trên kỹ thuật term frequency – inverse document frequency (TF-IDF). Mô hình đã cho kết quả rất tính cực, có thể giải quyết được những vấn đề cơ bản về ngữ nghĩa, ngữ cảnh và tính cách riêng trong hệ thống đối thoại.

56p matroinho2510 08-11-2022 15 7   Download

Bài viết này đề xuất giải pháp nhằm tăng tốc tìm kiếm tài nguyên học tập theo nội dung dựa trên các kỹ thuật xử lý dữ liệu lớn. Cụ thể, các kỹ thuật xử lý văn bản được sử dụng trên nền tảng Hadoop như tách từ tiếng Việt, loại bỏ từ dừng, tính trọng số TF-IDF (Term Frequency-Inverse Document Frequency), biểu diễn văn bản thành dạng không gian vectơ, tính độ tương đồng cosine để đo mức độ tương tự của các từ khóa trong tài liệu nhằm trả về tài liệu có độ tương đồng cao nhất.

8p visteveballmer 06-11-2021 36 1   Download

Trong bài báo này, các tác giả đề xuất một phương pháp mới để gom nhóm văn bản dựa vào mẫu hữu ích được đánh trọng phổ biến thông qua việc sử dụng TF (Term Frequency) cho mỗi từ trong văn bản. Trọng số của từ trên toàn bộ tập văn bản được tính dựa vào IDF (Inverse Document Frequency), sau đó sử dụng thuật toán MWIT-FWUI để khai thác các mẫu hữu ích phổ biến.

7p trangcham1896 20-12-2018 47 0   Download