Term Frequency - Inverse Document Frequency

Đề tài "Phát triển ứng dụng hội thoại thông minh tư vấn trong lĩnh vực xuất nhập khẩu" nghiên cứu xây dựng một mô hình hội thoại cho tiếng Việt tư vấn trong lĩnh vực xuất nhập khẩu. Mô hình hội thoại mà Tôi đề xuất là kết hợp giữa mạng nơ-ron LSTM và phương pháp tìm câu trả lời trong các tài liệu dựa trên kỹ thuật term frequency – inverse document frequency (TF-IDF). Mô hình đã cho kết quả rất tính cực, có thể giải quyết được những vấn đề cơ bản về ngữ nghĩa, ngữ cảnh và tính cách riêng trong hệ thống đối thoại.

56p matroinho2510 08-11-2022 13 6   Download

Bài viết này đề xuất giải pháp nhằm tăng tốc tìm kiếm tài nguyên học tập theo nội dung dựa trên các kỹ thuật xử lý dữ liệu lớn. Cụ thể, các kỹ thuật xử lý văn bản được sử dụng trên nền tảng Hadoop như tách từ tiếng Việt, loại bỏ từ dừng, tính trọng số TF-IDF (Term Frequency-Inverse Document Frequency), biểu diễn văn bản thành dạng không gian vectơ, tính độ tương đồng cosine để đo mức độ tương tự của các từ khóa trong tài liệu nhằm trả về tài liệu có độ tương đồng cao nhất.

8p visteveballmer 06-11-2021 29 0   Download

Single cell transcriptomics is critical for understanding cellular heterogeneity and identification of novel cell types. Leveraging the recent advances in single cell RNA sequencing (scRNA-Seq) technology requires novel unsupervised clustering algorithms that are robust to high levels of technical and biological noise and scale to datasets of millions of cells.

15p vitzuyu2711 29-09-2021 6 1   Download

Trong bài báo này, các tác giả đề xuất một phương pháp mới để gom nhóm văn bản dựa vào mẫu hữu ích được đánh trọng phổ biến thông qua việc sử dụng TF (Term Frequency) cho mỗi từ trong văn bản. Trọng số của từ trên toàn bộ tập văn bản được tính dựa vào IDF (Inverse Document Frequency), sau đó sử dụng thuật toán MWIT-FWUI để khai thác các mẫu hữu ích phổ biến.

7p trangcham1896 20-12-2018 45 0   Download

The trend in information retrieval systems is from document to sub-document retrieval, such as sentences in a summarization system and words or phrases in question-answering system. Despite this trend, systems continue to model language at a document level using the inverse document frequency (IDF). In this paper, we compare and contrast IDF with inverse sentence frequency (ISF) and inverse term frequency (ITF). A direct comparison reveals that all language models are highly correlated; however, the average ISF and ITF values are 5.5 and 10.4 higher than IDF. ...

8p hongvang_1 16-04-2013 52 1   Download