Natural language processing

Luận văn của tôi tập trung nghiên cứu cơ sở lý thuyết về xử lý ngôn ngữ tự nhiên (NLP-Natural Language Processing); các thuật toán học máy, mô hình mạng nơ-ron nhân tạo áp dụng cho phát hiện nội dung phản động như SVM (Support Vector Machine), MLP (Multi-layer Perceptron) và các phương pháp trích trọn đặc trưng của bài viết và bình luận tiếng Việt có nội dung phản động trên Facebook.

89p khanhchi0912 12-04-2024 13 5   Download

Bài giảng Xử lý ngôn ngữ tự nhiên (Natural language processing): Bài 2 cung cấp cho học viên những nội dung về: mô hình ngôn ngữ; tính xác suất bigram; mô hình ngôn ngữ Google Book N-grams; mô hình ngôn ngữ KenLM; đánh giá các mô hình ngôn ngữ; hiện tượng quá khớp dữ liệu (overfitting);... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

20p duonghoanglacnhi 07-11-2022 41 3   Download

Luận văn nghiên cứu tổng quan về Bộ thủ tục hành chính trên Cổng thông tin điện tử thành phố Bà Rịa. Nghiên cứu các thành phần cấu tạo Chatbot. Tìm hiểu các kỹ thuật xử lý ngôn ngữ trong Natural Language Understanding (NLU), Natural Language Processing (NLP) như biểu diễn ngôn ngữ, phân loại ý định (Intent Classification hay Intent Detection), trích xuất thông tin (Information Extraction). Nghiên cứu mô hình cây quyết định (Decision Trees) để xây dựng hệ thống Chatbot.

103p interstellar 20-09-2021 52 10   Download

Lecture “Natural language processing - Chapter 2: Fundamental algorithms and mathematical models” has contents: Probability theory and Bayes theorems (Concepts in probability, Bayes theorems, application of the probability theory in NLP).

14p dien_vi01 21-11-2018 34 1   Download

Lecture “Natural language processing – Chapter 4: Computational linguistics” has contents: What is computational linguistics, corpus definitions, corpus categories, parallel corpora application, alignment methods, normalization, lemmatization and tokenization.

15p dien_vi01 21-11-2018 16 0   Download

Lecture “Natural language processing – Chapter 5: Foundation of statistical machine translation” has contents: Introduction to statistical machine translation, statistical MT systems, three problems in statistical MT systems, translation model, and other contents.

12p dien_vi01 21-11-2018 21 0   Download

Lecture “Natural language processing - Chapter 1: Introduction and Overview of NLP” has contents: Introduce some of the classical problems in NLP, learn to address empirical problems, talk/write clearly about your work, decision and observations.

12p dien_vi01 21-11-2018 33 1   Download

Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 1 cung cấp cho người học những kiến thức cơ bản như: Hiểu các nguyên tắc cơ bản và các cách tiếp cận trong xử lý ngôn ngữ tự nhiên, học được các công cụ và kỹ thuật có thể dùng để phát triển các hệ thống hiểu văn bản và nói chuyện với con người. Mời các bạn cùng tham khảo.

13p dien_vi01 04-10-2018 118 5   Download

Bài 2 bao gồm những nội dung kiến thức cơ bản về tách từ tiếng Việt. Đây là bước xử lý quan trọng đối với các hệ thống xử lý ngôn ngữ tự nhiên, đặc biệt là đối với các ngôn ngữ đơn lập. Với các ngôn ngữ đơn lập, một từ có thể có một hoặc nhiều âm tiết. Vấn đề của bài toán tách từ là khử được sự nhập nhằng trong ranh giới từ. Mời các bạn cùng tham khảo bài giảng để biết thêm chi tiết.

5p dien_vi01 04-10-2018 70 7   Download

Nội dung chính trong bài này tập trung các kiến thức về phân tích cú pháp trong xử lý ngôn ngữ tự nhiên như: Bài toán phân tích cú pháp, khái niệm về văn phạm, dạng chuẩn Chomsky, cấu trúc ngữ pháp, các ứng dụng của phân tích cú pháp,... Mời các bạn cùng tham khảo

19p dien_vi01 04-10-2018 46 4   Download

Bài này tập trung giảng về gán nhãn từ loại. Những nội dung chính được đề cập trong bài gồm có: Tại sao cần gán nhãn? Tập từ loại tiếng Anh, lớp từ mở trong tiếng Anh, tập nhãn cho tiếng Anh, các phương pháp gán nhãn từ loại, các cách tiếp cận, dán nhãn dựa trên xác suất,... và các nội dung liên quan khác. Mời các bạn cùng tham khảo

13p dien_vi01 04-10-2018 74 2   Download

Bài giảng về "Phân tích ngữ nghĩa" thảo luận một số nội dung chủ yếu sau: Tại sao cần phân tích ngữ nghĩa? Thế nào được coi là hiểu? Một số khái niệm cơ bản về logic, logic: thuật ngữ Lambda, cách biểu diễn vị từ, sử dụng lượng từ, các thuộc tính về sự kiện,... Mời các bạn cùng tham khảo.

6p dien_vi01 04-10-2018 40 3   Download

Bài giảng này cung cấp cho người học những hiểu biết cơ bản về nghĩa từ vựng và phân giải nhập nhằng từ. Nội dung trình bày gồm có: Từ đồng âm, phân loại từ đồng âm tiếng việt, từ đa nghĩa, đồng nghĩa, nghĩa từ vựng, ràng buộc về lựa chọn: mã hóa ngữ nghĩa trong văn phạm, ràng buộc lựa chọn, khai thác quan hệ từ vựng,... Mời các bạn cùng tham khảo.

7p dien_vi01 04-10-2018 38 1   Download

Nội dung bài giảng cung cấp cho người học những kiến thức cơ bản về dịch máy như: Xử lý sự giống và khác nhau giữa các ngôn ngữ, cú pháp, các nét riêng biệt, nhập nhằng từ vựng, nhập nhằng cú pháp, nhập nhằng ngữ nghĩa, các phương pháp dịch máy,... Mời các bạn cùng tham khảo.

12p dien_vi01 04-10-2018 135 2   Download

Đầu vào của bài toán là tập các văn bản đã được phân lớp sẵn cho một văn bản 2 lớp sẵn, cho một văn bản mới vào, ứng dụng phải chỉ ra văn bản đó thuộc chủ đề nào trong các chủ để ban đầu. Bài này sẽ trình bày về phân loại văn bản, thông qua bài giảng người học sẽ cùng tìm hiểu tại sao phải phân loại văn bản, đo độ chính xác, cách phân loại,... Mời các bạn cùng tham khảo.

4p dien_vi01 04-10-2018 38 2   Download

Chương này cung cấp cho người học những hiểu biết cơ bản về phân loại tin tự động cho báo điện tử. Mục đích của việc phân loại này nhằm tìm hiểu và thử nghiệm các phương pháp phân loại văn bản áp dụng trên Tiếng Việt. Chương này sẽ trình bày một số phương pháp thực hiện phân loại, các chương trình thực nghiệm và đánh giá kết quả. Mời các bạn cùng tham khảo.

4p dien_vi01 04-10-2018 62 2   Download

Chương này trình bày về phân lớp văn bản tiếng việt theo hướng tiếp cận lexical chain. Nội dung chính gồm có: Tổng quan về bài toán phân lớp văn bản, tiếp cận bài toán phân lớp văn bản tiếng Việt theo hướng lexical chain. Mời các bạn cùng tham khảo.

6p dien_vi01 04-10-2018 50 2   Download

Phản hồi thông tin (Information Retrieval - IR) là việc tìm các tài liệu phi cấu trúc (thường là văn bản) thỏa điều kiện tìm kiếm từ một kho dữ liệu lớn (thường được lưu trong máy tính). Chương này sẽ trình bày một số kiến thức cơ bản về phản hồi thông tin trong quá trình xử lý ngôn ngữ tự nhiên. Mời các bạn cùng tham khảo.

10p dien_vi01 04-10-2018 54 2   Download

Xử lý ngôn ngữ tự nhiên (natural language processing - NLP) là một nhánh của trí tuệ nhân tạo tập trung vào các ứng dụng trên ngôn ngữ của con người. Trong trí tuệ nhân tạo thì xử lý ngôn ngữ tự nhiên là một trong những phần khó nhất vì nó liên quan đến việc phải hiểu ý nghĩa ngôn ngữ - công cụ hoàn hảo nhất của tư duy và giao tiếp.

48p chieuwindows23 01-06-2013 673 153   Download

The nature and amount of information needed for learning a natural language, and the underlying mechanisms involved in this process, are the subject of much debate: is it possible to learn a language from usage data only, or some sort of innate knowledge and/or bias is needed to boost the process? This is a topic of interest to (psycho)linguists who study human language acquisition, as well as computational linguists who develop the knowledge sources necessary for largescale natural language processing systems. ...

1p hongphan_1 15-04-2013 66 2   Download