Gán nhãn từ loại

Gán nhãn từ loại (Part-of-Speech Tagging) là một trong hai bài toán nền tảng, đóng vai trò quan trọng trong các hệ thống xử lý ngôn ngữ tự nhiên. Ở Việt Nam đã có một số nghiên cứu về bài toán này, tuy nhiên kết quả đạt được vẫn còn ở mức khiêm tốn so với nhiều ngôn ngữ khác. Việc tìm hiểu các phương pháp gán nhãn từ loại trong tiếng Anh cho thấy hướng tiếp cận dựa theo phương pháp học máy cho kết quả tốt hơn cả trong các phương pháp đã được công bố. Nội dung...

68p chieu_mua 26-08-2012 264 101   Download

Phân đoạn từ (Word segmentation) và gán nhãn từ loại( Part-of-speech tagging - POS tagging) là hai bài toán đạc biệt quan trọng trong xử lý ngôn ngữ tự nhiên. Tuy nhiên, các nghiên cứu tại Việt Nam về hai vấn đề này vẫn còn ở giai đoạn ban đầu. Do đó, nhu cầu là rất lớn cả về cơ sở khoa học và xây dựng công cụ thực hiện sẵn dùng. Thực tế cho thấy hai quá trình này có liên quan với nhau và ảnh hưởng đến chất lượng của một hệ chung. Vì thế, trong luận văn...

56p bluesky_12 26-12-2012 207 101   Download

Dịch máy là một qui trình tương đối phức tạp, do vậy, trong luận văn này chúng tôi chỉ tập trung giải quyết một bài toán trong hệ dịch máy này, đó là giai đoạn gán nhãn từ loại. Đây là một bước cơ sở, làm nền tảng cho các giai đoạn sau. Kết quả của việc gán nhãn từ loại sẽ ảnh hưởng tới các giai đoạn khác. Trong luận văn này, ngoài việc cố gắng cải tiến kết quả của gán nhãn từ loại, chúng tôi còn sử dụng các thông tin có được sau khi gán nhãn...

113p cancer23 22-08-2012 128 44   Download

Gãn nhãn từ loại là một trong những bài toán cơ bản của xử lý ngôn ngữ tự nhiên, nó là bước tiền xử lý quan trọng có ảnh hưởng trực tiếp tới các phân tích văn phạm ở mức sâu. Trong bài báo này, chúng tôi trình bày quá trình thực nghiệm áp dụng mô hình Markov ẩn cho bài toán gán nhãn từ loại tiếng Việt. Để thuận tiện cho việc so sánh kết quả, chúng tôi sử dụng kho dữ liệu của nhóm VLSP để huấn luyện và đánh giá chương trình.

5p cumeo2425 02-07-2018 125 4   Download

Nội dung bài viết trình bày công cụ gán nhãn từ loại tiếng Việt dựa trên Conditional Random Fields và Maximum Entropy. Để hiểu rõ hơn, mời các bạn tham khảo chi tiết nội dung bài viết.

7p slimzslimz 18-12-2019 16 1   Download

Bài báo này trình bày một hướng tiếp cận cho bài toán gán nhãn từ loại trong văn bản tiếng Việt trên cơ sở vận dụng các mô hình thống kê dựa vào kho ngữ liệu, từ điển, cú pháp và ngữ cảnh. Đồng thời trong quá trình phát triển hệ thống ứng dụng, do chưa có kho ngữ liệu dành cho mục đích nghiên cứu về xử lý ngôn ngữ tự nhiên tiếng Việt, chúng tôi cũng đã xây dựng có tính kế thừa [1][4] được một kho ngữ lịêu gồm gần 75.000 từ tiếng Việt, và một từ điển gồm 80.000 mục từ, để phục vụ cho vấn đề nghiên cứu này.

11p loki1234 24-05-2018 17 0   Download

Báo cáo này tổng kết một số kết quả nghiên cứu về gán nhãn tiếng Việt trong những năm gần đây. Bên cạnh đó, báo cáo còn đưa ra những so sánh, đánh giá chất lượng gán nhãn với hai phương pháp học máy thống kê là phương pháp cực đại hóa entropy (MaxEnt) và Conditional Random Fields. Những kết quả này sẽ góp phần định hướng cho việc xây dựng một hệ gán nhãn từ loại hiệu quả cho cộng đồng khai phá thông tin tiếng Việt nói chung và xử lý tiếng Việt nói riêng.

8p slimzslimz 18-12-2019 11 0   Download

Bài giảng "Xử lý ngôn ngữ tự nhiên: Gán nhãn từ loại" trình bày các định nghĩa về gán từ loại, tập nhãn cho tiếng Anh, khó khăn trong gán nhãn từ loại, các phương pháp gán nhãn từ loại, gán nhãn dựa trên xác suất,... Mời các bạn cùng tham khảo.

13p larachdumlanat 27-10-2020 0 0   Download

Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 2: Gán nhãn từ loại" cung cấp cho người học các kiến thức: PennTreebank, Hidden Markov model, conditional random fields, đánh giá. Mời các bạn cùng tham khảo nội dung chi tiết.

8p dien_vi10 02-10-2018 61 8   Download

Bài này tập trung giảng về gán nhãn từ loại. Những nội dung chính được đề cập trong bài gồm có: Tại sao cần gán nhãn? Tập từ loại tiếng Anh, lớp từ mở trong tiếng Anh, tập nhãn cho tiếng Anh, các phương pháp gán nhãn từ loại, các cách tiếp cận, dán nhãn dựa trên xác suất,... và các nội dung liên quan khác. Mời các bạn cùng tham khảo

13p dien_vi01 04-10-2018 28 0   Download

Một trong các vấn đề nền tảng của phân tích ngôn ngữ là việc phân loại các từ thành các lớp từ loại dựa theo thực tiễn hoạt động của ngôn ngữ.

11p ngoctuyen 17-06-2009 371 54   Download

Luận văn được chia làm 3 chương : Chương 1/ Tổng quan về phương pháp gán nhãn tự động cho ảnh, chương này đưa ra hướng tiếp cận của bài toán phân loại và gán nhãn. Chương 2/ Thuật toán gán nhãn ảnh chỉ sử dụng các vector đặc trưng. Chương 3/ Thuật toán sử dụng kết hợp thông tin phụ trợ. Cuối cùng, phần kết luận tóm lược các kết quả đã đạt được và đề xuất các nghiên cứu trong tương lai.

73p hanh_tv26 04-04-2019 15 2   Download

Luận văn nghiên cứu đề xuất phương pháp phân loại và gán nhãn tự động cho ảnh sử dụng các vector đặc trưng để mô tả ảnh. Ý tưởng quan trọng là gán nhãn ảnh bằng cách so sánh ảnh cần gán nhãn với các ảnh đã biết nhãn trong tập huấn luyện. Mời các bạn cùng tham khảo.

73p tamynhan0 04-07-2020 7 0   Download

Kết quả của việc phân tích cú pháp tiếng Anh và chiếu sang tiếng Việt được làm ngữ liệu cho việc học, giám sát và rút ra các luật chuyển đổi cú pháp giữa hai ngôn ngữ Anh-Việt để phục vụ cho chương trình dịch tự động Anh Việt. Các bước cơ bản cho việc chiếu kết quả phân tích cú pháp bao gồm ba bước chính: đầu tiên là phân tích cú pháp cho ngôn ngữ nguồn (ở đây là tiếng Anh), sau đó liên kết từ/ngữ, cuối cùng sử dụng kết quả liên kết từ/ngữ để chiếu sang...

0p cancer23 22-08-2012 188 57   Download

Đề tài sẽ tiếp cận theo hƣớng tích hợp tri thức ngôn ngữ vào hệ thống dịch máy thống kê Anh – Việt ở mức độ hình thái từ. Từ tiếng Anh sẽ được đưa về nguyên mẫu, tách các phụ tố và gán nhãn từ loại, từ tiếng Việt sẽ được phân đoạn từ và gán nhãn từ loại. Đề tài cũng sẽ phân tích các từ loại có ảnh hưởng tích cực đến chất lượng dịch của hệ thống. Read more: http://luanvan.thanhcuong.info/?p=66...

92p conchokon 06-09-2012 110 35   Download

Luận van Học xếp hạng trong tính hạng ối t÷ợng và tạo nhãn cụm tài liệu thực hiện khảo sát, phân tích các ph÷ìng pháp học xếp hạng ang ÷ợc quan tâm hiện nay và từ ó ÷a ra mô hình xếp hạng thực thể áp dụng vào máy tìm kiếm thực thể trong tiếng Việt, cụ thể là tìm kiếm thực thể thuốc và học xếp hạng ể tạo nhãn cho cụm tài liệu. Qua ó cho thấy ứng dụng to lớn và ý nghia quan trọng của bài toán học xếp hạng....

71p bluesky_12 26-12-2012 82 20   Download

Xác định từ loại chính xác cho các từ trong văn bản tiếng Việt là vấn đề rất quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên.Việc xác định này sẽ hỗ trợ cho việc phân tích cú pháp các văn bản, góp phần giải quyết tính đa nghĩa của từ, và trợ giúp các hệ thống rút trích thông tin hướng đến ngữ nghĩa, v.v…

11p phalinh19 19-08-2011 67 15   Download

Bài báo trình bày một số kết quả nghiên cứu ứng dụng các thuật toán tìm tập phổ biến và luật kết hợp vào bài toán phân lớp văn bản. Mô hình vector có thành phần là các cụm danh từ phổ biến được dùng để đặc trưng văn bản. Thuật toán tách từ, gán nhãn từ loại được sử dụng để rút trích các cụm danh từ.

10p loki1234 24-05-2018 26 1   Download

Bài giảng Xử lý ngôn ngữ tự nhiên - Chương 1: Mở đầu" giới thiệu tới người đọc những nội dung chính của môn học, phương pháp đánh giá sinh viên, những kiến thức mở đầu của môn học này. Mời các bạn tham khảo nội dung chi tiết.

13p larachdumlanat 27-10-2020 0 0   Download

Bài báo trình bày một số kết quả nghiên cứu ứng dụng các thuật toán tìm tập phổ biến và luật kết hợp vào bài toán phân lớp văn bản. Mô hình vector có thành phần là các cụm danh từ phổ biến được dùng để đặc trưng văn bản. Thuật toán tách từ, gán nhãn từ loại được sử dụng để rút trích các cụm danh từ.

10p phalinh19 19-08-2011 78 19   Download