Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 7 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chia sẻ: Dien_vi10 Dien_vi10 | Ngày: | Loại File: PDF | Số trang:7

Thêm vào BST

Báo xấu

137
lượt xem 7
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 7: Xử lý nhập nhằng ngữ nghĩa" cung cấp cho người học các kiến thức: Nghĩa của từ, Wordnet, phương pháp dựa trên từ điển, phương pháp dựa trên tương đồng ngữ nghĩa, Babelnet. Mời các bạn cùng tham khảo.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 7 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chương 7 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ Wordnet Phương pháp dựa trên từ điển IT4772 Xử lý ngôn ngữ tự nhiên Viện CNTT-TT, ĐHBKHN Phương pháp dựa trên tương đ ồng ng ữ nghĩa Babelnet 2 Chương 6 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ INFORMATION EXTRACTION “You shall know a word by the company it keeps” (Firth, J. R. 1957:11) NATURAL LANGUAGE UNDERSTANDING END-TO-END APPLICATIONS NATURAL LANGUAGE GENERATION DATA + LINGUISTICS + MACHINE LEARNING 3 4 Chương 6 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ Chương 6 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ 5 Chương 6 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ 6 Chương 6 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ Từ đồng âm (cùng từ loại): Đồng là nguyên tố hóa học trong bảng tu ần hoàn nguyên tố có ký hiệu Cu và số nguyên t ử b ằng 29. Đồng (VND) là đơn vị tiền tệ chính thức c ủa Vi ệt Nam, do Ngân hàng Nhà nước Việt Nam phát hành. Ruộng lúa, đồng lúa, hoặc cánh đồng lúa hay còn gọi đơn giản là ruộng là một khu đất ng ập n ước có diện tích đất dùng để canh tác và đ ược s ử d ụng cho việc trồng lúa và các cây trồng khác. 7 8 Chương 6 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ ● Chương 6 Xử lý nhập nhằng ngữ nghĩa Nghĩa của từ Xử lý nhập nhằng ngữ nghĩa: Xác đ ịnh nghĩa c ủa từ trong một ngữ cảnh cụ thể theo một từ đi ển. Từ đa nghĩa (cùng từ loại) Chỉ xét các từ cùng từ loại Chỉ xét các từ nội dung Ứng dụng: Truy hồi thông tin Dịch máy Hỏi đáp 9 Chương 6 Xử lý nhập nhằng ngữ nghĩa Wordnet 10 Chương 6 Xử lý nhập nhằng ngữ nghĩa Wordnet ● Princeton Wordnet ● Princeton University nhân dân, người dân, quần chúng, dân ● Miller, Fellbaum and co-authors học sinh, học trò ● Từ 1985 ● 11 Từ đồng nghĩa: 12 Chương 6 Xử lý nhập nhằng ngữ nghĩa Wordnet ● ● Chương 6 Xử lý nhập nhằng ngữ nghĩa Wordnet Synset: Tập hợp các từ đồng nghĩa ● Hypernymy in noun hierarchy ‘science’ is hypernym of ‘mathematics’ Một từ có thể thuộc nhiều synset khác nhau ứng với các ý nghĩa khác nhau c ủa t ừ đó ‘computer’ is hypernym of ‘server’ 13 Chương 6 Xử lý nhập nhằng ngữ nghĩa Wordnet 14 Chương 6 Xử lý nhập nhằng ngữ nghĩa Wordnet Quan hệ Ví dụ hypernym Breakfast → meal hyponym Meal → lunch Has-member Faculty → professor Member-of Pilot → crew has-part Table → leg part-of display → computer antonym Leader → follow ● Ứng dụng Xử lý nhập nhằng ngữ nghĩa Tương đồng ngữ nghĩa 15 16 Chương 6 Xử lý nhập nhằng ngữ nghĩa Phương pháp dựa trên từ điển ● Chương 6 Xử lý nhập nhằng ngữ nghĩa Phương pháp dựa trên từ điển Đầu vào: Một từ trong một ngữ cảnh “Thời đại công nghệ cao, đến bẫy chuột cũng phải kết nối Wi-Fi” Từ loại nghĩa#1 Từ điển chứa các nghĩa của từ giải thích Giải thích nghĩa Ví dụ ● từ ví dụ nghĩa#2 Đầu ra: nghĩa của từ 17 Chương 6 Xử lý nhập nhằng ngữ nghĩa Phương pháp dựa trên từ điển ● Thuật toán Lesk ● Dựa trên mô hình truy h ồi thông tin: 18 Chương 6 Xử lý nhập nhằng ngữ nghĩa Phương pháp dựa trên từ điển ● Ưu điểm: Đơn giản Kế thừa được các kĩ thuật truy hồi thông tin Nghĩa ~ văn bản (giải thích + ví dụ) Từ + ngữ cảnh ~ câu truy vấn ● → Tìm văn bản (nghĩa) phù hợp nhất v ới câu truy vấn (từ) Nhược điểm: Cần từ điển Văn bản ngắn, thưa 19 20