intTypePromotion=3

Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 5 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chia sẻ: Dien_vi10 Dien_vi10 | Ngày: | Loại File: PDF | Số trang:12

0
25
lượt xem
6
download

Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 5 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Mô tả tài liệu
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 5: Hệ hỏi đáp" cung cấp cho người học các kiến thức về hỏi đáp, các loại câu hỏi, cách tiếp cận IR, ma trận từ - văn bản, Wolfram Alpha,... Mời các bạn cùng tham khảo nội dung chi tiết.

Chủ đề:
Lưu

Nội dung Text: Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 5 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chương 5 Hệ hỏi - đáp<br /> Hệ hỏi – đáp<br /> Chatbot<br /> IT4772 Xử lý ngôn ngữ tự nhiên<br /> Viện CNTT-TT, ĐHBKHN<br /> <br /> 2<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi - đáp<br /> INFORMATION EXTRACTION<br /> ●<br /> <br /> NATURAL LANGUAGE UNDERSTANDING<br /> <br /> Trả lời các câu hỏi dưới dạng ngôn ng ữ t ự<br /> nhiên<br /> câu hỏi<br /> <br /> END-TO-END<br /> APPLICATIONS<br /> <br /> câu trả lời<br /> Siri, could you tell me where<br /> can I find a husband who<br /> just talk and give me money<br /> whenever I want?<br /> <br /> NATURAL LANGUAGE GENERATION<br /> <br /> Uhm, let me think...<br /> Maybe you should try<br /> combining a cassette<br /> and an ATM.<br /> <br /> DATA + LINGUISTICS + MACHINE LEARNING<br /> ...<br /> 3<br /> <br /> 4<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi - đáp<br /> Tiêu chí<br /> <br /> IR<br /> <br /> QA<br /> <br /> Đầu vào<br /> <br /> Câu truy vấn dưới dạng từ<br /> khóa<br /> <br /> Câu hỏi<br /> <br /> Yêu cầu<br /> <br /> Liên quan<br /> <br /> Chính xác<br /> <br /> Đầu ra<br /> <br /> Các văn bản<br /> <br /> Câu trả lời<br /> <br /> ●<br /> <br /> Câu hỏi đóng:<br /> Ai?<br /> Ai là tác giả của cuốn sách “Suối nguồn t ươi tr ẻ”?<br /> Tác phẩm “Suối nguồn tươi trẻ” do ai sáng tác?<br /> Tiểu thuyết “Suối nguồn tươi trẻ” được viết bởi nhà văn<br /> nào?<br /> Ai là người đầu tiên dịch “Suối nguồn t ươi tr ẻ” sang ti ếng<br /> Việt?<br /> <br /> 5<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> 6<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Câu hỏi đóng:<br /> <br /> ●<br /> <br /> Bao giờ?<br /> <br /> Câu hỏi đóng<br /> Ở đâu?<br /> <br /> Bài hát “Người lạ ơi” được viết khi nào?<br /> Bài “Người lạ ơi” được sáng tác năm nào?<br /> Tác phẩm “Người lạ ơi” được sáng tác vào thời điểm<br /> nào?<br /> <br /> Tuyên ngôn độc lập được đọc ở đâu?<br /> Tuyên ngôn độc lập được viết ở đâu?<br /> Địa điểm nổ ra Cách mạng tháng Tám ở đâu?<br /> <br /> 7<br /> <br /> 8<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Câu hỏi đóng<br /> <br /> ●<br /> <br /> Bao nhiêu?<br /> <br /> Câu hỏi đóng<br /> Đúng/sai, lựa chọn<br /> <br /> Một ngày cần uống ít nhất bao nhiêu n ước?<br /> Lượng nước tối thiểu phải uống một ngày là bao nhiêu?<br /> <br /> Có phải Mặt trời và các hành tinh quay xung quanh Trái<br /> Đất không?<br /> Nếu cùng lúc có tín hiệu điều khiển của đèn báo và c ảnh<br /> sát giao thông thì tuân theo cái nào?<br /> Trong bài toán phân tích từ loại có nh ất thi ết ph ải ti ến<br /> hành tách từ không?<br /> <br /> 9<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> 10<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> <br /> Câu hỏi mở<br /> <br /> ●<br /> <br /> Định nghĩa<br /> <br /> Câu hỏi mở<br /> Giải thích<br /> <br /> Xử lý ngôn ngữ tự nhiên là gì?<br /> NLP là gì?<br /> Ngôn ngữ tự nhiên là gì?<br /> <br /> Tại sao tách từ trong tiếng Việt l ại ph ức t ạp h ơn ti ếng<br /> Anh?<br /> Vì sao từ Trái đất không thể quan sát đ ược toàn b ộ b ề<br /> mặt Mặt Trăng?<br /> Do đâu giải Nobel không có lĩnh vực Toán học?<br /> <br /> 11<br /> <br /> 12<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Các loại câu hỏi<br /> ●<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> <br /> Câu hỏi mở<br /> So sánh<br /> Con voi và con kiến con nào nặng hơn?<br /> Đường thẳng và đường cong đường nào ngắn hơn?<br /> Số lượng dân ở đô thị hay nông thôn nhiều h ơn?<br /> <br /> From Dan Jurafsky (2018)<br /> 13<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> ●<br /> <br /> 14<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> <br /> Phân loại câu hỏi<br /> <br /> ●<br /> <br /> Chuẩn hóa câu hỏi<br /> <br /> Tìm loại câu trả lời tương ứng với câu h ỏi<br /> <br /> Xóa bỏ các từ để hỏi, từ dừng<br /> <br /> Vd: “Ai là triệu phú?” → PERSON<br /> <br /> Chuyển sang dạng từ khóa<br /> Chuyển sang dạng câu khẳng định<br /> <br /> 15<br /> <br /> 16<br /> <br /> Chương 5 Hệ hỏi – đáp<br /> Hệ hỏi – đáp<br /> Cách tiếp cận IR<br /> ●<br /> <br /> Ma trận từ - văn bản<br /> <br /> Tìm kiếm văn bản<br /> Sử dụng nền tảng tìm kiếm thông tin đ ể thu v ề các<br /> văn bản liên quan đến câu truy v ấn<br /> <br /> 17<br /> <br /> 18<br /> <br /> From Information Retrieval by D. Manning et al. 2008<br /> <br /> Tf-idf<br /> <br /> 19<br /> <br /> From Information Retrieval by D. Manning et al. 2008<br /> <br /> ●<br /> <br /> tf-idf(t,d) = tf(t,d) x idf(t)<br /> <br /> ●<br /> <br /> idf(t) = log ( N / df(t) )<br /> <br /> 20<br /> <br />

CÓ THỂ BẠN MUỐN DOWNLOAD

 

Đồng bộ tài khoản