Chương 5 Hệ hỏi - đáp<br />
Hệ hỏi – đáp<br />
Chatbot<br />
IT4772 Xử lý ngôn ngữ tự nhiên<br />
Viện CNTT-TT, ĐHBKHN<br />
<br />
2<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi - đáp<br />
INFORMATION EXTRACTION<br />
●<br />
<br />
NATURAL LANGUAGE UNDERSTANDING<br />
<br />
Trả lời các câu hỏi dưới dạng ngôn ng ữ t ự<br />
nhiên<br />
câu hỏi<br />
<br />
END-TO-END<br />
APPLICATIONS<br />
<br />
câu trả lời<br />
Siri, could you tell me where<br />
can I find a husband who<br />
just talk and give me money<br />
whenever I want?<br />
<br />
NATURAL LANGUAGE GENERATION<br />
<br />
Uhm, let me think...<br />
Maybe you should try<br />
combining a cassette<br />
and an ATM.<br />
<br />
DATA + LINGUISTICS + MACHINE LEARNING<br />
...<br />
3<br />
<br />
4<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi - đáp<br />
Tiêu chí<br />
<br />
IR<br />
<br />
QA<br />
<br />
Đầu vào<br />
<br />
Câu truy vấn dưới dạng từ<br />
khóa<br />
<br />
Câu hỏi<br />
<br />
Yêu cầu<br />
<br />
Liên quan<br />
<br />
Chính xác<br />
<br />
Đầu ra<br />
<br />
Các văn bản<br />
<br />
Câu trả lời<br />
<br />
●<br />
<br />
Câu hỏi đóng:<br />
Ai?<br />
Ai là tác giả của cuốn sách “Suối nguồn t ươi tr ẻ”?<br />
Tác phẩm “Suối nguồn tươi trẻ” do ai sáng tác?<br />
Tiểu thuyết “Suối nguồn tươi trẻ” được viết bởi nhà văn<br />
nào?<br />
Ai là người đầu tiên dịch “Suối nguồn t ươi tr ẻ” sang ti ếng<br />
Việt?<br />
<br />
5<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
●<br />
<br />
6<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
<br />
Câu hỏi đóng:<br />
<br />
●<br />
<br />
Bao giờ?<br />
<br />
Câu hỏi đóng<br />
Ở đâu?<br />
<br />
Bài hát “Người lạ ơi” được viết khi nào?<br />
Bài “Người lạ ơi” được sáng tác năm nào?<br />
Tác phẩm “Người lạ ơi” được sáng tác vào thời điểm<br />
nào?<br />
<br />
Tuyên ngôn độc lập được đọc ở đâu?<br />
Tuyên ngôn độc lập được viết ở đâu?<br />
Địa điểm nổ ra Cách mạng tháng Tám ở đâu?<br />
<br />
7<br />
<br />
8<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
●<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
<br />
Câu hỏi đóng<br />
<br />
●<br />
<br />
Bao nhiêu?<br />
<br />
Câu hỏi đóng<br />
Đúng/sai, lựa chọn<br />
<br />
Một ngày cần uống ít nhất bao nhiêu n ước?<br />
Lượng nước tối thiểu phải uống một ngày là bao nhiêu?<br />
<br />
Có phải Mặt trời và các hành tinh quay xung quanh Trái<br />
Đất không?<br />
Nếu cùng lúc có tín hiệu điều khiển của đèn báo và c ảnh<br />
sát giao thông thì tuân theo cái nào?<br />
Trong bài toán phân tích từ loại có nh ất thi ết ph ải ti ến<br />
hành tách từ không?<br />
<br />
9<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
●<br />
<br />
10<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
<br />
Câu hỏi mở<br />
<br />
●<br />
<br />
Định nghĩa<br />
<br />
Câu hỏi mở<br />
Giải thích<br />
<br />
Xử lý ngôn ngữ tự nhiên là gì?<br />
NLP là gì?<br />
Ngôn ngữ tự nhiên là gì?<br />
<br />
Tại sao tách từ trong tiếng Việt l ại ph ức t ạp h ơn ti ếng<br />
Anh?<br />
Vì sao từ Trái đất không thể quan sát đ ược toàn b ộ b ề<br />
mặt Mặt Trăng?<br />
Do đâu giải Nobel không có lĩnh vực Toán học?<br />
<br />
11<br />
<br />
12<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Các loại câu hỏi<br />
●<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Cách tiếp cận IR<br />
<br />
Câu hỏi mở<br />
So sánh<br />
Con voi và con kiến con nào nặng hơn?<br />
Đường thẳng và đường cong đường nào ngắn hơn?<br />
Số lượng dân ở đô thị hay nông thôn nhiều h ơn?<br />
<br />
From Dan Jurafsky (2018)<br />
13<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Cách tiếp cận IR<br />
●<br />
<br />
14<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Cách tiếp cận IR<br />
<br />
Phân loại câu hỏi<br />
<br />
●<br />
<br />
Chuẩn hóa câu hỏi<br />
<br />
Tìm loại câu trả lời tương ứng với câu h ỏi<br />
<br />
Xóa bỏ các từ để hỏi, từ dừng<br />
<br />
Vd: “Ai là triệu phú?” → PERSON<br />
<br />
Chuyển sang dạng từ khóa<br />
Chuyển sang dạng câu khẳng định<br />
<br />
15<br />
<br />
16<br />
<br />
Chương 5 Hệ hỏi – đáp<br />
Hệ hỏi – đáp<br />
Cách tiếp cận IR<br />
●<br />
<br />
Ma trận từ - văn bản<br />
<br />
Tìm kiếm văn bản<br />
Sử dụng nền tảng tìm kiếm thông tin đ ể thu v ề các<br />
văn bản liên quan đến câu truy v ấn<br />
<br />
17<br />
<br />
18<br />
<br />
From Information Retrieval by D. Manning et al. 2008<br />
<br />
Tf-idf<br />
<br />
19<br />
<br />
From Information Retrieval by D. Manning et al. 2008<br />
<br />
●<br />
<br />
tf-idf(t,d) = tf(t,d) x idf(t)<br />
<br />
●<br />
<br />
idf(t) = log ( N / df(t) )<br />
<br />
20<br />
<br />