Luận án Tiến sĩ Hệ thống thông tin: Phân tích ý định từ văn bản ngắn, trực tuyến tiếng Việt

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:173

Thêm vào BST

Báo xấu

9
lượt xem 1
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục tiêu nghiên cứu của luận án là phân tích và hiểu ý định từ văn bản nói chung và văn bản truyền thông xã hội trực tuyến nói riêng còn thiếu một cách tiếp cận xuyên suốt. Mời các bạn tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận án Tiến sĩ Hệ thống thông tin: Phân tích ý định từ văn bản ngắn, trực tuyến tiếng Việt

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lương Thái Lê Phân tích ý định từ văn bản ngắn, trực tuyến tiếng Việt LUẬN ÁN TIẾN SỸ HỆ THỐNG THÔNG TIN Hà Nội - 2021
LỜI CAM ĐOAN Nghiên cứu sinh (NCS) xin cam đoan luận án Phân tích ý định từ văn bản ngắn, trực tuyến tiếng Việt là công trình nghiên cứu của riêng NCS. Các số liệu, kết quả được trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất kỳ một công trình nào khác. NCS đã trích dẫn đầy đủ các tài liệu tham khảo, công trình nghiên cứu liên quan trong và ngoài nước. Ngoại trừ các tài liệu tham khảo này, luận án hoàn toàn là công việc của riêng NCS. Trong các công trình khoa học được công bố liên quan đến luận án, NCS đã thể hiện rõ và chính xác đóng góp của các đồng tác giả và những gì do NCS đã thực hiện. Tác giả: Hà Nội: i
LỜI CẢM ƠN Lời đầu tiên, tôi xin được bày tỏ sự biết ơn sâu sắc đến PGS.TS. Phan Xuân Hiếu, cán bộ hướng dẫn khoa học, người đã trực tiếp định hướng và giúp đỡ tôi trong suốt quá trình nghiên cứu và thực hiện luận án. Thầy không chỉ truyền đạt cho tôi những kiến thức quan trọng về học thuật mà còn chia sẻ cho tôi nhiều kinh nghiệm quý giá trong con đường nghiên cứu khoa học. Một vinh dự lớn cho tôi được học tập, nghiên cứu dưới sự hướng dẫn của Thầy. Tôi xin bày tỏ sự biết ơn chân thành đến các Thầy, Cô trong Bộ môn Hệ thống thông tin, đặc biệt là PGS.TS. Hà Quang Thụy cùng các thành viên của Phòng thí nghiệm Khoa học Dữ liệu và Công nghệ Tri thức vì sự giúp đỡ cũng như những đóng góp chuyên môn hữu ích của các Thầy Cô cho luận án. Tôi xin trân trọng cảm ơn Khoa Công nghệ Thông tin, Phòng Đào tạo và Ban Giám hiệu Trường Đại học Công nghệ đã tạo điều kiện thuận lợi cho tôi trong suốt quá trình học tập và thực hiện luận án. Tôi cũng bày tỏ sự biết ơn đến Ban Giám hiệu, Ban Chủ nhiệm Khoa, và các đồng nghiệp của tôi tại Khoa Công nghệ Thông tin - Trường Đại học Giao thông Vận tải vì đã tạo điều kiện về thời gian, tài chính và đã luôn cổ vũ, hỗ trợ tôi trong suốt quá trình nghiên cứu. Bên cạnh đó, tôi cũng xin gửi lời cảm ơn đến PGS.TS. Trần Văn Long, cán bộ đồng hướng dẫn luận án của tôi, về những giúp đỡ hữu ích cho luận án. Tôi không thể quên cảm ơn những cộng sự của tôi trong nhóm nghiên cứu MDN–Team, những người đã đồng hành, sát cánh cùng tôi trong suốt quá trình nghiên cứu, hoàn thành luận án, và tôi sẽ luôn ghi nhớ điều đó. Ngoài ra, tôi muốn cảm ơn tất cả những người bạn của tôi vì sự động viên chia sẻ bất cứ khi nào tôi cần. Cuối cùng, tôi xin bày tỏ lòng biết ơn vô hạn đối với bố mẹ, chồng, con và gia đình, những người đã luôn ủng hộ và yêu thương tôi một cách vô điều kiện. Nếu không có sự ủng hộ của gia đình và chồng con, tôi không thể hoàn thành được luận án này. ii
Mục lục Lời cam đoan i Lời cảm ơn ii Mục lục ii Danh mục các từ viết tắt vi Danh mục các bảng viii Danh mục các hình vẽ x Mở đầu 1 Chương 1. Tổng quan về ý định và phân tích ý định 10 1.1 Ý định và thể hiện ý định trong ngôn ngữ . . . . . . . . . . . . 10 1.2 Ý định trong văn bản trực tuyến . . . . . . . . . . . . . . . . . . 12 1.3 Phân tích ý định: bối cảnh khoa học . . . . . . . . . . . . . . . 14 1.3.1 Phân tích và xác định ý định từ truy vấn tìm kiếm . . . 16 1.3.2 Phân tích ý định trong các bài đăng . . . . . . . . . . . . 20 1.4 Một số kỹ thuật khai phá dữ liệu và mô hình học máy . . . . . 21 1.4.1 Cơ bản về kỹ thuật phân lớp . . . . . . . . . . . . . . . . 21 1.4.2 Cơ bản về kỹ thuật trích xuất thông tin . . . . . . . . . 23 1.4.3 Cơ bản về mạng nơ ron . . . . . . . . . . . . . . . . . . . 25 1.5 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 Chương 2. Phân tích ý định từ văn bản trực tuyến 31 2.1 Phân tích ý định từ văn bản trực tuyến tiếng Việt . . . . . . . 31 2.1.1 Xây dựng dữ liệu thực nghiệm . . . . . . . . . . . . . . . 33 2.1.2 Khó khăn - Thách thức . . . . . . . . . . . . . . . . . . . 36 2.2 Định nghĩa ý định người dùng: bối cảnh khoa học . . . . . . . . 38 2.2.1 Định nghĩa ý định người dùng theo tiếp cận từ điển . . . 38 2.2.2 Định nghĩa ý định người dùng theo hướng cấu trúc . . . 39 iii
2.3 Định nghĩa ý định hướng miền quan tâm . . . . . . . . . . . . . 39 2.3.1 Định nghĩa quan điểm của Bing Liu . . . . . . . . . . . . 40 2.3.2 Định nghĩa ý định của Bing Liu . . . . . . . . . . . . . . 41 2.3.3 Định nghĩa ý định hướng miền quan tâm của luận án . . 42 2.4 Tiến trình ba pha phân tích và xác định ý định . . . . . . . . . 46 2.5 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 Chương 3. Phát hiện ý định và xác định miền quan tâm của ý định 51 3.1 Nghiên cứu trên thế giới về phát hiện ý định và xác định miền quan tâm của ý định . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.1.1 Phát hiện bài đăng trực tuyến mang ý định . . . . . . . 52 3.1.2 Xác định miền quan tâm của ý định . . . . . . . . . . . . 53 3.2 Phát hiện ý định . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.2.1 Phát biểu bài toán . . . . . . . . . . . . . . . . . . . . . . 55 3.2.2 Mô hình giải quyết bài toán . . . . . . . . . . . . . . . . 56 3.2.3 Dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . 60 3.2.4 Thiết kế thực nghiệm . . . . . . . . . . . . . . . . . . . . 61 3.2.5 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . 62 3.3 Xác định miền quan tâm của ý định . . . . . . . . . . . . . . . . 65 3.3.1 Phát biểu bài toán . . . . . . . . . . . . . . . . . . . . . . 65 3.3.2 Mô hình giải quyết bài toán . . . . . . . . . . . . . . . . 67 3.3.3 Xây dựng tập các miền quan tâm . . . . . . . . . . . . . 70 3.3.4 Dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . 71 3.3.5 Thiết kế thực nghiệm . . . . . . . . . . . . . . . . . . . . 73 3.3.6 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . 73 3.4 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 Chương 4. Phân tích và trích chọn nội dung ý định 79 4.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.2 Nghiên cứu trên thế giới về trích chọn nội dung ý định . . . . . 81 4.3 Phát biểu bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.4 Trích chọn ý định theo tiếp cận học máy thống kê và học sâu . 84 4.4.1 Xây dựng bộ nhãn thực nghiệm . . . . . . . . . . . . . . 84 4.4.2 Trích chọn ý định với phương pháp CRFs . . . . . . . . . 84 4.4.3 Trích chọn ý định với phương pháp học sâu Bi–LSTM– CRFs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.4.4 Độ đo đánh giá mô hình thực nghiệm . . . . . . . . . . . 92 4.4.5 Thời gian thực nghiệm với mỗi mô hình . . . . . . . . . . 93 iv
4.4.6 Dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . 93 4.4.7 Thiết kế thực nghiệm . . . . . . . . . . . . . . . . . . . . 95 4.4.8 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . 96 4.5 Trích chọn ý định dựa trên kết hợp các mô hình học sâu . . . . 99 4.5.1 Kỹ thuật học kết hợp (ensemble learning) . . . . . . . . 100 4.5.2 Xây dựng bộ nhãn thực nghiệm . . . . . . . . . . . . . . 101 4.5.3 Mô hình giải quyết bài toán . . . . . . . . . . . . . . . . 101 4.5.4 Dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . 109 4.5.5 Thiết kế thực nghiệm . . . . . . . . . . . . . . . . . . . . 110 4.5.6 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . 113 4.6 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 Chương 5. Phân tích và trích chọn ý định đa miền quan tâm 121 5.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 5.2 Nghiên cứu trên thế giới về thích nghi miền trong xác định ý định . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 5.3 Trích chọn nội dung ý định theo tiếp cận đa miền quan tâm . . 125 5.3.1 Phát biểu bài toán . . . . . . . . . . . . . . . . . . . . . . 125 5.3.2 Xây dựng bộ nhãn không phụ thuộc miền . . . . . . . . 126 5.3.3 Mô hình trích xuất ý định đa miền quan tâm . . . . . . 131 5.3.4 Dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . 135 5.3.5 Thiết kế thực nghiệm . . . . . . . . . . . . . . . . . . . . 136 5.3.6 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . 138 5.3.7 Mô phỏng mô hình trích xuất ý định đa miền quan tâm 144 5.4 Kết luận chương . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 Kết luận 148 Danh mục các công trình khoa học 150 Tài liệu tham khảo 151 Phụ lục 159 v
DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Dạng đầy đủ Diễn giải/Tạm dịch Bi-LSTM Bidirectional Long Short Mạng bộ nhớ dài ngắn hai Term Memory chiều Bi-LSTM-CRFs Bidirectional Long Short Mạng bộ nhớ dài ngắn hai Term Memory - chiều trường ngẫu nhiên có Conditional Random Field điều kiện CNN Convolutional Neural Network Mạng nơ ron tích chập CRFs Conditional Random Fields Trường ngẫu nhiên có điều kiện EI Explicit Intent Ý định rõ EMD Entity Mentioned Xác định thực thể được Detection nhắc đến IE Information Extraction Trích xuất thông tin IH Intent Head Đầu của ý định II Implicit Intent Ý định ẩn IM Intent Modifiers Bổ nghĩa của ý định L-BFGS Limited-memory Broyden-Fletcher Giới hạn bộ nhớ BFGS Goldfarb Shanno LSTM Long Short Term Memory Mạng bộ nhớ ngắn dài vi
ME Maximum Entropy Cực đại entropy NI Non Intent Không có ý định NER Named Entity Ricognition Nhận diện thực thể có tên POS Part Of Speech Thành phần của câu RNN Recurrent Neural Network Mạng nơ ron hồi quy SVMs Support Vector Machines Máy véc tơ hỗ trợ vii
DANH MỤC CÁC BẢNG 1.1 Ví dụ về văn bản trực tuyến chứa và không chứa ý định . . . . 13 3.1 Đặc trưng dùng để huấn luyện mô hình lọc bài đăng mang ý định người dùng . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.2 Ý định của người dùng thuộc các miền quan tâm khác nhau . . 66 3.3 Ví dụ về một vài đặc trưng từ điển có trọng số cao cho mỗi miền quan tâm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 3.4 Mười ba lớp miền quan tâm của ý định và ví dụ . . . . . . . . . 72 3.5 Precision, recall và F1 -score của fold tốt nhất khi dùng SVMs và ME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.6 Độ chính xác của từng lớp miền quan tâm khi sử dụng phương pháp CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.1 Bộ 13 nhãn cho miền quan tâm Bất động sản . . . . . . . . . . 85 4.2 Bộ 9 nhãn cho miền quan tâm Mỹ phẩm & Làm đẹp . . . . . . 85 4.3 Ví dụ minh họa cho đặc trưng dạng biểu thức chính quy . . . . 87 4.4 Đặc trưng từ điển . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.5 Gán nhãn dữ liệu với bộ nhãn tương ứng . . . . . . . . . . . . . 93 4.6 Trung bình F1-score với mỗi mô hình thực nghiệm thuộc miền quan tâm Mỹ phẩm & Làm đẹp . . . . . . . . . . . . . . . . . . 98 4.7 Trung bình F1-score với mỗi mô hình thực nghiệm thuộc miền quan tâm Bất động sản . . . . . . . . . . . . . . . . . . . . . . . 98 4.8 Bộ 18 nhãn của miền Bất động sản (BĐS) . . . . . . . . . . . . 110 4.9 Bộ 15 nhãn của miền Du lịch . . . . . . . . . . . . . . . . . . . 111 4.10 Bộ gồm 17 nhãn của miền Xe cộ . . . . . . . . . . . . . . . . . 112 4.11 Độ chính xác đối với từng nhãn thu được trên miền Du lịch khi sử dụng phương pháp học kết hợp mà luận án đề xuất . . . . . 116 4.12 Độ chính xác đối với từng nhãn thu được trên miền Xe cộ khi sử dụng phương pháp kết hợp mà luận án đề xuất . . . . . . . 118 viii
4.13 Độ chính xác đối với từng nhãn thu được trên miền Bất động sản khi sử dụng phương pháp kết hợp mà luận án đề xuất . . . 119 4.14 Một số ví dụ về nhãn mô tả . . . . . . . . . . . . . . . . . . . . 120 5.1 Bộ 18 nhãn của miền Bất động sản (BĐS) . . . . . . . . . . . . 127 5.2 Bộ 15 nhãn của miền Du lịch . . . . . . . . . . . . . . . . . . . 128 5.3 Bộ gồm 17 nhãn của miền Xe cộ . . . . . . . . . . . . . . . . . 129 5.4 Bộ 10 nhãn không phụ thuộc miền . . . . . . . . . . . . . . . . . 130 5.5 Sử dụng bộ nhãn không phụ thuộc miền trên một số miền quan tâm khác . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 5.6 Gán nhãn dữ liệu lần lượt với bộ nhãn riêng và bộ nhãn không phụ thuộc miền . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 5.7 Kết quả F1 trung bình đối với mỗi miền quan tâm cụ thể khi sử dụng bộ nhãn riêng và bộ nhãn không phụ thuộc miền tương ứng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 5.8 Kết quả tốt nhất khi trích xuất từng nhãn trên miền Du lịch với bộ nhãn không phụ thuộc miền . . . . . . . . . . . . . . . . 139 5.9 Kết quả tốt nhất khi trích xuất từng nhãn trên miền Du lịch với bộ nhãn riêng . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 5.10 Kết quả tốt nhất khi trích xuất từng nhãn trên miền Xe cộ và Bất động sản với bộ nhãn riêng . . . . . . . . . . . . . . . . . . 141 5.11 Kết quả tốt nhất khi trích xuất tập 32 nhãn riêng đối với tổ hợp 3 miền quan tâm. . . . . . . . . . . . . . . . . . . . . . . . . 145 5.12 Kết quả tốt nhất khi trích xuất tập 10 nhãn không phụ thuộc miền đối với tổ hợp 3 miền quan tâm. . . . . . . . . . . . . . . . 146 5.13 Ví dụ gán nhãn cho miền Bất động sản (BĐS) . . . . . . . . . . 159 5.14 Ví dụ gán nhãn cho miền Du lịch . . . . . . . . . . . . . . . . . 160 5.15 Ví dụ gán nhãn cho miền Xe cộ . . . . . . . . . . . . . . . . . 161 ix
DANH MỤC CÁC HÌNH VẼ 1.1 Quy tắc gán nhãn BIO . . . . . . . . . . . . . . . . . . . . . . . 24 1.2 Chuỗi trạng thái tương ứng với chuỗi quan sát . . . . . . . . . . 25 1.3 Mô hình mạng nơ ron feed − forward nhiều tầng . . . . . . . . . 27 1.4 Đồ thị tính toán trong kiến trúc RNNs . . . . . . . . . . . . . . 28 1.5 Kiến trúc một tế bào trong mô hình LSTM [46] . . . . . . . . . 29 2.1 Một bài đăng mang ý định rõ trên phương tiện truyền thông xã hội Việt Nam . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.2 Ví dụ minh họa cho việc tiền xử lý dữ liệu . . . . . . . . . . . . 34 2.3 Quy trình ba pha Phân tích và xác định ý định người dùng . . 47 2.4 Ví dụ cụ thể một quá trình phân tích và xác định ý định người dùng trực tuyến . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 3.1 Mô phỏng mô hình phân lớp nhị phân với CNN . . . . . . . . 57 3.2 Độ chính xác F1 khi đánh giá chéo 4-fold với phương pháp ME 63 3.3 Độ chính xác F1 khi đánh giá chéo 4-fold với phương pháp SVMs 63 3.4 Độ chính xác của từng lớp con khi sử dụng phương pháp SVMs 64 3.5 Độ chính xác F1 khi đánh giá chéo 4-fold với phương pháp CNN 65 3.6 Sơ đồ khối thể hiện mô hình Xác định miền quan tâm của ý định 68 3.7 Độ chính xác F1 khi đánh giá chéo 5-fold với ME và SVMs . . 75 3.8 Độ chính xác trung bình F1 đối với mỗi miền quan tâm của ý định . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 3.9 Độ chính xác trung bình F1 khi đánh giá chéo 5-fold với CNN 76 4.1 Một số mẫu intention phrase [16] . . . . . . . . . . . . . . . . . 82 4.2 Bản thể mẫu ngữ nghĩa của ý định mua sắm - CI pattern [36] . 83 4.3 Cửa sổ trượt kích thước 5 để xây dựng đặc trưng từ vựng . . . 86 4.4 Kiến trúc mô hình Bi-LSTM-CRFs . . . . . . . . . . . . . . . . 89 4.5 Véc tơ mã hóa được huấn luyện trước của từ “có” . . . . . . . . 90 4.6 Mô hình mã hóa dựa vào ký tự . . . . . . . . . . . . . . . . . . . 91 4.7 Mô phỏng mô hình mạng nơ ron sử dụng kỹ thuật cắt tỉa . . . 92 4.8 Chuyển đổi sang chuẩn B-I-O . . . . . . . . . . . . . . . . . . . 94 x
4.9 Trung bình F1-score của mỗi fold đối với miền quan tâm Mỹ phẩm & Làm đẹp . . . . . . . . . . . . . . . . . . . . . . . . . . 97 4.10 Trung bình F1-score của mỗi fold đối với miền quan tâm Bất động sản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 4.11 Độ chính xác trung bình F1 đối với mỗi nhãn trong miền quan tâm Mỹ phẩm & Làm đẹp . . . . . . . . . . . . . . . . . . . . . . 100 4.12 Độ chính xác trung bình F1 đối với mỗi nhãn trong miền quan tâm Bất động sản . . . . . . . . . . . . . . . . . . . . . . . . . . 100 4.13 Mô hình trích chọn ý định dựa trên kết hợp các mô hình học sâu 102 4.14 Sơ đồ khối thể hiện pha huấn luyện của mô hình học kết hợp không chia sẻ tài nguyên . . . . . . . . . . . . . . . . . . . . . . 103 4.15 Sơ đồ khối thể hiện pha đoán nhận của mô hình học kết hợp không chia sẻ tài nguyên . . . . . . . . . . . . . . . . . . . . . . 104 4.16 Mô hình trích chọn ý định dựa trên ý tưởng học kết hợp trong ngữ cảnh học sâu với tầng biểu diễn từ dựa trên ký tự được chia sẻ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4.17 Trung bình F1 qua 5 lần chạy khác nhau của mỗi mô hình đối với miền Bất động sản . . . . . . . . . . . . . . . . . . . . . . . . 114 4.18 Trung bình F1 qua 5 lần chạy khác nhau của mỗi mô hình đối với miền Du lịch . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.19 Trung bình F1 qua 5 lần chạy khác nhau của mỗi mô hình đối với miền Xe cộ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 5.1 Mô hình trích xuất ý định đa miền quan tâm . . . . . . . . . . 132 5.2 Mô hình Bi-LSTM trích xuất ý định đa miền quan tâm . . . . 134 5.3 Kết quả F1 trung bình khi áp dụng các mô hình CRFs, Bi- LSTM, Bi-LSTM-CRFs lần lượt trên 1, 2 và 3 miền quan tâm với bộ nhãn chung (General) và bộ nhãn riêng (Specific) tương ứng. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 5.4 Kết quả trung bình F1 trên tổ hợp 3 miền quan tâm khi áp dụng lần lượt 3 mô hình Bi-LSTM-CRFs, Bi-LSTM, CRFs . . . 143 5.5 Giao diện mô hình trích xuất ý định người dùng . . . . . . . . . 146 xi
Mở đầu Trong hơn một thập kỷ qua, với sự phát triển bùng nổ của blog, diễn đàn, và mạng xã hội, người dùng Internet nói chung và người dùng Việt nói riêng đã hình thành thói quen chia sẻ thông tin thường xuyên trên các kênh truyền thông trực tuyến này. Theo đó, người dùng thường đăng các dòng trạng thái, bài viết, bình luận thể hiện suy nghĩ, quan điểm, sở thích, tình cảm, và đặc biệt là chia sẻ những ý định mà họ muốn thực hiện trong tương lai với mong muốn nhận được phản hồi, tư vấn của những người dùng khác. Ý định của người dùng có thể về bất cứ điều gì như dự tính mua điện thoại, thuê nhà, vay ngân hàng, đi du lịch, học ngoại ngữ, khám chữa bệnh, hay đơn giản chỉ là nghe nhạc, xem phim. Ngày nay, chúng ta dễ dàng bắt gặp những chia sẻ như “nhà em đang tìm chiếc suv rộng rãi, bền bỉ, ăn ít xăng để đi làm và cả nhà đi chơi cuối tuần, bác nào có crv hoặc santafe lướt thì inbox em” hay “mình đang tính tổ chức chuyến du lịch cho cả phòng vào hè này. Bọn mình đi ĐN, tầm tháng 7, khoảng 20 người cả trẻ em. Mẹ nào có kinh nghiệm đặt tour thì tư vấn mình nhé, cảm ơn các mẹ nhiều”. Những bài đăng hàm chứa ý định như trên thể hiện một cách rõ ràng mong muốn, nhu cầu và dự tính của người viết. Từ đó nếu các công ty du lịch và hãng hàng không nắm bắt được nhu cầu, dự định nghỉ hè của các khách hàng tiềm năng, họ có thể điều chỉnh kế hoạch kinh doanh phù hợp hơn với thị trường. Không chỉ du lịch, các lĩnh vực khác như bán lẻ, bất động sản, tài chính - ngân hàng, bảo hiểm, y tế, giáo dục . . . đều được hưởng lợi. Rõ ràng, việc tự động thu thập, phân tích và hiểu được ý định của người dùng thông qua những gì họ chia sẻ là chìa khoá quan trọng giúp chúng ta nắm bắt nhu cầu khách hàng nhanh hơn cũng như định vị các khách hàng tiềm năng hiệu quả hơn. Vì thế, phân tích và hiểu ý định từ các văn bản trực tuyến là vấn đề có nhiều ý nghĩa thực tiễn và có tính ứng dụng cao, đặc biệt đối với các hệ thống thương mại điện tử, các hệ thống khuyến nghị, quảng cáo trực tuyến... 1
Mở đầu 2 Tuy vậy, phân tích và xác định một cách đầy đủ, chính xác ý định từ văn bản là vấn đề khó trong lĩnh vực xử lý và hiểu ngôn ngữ tự nhiên. Thứ nhất, ý định vốn rất đa dạng vì một người có thể thể hiện ý định về bất cứ điều gì tuỳ thuộc vào nhu cầu, mong muốn của họ. Thứ hai, ngôn ngữ thể hiện ý định có thể gây ra nhập nhằng. Ví dụ, câu “mình đang có hoa quả ngon, mẹ nào muốn mua thì inbox nhé ” có ý định là bán hoa quả, nhưng sự hiện diện của cụm từ muốn mua có thể đánh lừa máy tính. Thứ ba, ý định trong văn bản có thể ở dạng ẩn (implicit) hoặc gián tiếp. Ví dụ “dòng 7 chỗ xe nào chạy êm nhỉ ? ” không thể hiện rõ người viết muốn mua xe hay chỉ đơn thuần tìm hiểu thông tin. Thứ tư, có thể tồn tại nhiều ý định ngay trong một câu văn. Ngoài ra, việc các văn bản trên diễn đàn, mạng xã hội thường dùng từ địa phương, tiếng lóng, từ viết tắt, ngôn ngữ “teen” cũng gây ra không ít khó khăn cho việc phân tích ý định. Vì những thử thách trên, cộng đồng nghiên cứu đang từng bước tìm cách giải quyết vấn đề này ở những phạm vi, mức độ, hay miền lĩnh vực (miền dữ liệu) khác nhau. Chính vì vậy, bài toán phân tích và hiểu ý định từ văn bản nói chung và văn bản truyền thông xã hội trực tuyến nói riêng còn thiếu một cách tiếp cận xuyên suốt và đặc biệt là chưa có giải pháp phù hợp cho ba vấn đề trọng tâm sau đây: 1) Đề xuất định nghĩa hình thức về ý định có khả năng khái quát được cấu trúc ý định vốn được thể hiện rất đa dạng trong văn bản. Để phân tích và xác định ý định một cách hiệu quả và chính xác, trước tiên chúng ta cần hiểu rõ ý định là gì. Ý định, theo cách hiểu chung nhất, là những gì con người dự định sẽ thực hiện trong tương lai. Theo Bratman (1987), “Ý định là trạng thái của trí não biểu thị một sự cam kết sẽ thực hiện một hoặc một chuỗi các hành động trong tương lai. Ý định liên quan đến các hoạt động đầu óc như lên kế hoạch hay sắp đặt chủ ý.” [13]. Tuy vậy định nghĩa này mới chỉ ở dạng mô tả. Để máy tính có thể tự động phân tích và hiểu được ý định, chúng ta cần những định nghĩa ở dạng hình thức hơn. Theo hướng này, Liu mô tả ý định là một cấu trúc gồm năm thành phần bao gồm hành động ý định (intended–action), đích của ý định (intention–target), độ mạnh của ý định (intention–intensity), chủ thể của ý định (holder), và thời điểm phát biểu ý định (time) [10]. Dù vậy, định nghĩa này chỉ mới phù hợp với các câu văn mang ý định ở dạng đơn giản như “tôi muốn mua một chiếc
Mở đầu 3 iphone 11 pro” với muốn mua là intended–action, iphone 11 pro là intention– target và tôi là holder. Trong thực tế, các câu mang ý định vốn đa dạng và phức tạp hơn. Ngoài hành động và đích của ý định, miền quan tâm, ngữ cảnh xuất hiện, cùng các thuộc tính hay ràng buộc của ý định là những khía cạnh cần thiết được xem xét. Chẳng hạn, với văn bản được đăng trên trang www.webtretho.com như sau:“Em cũng đang cần thuê phòng trọ khép kín cho 2 chị em gái đều đã đi làm(1 nvvp & 1 giáo viên ĐH). Em cần phòng giá khoảng 1tr7, ở lâu dài khu vực CẦU GIẤY - LÁNG - TRẦN DUY HƯNG - THANH XUÂN. Cả nhà có thông tin gì thì cho em biết với nhé. Em muốn chuyển luôn cuối tuần này ạ. Liên hệ em Linh - 0988 428 197. Em đi làm nên chỉ cần chỗ ở yên tĩnh, thoáng, có internet, có nấu ăn, có chỗ để xe và an ninh tốt là được ạ. Cảm ơn cả nhà.”, ta có thể thấy rất nhiều thông tin cần trích xuất như: giá thuê, địa điểm phòng trọ, số điện thoại liên hệ... Vì thế, chúng ta cần có một định nghĩa, một cấu trúc đặc tả các thành phần của ý định cụ thể và bao quát hơn. 2) Mô hình hoá vấn đề phân tích và hiểu ý định theo một quy trình xuyên suốt với đầy đủ các bước phát hiện ý định, xác định miền quan tâm, và trích chọn nội dung cụ thể của ý định. Như đã đề cập, ý định thể hiện trong văn bản rất đa dạng. Vì thế, các nghiên cứu trước đây thường tiếp cận vấn đề trong một phạm vi hoặc một lĩnh vực ứng dụng cụ thể. Theo đó, Li (2010) [67] phân tích ý định trong truy vấn tìm kiếm bằng việc xác định hai thành phần là trọng tâm của ý định (intent heads – IH) và bổ nghĩa của ý định (intent modifiers – IM). Ví dụ truy vấn “alice in wonderland 2010 cast” có IH là “cast” (diễn viên) và hai IM là “alice in wonderland ” (tên bộ phim) và “2010 ” (sản xuất năm 2010). IH là thành phần máy tìm kiếm cần tìm câu trả lời còn mỗi IM là một ràng buộc hay đặc điểm nào đó của truy vấn. Khi xác định được các thành phần IH và IM trong một câu truy vấn, hệ thống sẽ hiểu được ý định tìm kiếm của người dùng là gì. Heyrani–Nobari và cộng sự (2014) [76] phân tích ý định của các bài đăng trên diễn đàn thảo luận bằng cách xác định khía cạnh (aspect) và hành động (action) liên quan. Ví dụ khía cạnh có thể là “iphone” và hành động có thể là “nâng cấp”. Tác giả áp dụng một mô hình chủ đề để đồng thời xác định được cả hai loại thông tin này. Castellanos và cộng sự (2012) [16] phân tích ý định từ các văn bản trực tuyến bằng cách xác định cụm từ chứa ý định (intention phrase) và các thành phần khác của ý định (intention
Mở đầu 4 components). Theo tác giả, cụm chứa ý định được trích chọn bằng kỹ thuật bootstrapping, còn các thành phần khác của ý định được trích chọn bằng luật hoặc bằng kỹ thuật học máy như CRFs. Các công trình trên đã phân tích được ý định trong từng phạm vi và lĩnh vực cụ thể. Tuy vậy, chưa có công trình nào tiếp cận vấn đề phân tích ý định theo một quy trình tổng quát, xuyên suốt với đầy đủ các bước từ phát hiện (hay lọc) ý định, xác định miền quan tâm của ý định, và trích chọn nội dung cụ thể của ý định. Trong đó, mỗi bước cần được mô hình hoá thành bài toán phân loại, phân tích ngôn ngữ hoặc trích chọn thông tin phù hợp. 3) Phân tích và hiểu ý định trên đa miền quan tâm. Đặc biệt là khả năng mở rộng phân tích ý định cho các miền dữ liệu mới. Theo đó, các nghiên cứu của Li (2010) [67], Castellanos và cộng sự (2012) [16], Chen và cộng sự (2013) [21], Heyrani–Nobari và cộng sự (2014) [76], Gupta và cộng sự (2014) [35], Wang và cộng sự (2015) [97], Kim và cộng sự (2016) [55], Shang (2017) [92] Labidi và cộng sự (2018) [65] đã đề xuất các phương pháp phù hợp cho từng điều kiện bài toán cụ thể. Tuy vậy, mỗi miền quan tâm (miền ứng dụng) sẽ có một tập thuộc tính hay ràng buộc ý định riêng. Ví dụ, các thuộc tính về ý định du lịch có thể bao gồm nơi đến, phương tiện, khách sạn, số lượng người . . . trong khi ý định mua nhà sẽ xem xét các khía cạnh loại hình bất động sản (nhà đất hay chung cư), địa điểm, diện tích, hướng nhà . . . . Việc mở rộng miền, học chuyển đổi từ miền này sang miền khác hay thiết kế cơ chế trích chọn thông tin ý định từ đa miền quan tâm là những vấn đề hầu như chưa được cộng đồng nghiên cứu xét đến. Một số ít nghiên cứu về vấn đề học chuyển đổi trong bài toán phân tích ý định hầu hết mới được khai thác trong những năm gần đây, cụ thể là của các tác giả Ngo và cộng sự (2017) [71], Song và cộng sự (2018) [93]. Ngoài ra, dù vấn đề phân tích và hiểu ý định từ văn bản gây được nhiều chú ý trong thời gian gần đây, cộng đồng nghiên cứu vẫn còn thiếu các tập dữ liệu gán nhãn làm chuẩn mực chung để thử nghiệm, so sánh, đánh giá các phương pháp. Đặc biệt, chưa có bất cứ tập dữ liệu tiếng Việt được gán nhãn chuẩn cho hướng nghiên cứu này. Theo hiểu biết của tác giả, luận án này là công trình đầu tiên đặt vấn đề phân tích và hiểu ý định trong văn bản tiếng Việt, cụ thể là cho các văn bản ngắn trên các kênh truyền thông xã hội trực tuyến. Vì thế, luận án xem thử thách về đặc thù ngôn ngữ, về việc thiếu dữ liệu đánh giá là một trong những nhiệm vụ cần giải quyết và vượt qua.
Mở đầu 5 Mục tiêu và nội dung nghiên cứu của luận án Từ việc phân tích những vấn đề trọng tâm đề cập ở trên, luận án đặt ra mục tiêu nghiên cứu chính như sau: Mục tiêu nghiên cứu: Đề xuất và xây dựng các mô hình tự động phân tích ý định từ các văn bản (bài đăng/bình luận) tiếng Việt ngắn trên các phương tiện truyền thông xã hội trực tuyến. Để đạt được mục tiêu nghiên cứu đề ra, luận án cần giải quyết và thực hiện những nội dung nghiên cứu quan trọng sau đây: 1) Đề xuất định nghĩa và biểu diễn cấu trúc ý định: Trước tiên, luận án thực hiện tìm hiểu, khảo sát các định nghĩa về ý định của các nghiên cứu liên quan. Từ đó, luận án đề xuất một định nghĩa về ý định cũng như cách biểu diễn ý định phù hợp cho các văn bản trực tuyến tiếng Việt có độ dài ngắn. 2) Đề xuất tiến trình phân tích ý định cũng như cách thức mô hình hoá và giải quyết các bước cụ thể trong tiến trình đó : Tiến trình này bao hàm đầy đủ các bước từ phát hiện sự hiện diện của ý định (xác định văn bản chứa ý định), xác định miền quan tâm của ý định, và đặc biệt là trích chọn các thông tin cụ thể trong cấu trúc ý định. 3) Đề xuất phân tích và xác định ý định đa miền quan tâm: Luận án cần làm sáng tỏ những giả thuyết quan trọng về trích chọn thông tin ý định từ đa miền quan tâm cũng như mối tương quan giữa các mô hình, kết quả phân tích cho từng miền riêng lẻ và trên nhiều miền ? Liệu chúng ta có thể sử dụng dữ liệu và tri thức từ một miền đã có để phân tích trên các miền mới ? Một phần quan trọng của luận án sẽ tìm kiếm câu trả lời cho những câu hỏi này. Bên cạnh các mục tiêu và nội dung nghiên cứu chính vừa nêu, một trong những động lực nghiên cứu của luận án là phân tích ý định cho văn bản truyền thông xã hội tiếng Việt. Theo hiểu biết của nghiên cứu sinh, luận án này cùng các công trình khoa học đã công bố là những nỗ lực đầu tiên để phân tích ý định người viết từ văn bản tiếng Việt một cách có hệ thống. Luận án xem xét các yếu tố như tính đa dạng về ngôn từ, về cách hành văn tiếng Việt. Và một khó khăn nữa luận án phải khắc phục là việc thiếu hoàn toàn dữ liệu gán nhãn ý định. Do đó, bên cạnh các phương pháp, kỹ thuật đề xuất, luận án sẽ xây dựng các tập ngữ liệu gán nhãn ý định để phục vụ cho thực nghiệm, đánh giá, so sánh cũng như chia sẻ với cộng đồng tạo tiền
Mở đầu 6 đề cho các nghiên cứu về sau. Phạm vi và phương pháp nghiên cứu Ý định thể hiện trong văn bản rất đa dạng. Việc phân tích đầy đủ, chính xác ý định của người viết cần thêm nhiều nghiên cứu từ cộng đồng. Luận án này hạn chế phạm vi và nội dung nghiên cứu như sau: Dạng ý định: Luận án chỉ quan tâm các ý định tường minh hay còn gọi là ý định rõ (explicit intents). Luận án chưa xem xét phân tích các ý định ẩn (implicit intents). Luận án có thể xử lý trường hợp đa ý định trong văn bản, nhưng không xử lý trường hợp đa ý định trong cùng một câu hoặc các ý định có tính lồng nhau. Luận án cũng không xem xét khía cạnh về tính hiệu lực của ý định, nghĩa là một ý định có thể đề cập trong quá khứ và có thể đã hết hiệu lực nhưng vẫn được xem là hợp lệ. Dạng dữ liệu: Dữ liệu văn bản mà luận án đề cập đều là các bài đăng, bình luận của người dùng trên các phương tiện truyền thông xã hội trực tuyến. Để ngắn gọn, luận án sử dụng thuật ngữ văn bản trực tuyến hoặc bài đăng. Độ dài mỗi văn bản trực tuyến cần phải từ 2 đến 500 từ. Trong phạm vi luận án này, khái niệm “một từ” (“one word” trong tiếng Anh) được hiểu tương đương với khái niệm “một âm tiết” trong tiếng Việt. Về phương pháp nghiên cứu, luận án khảo sát những cách tiếp cận và phương pháp liên quan đến bài toán phân tích ý định đã được công bố trên thế giới. Tiếp đó, luận án đề xuất các mô hình, phương pháp để giải quyết các bài toán trong vấn đề phân tích và hiểu ý định từ văn bản, đồng thời nghiên cứu thực nghiệm để kiểm chứng đánh giá các đề xuất của luận án. Các kết quả và đóng góp chính của luận án Với các vấn đề đặt ra cùng các nội dung nghiên cứu đã nêu, luận án đạt được một số kết quả và đóng góp chính như sau: Thư nhất, luận án đã đề xuất định nghĩa về ý định rõ hướng miền quan tâm (explicit intent) phù hợp cho các văn bản truyền thông xã hội trực tuyến. Theo đó, ý định là một bộ năm (5–tuple) bao gồm (1) người đưa ra ý định (tức người viết), (2) thông tin ngữ cảnh của ý định, (3) miền lĩnh vực của ý định, (4) cụm từ khoá chỉ ý định, và (5) tập các thuộc tính hay ràng buộc
Mở đầu 7 của ý định. Luận án cũng đề xuất tiến trình phân tích và xác định ý định ba pha gồm ba bài toán: lọc ý định, xác định miền quan tâm của ý định, và trích chọn thông tin chi tiết của ý định. Các nội dung và kết quả này được trình bày trong công trình của Lương và cộng sự (2016a) [LTLe1]. Thứ hai, luận án đã mô hình hoá hai bài toán lọc văn bản chứa ý định và xác định miền quan tâm của ý định dưới dạng bài toán phân lớp nhị phân và bài toán phân lớp đa lớp. Luận án đã đề xuất các mô hình học máy và mô hình học sâu hiệu quả, phù hợp để giải quyết hai bài toán này. Các nội dung và kết quả này được trình bày trong ba công trình của Lương và cộng sự (2016a) [LTLe1], Lương và cộng sự (2016b) [LTLe2] và Lương (2020) [LTLe6]. Thứ ba, luận án đã mô hình hoá bài toán xác định các nội dung của ý định dưới dạng bài toán trích chọn thông tin trên dữ liệu chuỗi. Luận án đã đề xuất tập nhãn đặc trưng cho các nội dung ý định trong từng miền lĩnh vực. Các mô hình học máy thống kê cho dữ liệu chuỗi như CRFs, mô hình học sâu Bi– LSTM–CRFs được đề xuất để giải quyết bài toán này. Luận án đặc biệt chú trọng đến việc tích hợp các dạng thông tin, thuộc tính khác nhau, đặc trưng mang đặc thù ngôn ngữ tiếng Việt để nâng cao hiệu quả trích chọn thông tin ý định. Các kết quả này được trình bày trong công trình của Lương và cộng sự (2017) [LTLe3]. Luận án cũng đề xuất nâng cao hiệu quả trích chọn thông tin ý định dựa trên các mô hình học kết hợp (ensemble learning). Kết quả này được trình bày ở công trình của Lương và cộng sự (2019) [LTLe4]. Thứ tư, luận án đề xuất tiếp cận phân tích và xác định ý định đa miền quan tâm bằng cách đề xuất tập nhãn chung cho các miền dữ liệu. Luận án đã tiến hành thực nghiệm, so sánh đánh giá hiệu quả của hai cách tiếp cận phụ thuộc miền và độc lập miền cũng như thảo luận về ưu và nhược điểm của mỗi cách tiếp cận. Nội dung và kết quả này được trình bày trong công trình của Lương và cộng sự (2020) [LTLe5]. Ngoài các kết quả trên, luận án cũng đã xây dựng các bộ dữ liệu cho các bài toán như lọc ý định, xác định miền quan tâm của ý định, trích chọn thông tin ý định, trích chọn ý định độc lập miền . . . Dữ liệu được thu thập từ hàng ngàn bài đăng trên các phương tiện truyền thông trực tuyến tiếng Việt như diễn đàn, sàn thương mại điện tử, mạng xã hội. Các bộ dữ liệu được thiết kế và xây dựng cẩn thận để có thể dùng cho việc so sánh, đánh giá trong các
Mở đầu 8 nghiên về sau của nghiên cứu sinh và chia sẻ với cộng đồng nghiên cứu. Các công trình khoa học của luận án được đánh chỉ mục bởi DBLP 1 và Google Scholar 2 . Các công trình cũng đã bắt đầu được quan tâm và trích dẫn từ cộng đồng nghiên cứu. Cấu trúc của luận án Nội dung của luận án được chia thành năm chương chính như sau: Chương 1, Tổng quan về ý định và phân tích ý định, giới thiệu tổng quan về ý định và thể hiện ý định trong ngôn ngữ cũng sơ lược về vấn đề phân tích và hiểu ý định trong văn bản. Theo đó, chương này đề cập các hướng nghiên cứu chính liên quan như xác định ý định trong câu truy vấn tìm kiếm, phân tích ý định trong ngôn ngữ nói và trong các văn bản ngắn. Phần cuối của chương trình bày một số cách tiếp cận và kỹ thuật học máy được áp dụng để phân tích và hiểu ý định. Chương 2, Phân tích ý định từ văn bản trực tuyến, trình bày bài toán phân tích và hiểu ý định từ văn bản trực tuyến tiếng Việt. Theo đó, luận án sẽ trình bày các định nghĩa và cấu trúc của ý định người dùng, định nghĩa về miền quan tâm. Chương này cũng mô tả tiến trình ba pha được đề xuất để phân tích và xác định ý định từ văn bản trực tuyến tiếng Việt. Chương 3, Phát hiện ý định và xác định miền quan tâm của ý định, trình bày hai phương pháp luận án đề xuất để giải quyết lần lượt các vấn đề ở pha thứ nhất và pha thứ hai trong tiến trình phân tích ý định ba pha được đề xuất ở Chương 2. Trong đó, vấn đề thứ nhất nhằm lọc các văn bản có chứa ý định. Vấn đề thứ hai nhằm xác định miền lĩnh vực của ý định. Ở mỗi vấn đề, luận án sẽ trình bày cách tiếp cận, phương pháp đề xuất cũng như thực nghiệm, phân tích và đánh giá kết quả đạt được. Chương 4, Phân tích và trích chọn nội dung ý định, tập trung giải quyết pha thứ ba trong tiến trình ba pha giới thiệu ở Chương 2. Theo đó, pha này là phân tích nội dung bài đăng và trích chọn cụm từ chỉ ý định cũng như xác định các thông tin, thuộc tính của ý định đó. Luận án trình bày cách thức mô hình hoá vấn đề dưới dạng bài toán trích chọn thông tin trên dữ liệu chuỗi và giải quyết bằng hai phương pháp học máy thống kê hiện đại là 1. DBLP: https://dblp.org/pers/hd/l/Luong:Thai=Le 2. Google Scholar: https://scholar.google.com/citations ?user=I1FbHw4AAAAJ