Tóm tắt Luận án Tiến sĩ Khoa học máy tính: Khai phá quan điểm với kỹ thuật học sâu

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:24

Thêm vào BST

Báo xấu

10
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Tóm tắt Luận án Tiến sĩ Khoa học máy tính "Khai phá quan điểm với kỹ thuật học sâu" được nghiên cứu nhằm mục tiêu: Đề xuất mô hình trích rút khía cạnh trong khai phá quan điểm sử dụng hướng tiếp cận học sâu; Đề xuất mô hình khai phá quan điểm mức khía cạnh đa tác vụ sử dụng hướng tiếp cận học sâu; Xây dựng tập dữ liệu đa miền dùng cho thực nghiệm mô hình khai phá quan điểm đã đề xuất.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tóm tắt Luận án Tiến sĩ Khoa học máy tính: Khai phá quan điểm với kỹ thuật học sâu

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN UYÊN TRANG KHAI PHÁ QUAN ĐIỂM VỚI KỸ THUẬT HỌC SÂU Ngành : KHOA HỌC MÁY TÍNH Mã số : 9480101 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - 2023
Công trình được hoàn thành tại TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: 1. TS. Hoàng Thị Thanh Hà 2. TS. Đặng Hoài Phương Phản biện 1: ………………………………………………. Phản biện 2: ………………………………………………. Phản biện 3: ………………………………………………. Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Trường tại : Trường Đại học Bách khoa Vào hồi … giờ … ngày … tháng … năm 2023 Có thể tìm hiểu luận án tại: - Thư viện quốc gia Việt Nam. - Trung tâm Học liệu & Truyền thông, Đại học Bách Khoa.
3 PHẦN MỞ ĐẦU 1. Tính cấp thiết của luận án Khai phá quan điểm là lĩnh vực nghiên cứu về trích rút và phân loại quan điểm từ các bình luận giúp theo dõi được tâm trạng của cộng đồng liên quan đến mọi lĩnh vực trong đời sống xã hội. Khai phá quan điểm cung cấp những hiểu biết hữu ích thúc đẩy các quyết định, chiến lược và mục tiêu kinh doanh hiệu quả nhằm hỗ trợ doanh nghiệp đề ra những giải pháp kinh doanh chủ động. Chính vì vậy nhu cầu khai thác năng lực thăm dò và hiểu các quan điểm một cách tự động ngày càng được quan tâm nghiên cứu. Hiện có hai hướng tiếp cận để khai phá quan điểm: dựa trên từ vựng và dựa trên máy học. Đề tài “Khai phá quan điểm với kỹ thuật học sâu” được thực hiện trong khuôn khổ luận án tiến sĩ chuyên ngành khoa học máy tính đã tận dụng khả năng có thể học chính xác trên dữ liệu lớn sẵn có với tốc độ học nhanh của học sâu_một nhánh của máy học với mong muốn được đóng góp một phần vào lĩnh vực khai phá, phân tích quan điểm hiện nay. Đối với hướng tiếp cận máy học có thể thực hiện phương pháp học giám sát và học không giám sát để tiến hành phân loại quan điểm. Trong học giám sát, các bài toán phân loại cây quyết định, phân loại tuyến tính được sử dụng. Tuy nhiên các kỹ thuật này thường không hiệu quả đối với một số vấn đề khó nhận biết trong cấu trúc của ngôn ngữ viết. Các hướng tiếp cận máy học truyền thống để khai phá quan điểm đều dựa trên những đặc trưng được thiết kế, tuy nhiên rất khó xử lý, điều chỉnh các đặc trưng để trích rút thuộc tính được đề cập. 2. Mục tiêu, đối tượng và phạm vi nghiên cứu của luận án 2.1. Mục tiêu nghiên cứu Mục tiêu chung là vận dụng các kỹ thuật học sâu để đề xuất và tinh chỉnh các mô hình khai phá quan điểm mức khía cạnh nhằm cải tiến độ chính xác, nâng cao hiệu suất, tăng tính tiện ích của mô hình. Các mục tiêu cụ thể gồm: - Đề xuất mô hình trích rút khía cạnh trong khai phá quan điểm sử dụng hướng tiếp cận học sâu;
4 - Đề xuất mô hình khai phá quan điểm mức khía cạnh đa tác vụ sử dụng hướng tiếp cận học sâu; - Đề xuất mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền với hướng tiếp cận học sâu; - Xây dựng tập dữ liệu đa miền dùng cho thực nghiệm mô hình khai phá quan điểm đã đề xuất. 2.2. Đối tượng nghiên cứu - Khía cạnh, quan điểm, khai phá và phân tích quan điểm mức khía cạnh. - Các kỹ thuật học sâu áp dụng cho xử lý ngôn ngữ tự nhiên. - Các mô hình trích rút khía cạnh và khai phá quan điểm mức khía cạnh sử dụng kỹ thuật học sâu. 2.3. Phạm vi nghiên cứu - Tập trung vào khai phá quan điểm - Tìm hiểu các giải thuật học sâu áp dụng cho khai phá và phân tích quan điểm 3. Các đóng góp của luận án - Xây dựng mô hình trích rút khía cạnh của thực thể trong khai phá quan điểm dựa trên hướng tiếp cận học sâu với cải tiến về hiệu suất của mô hình. - Xây dựng hệ thống khai phá quan điểm mức khía cạnh đa tác vụ mới nhằm dự đoán quan điểm người dùng. Hệ thống thực hiện đồng thời các tác vụ: trích rút từ mục tiêu, khía cạnh, thực thể và xác định quan điểm thể hiện trên khía cạnh của thực thể trong các bình luận trên một miền xác định. - Xây dựng một tập dữ liệu bình luận đa miền dùng cho thực nghiệm. - Xây dựng hệ thống khai phá quan điểm mức khía cạnh đa tác vụ đa miền mới nhằm dự đoán quan điểm người dùng. Hệ thống thực hiện đồng thời các tác vụ: trích rút khía cạnh, phân loại miền và xác
5 định quan điểm thể hiện trên khía cạnh trong các bình luận thuộc tập dữ liệu đa miền. 4. Phương pháp nghiên cứu Phương pháp tài liệu và Phương pháp thực nghiệm. 5. Bố cục của luận án Luận án được tổ chức thành ba phần: Phần mở đầu; Phần nội dung và kết quả nghiên cứu, thực nghiệm; Phần kết luận và hướng phát triển. Phần mở đầu giới thiệu về tính cấp thiết, mục tiêu, đối tượng, phạm vi và các đóng góp của luận án Phần nội dung và kết quả nghiên cứu được xây dựng thành bốn chương: Chương 1. Tổng quan về khai phá quan điểm và kỹ thuật học sâu Chương 2. Trích rút khía cạnh trong khai phá quan điểm với hướng tiếp cận học sâu Chương 3. Khai phá quan điểm mức khía cạnh đa tác vụ với hướng tiếp cận học sâu Chương 4. Khai phá quan điểm mức khía cạnh đa tác vụ đa miền với hướng tiếp cận học sâu Phần kết luận và hướng phát triển đúc kết lại những đóng góp của luận án và hướng nghiên cứu tiếp theo để phát triển luận án.
6 CHƯƠNG 1-TỔNG QUAN VỀ KHAI PHÁ QUAN ĐIỂM VÀ KỸ THUẬT HỌC SÂU 1.1. Khai phá quan điểm Quan điểm thể hiện thái độ, xúc cảm của chủ thể bày tỏ quan điểm đối với một sản phẩm, dịch vụ hay một nhân tố cụ thể. Khai phá quan điểm là lĩnh vực trích rút, phân loại quan điểm người dùng trên các bình luận một cách tự động. Khai phá quan điểm có thể được phân chia thành các mức khác nhau Khai phá quan điểm mức tài liệu Toàn bộ văn bản được phân loại vào một trong các lớp quan điểm tích cực, tiêu cực hoặc trung lập tuỳ thuộc vào độ phân cực của thông tin chủ quan được thể hiện trên tài liệu. Khai phá quan điểm mức câu Khai phá quan điểm mức câu sẽ thực hiện ở phạm vi cụ thể và chi tiết hơn: phân loại quan điểm thể hiện trên mỗi câu bình luận trong toàn văn bản vào một trong ba lớp tích cực, tiêu cực hoặc trung lập. Khai phá quan điểm mức khía cạnh Luận án tập trung vào khai phá quan điểm mức khía cạnh. Đây là cấp độ chi tiết nhất trong ba cấp độ khai phá quan điểm nhằm giúp hệ thống xác định được quan điểm cụ thể của người dùng thể hiện trực tiếp trên mỗi khía cạnh trong tài liệu bình luận được đề cập. 1.2. Các hướng nghiên cứu khai phá quan điểm - Hướng tiếp cận dựa trên ngữ liệu_chủ yếu sử dụng nhóm các độ đo với các mô hình khác nhau cho khai phá quan điểm. - Hướng tiếp cận dựa trên máy học_sử dụng các kỹ thuật phân loại để phân loại văn bản, xác định quan điểm dựa trên các tập dữ liệu huấn luyện và kiểm tra.
7 1.3. Một số hạn chế của các tiếp cận khai phá quan điểm hiện nay Đối với hướng tiếp cận ngữ liệu: Đòi hỏi kho ngữ liệu từ điển phải đảm bảo đủ lượng từ quan điểm để có thể so khớp với các từ trong văn bản cần xác định quan điểm. Bên cạnh đó, độ phân cực quan điểm của các từ đôi khi phụ thuộc rất lớn vào miền và ngữ cảnh. Mặt khác, các nghiên cứu dựa trên hướng tiếp cận ngữ liệu sử dụng các độ đo để xác định mối liên quan và thường chỉ được thực nghiệm trên dữ liệu tương đối nhỏ, dẫn đến độ chính xác đạt được của mô hình vẫn chưa thực sự thuyết phục. Đối với hướng tiếp cận máy học: Các kỹ thuật máy học đã cho thấy hiệu suất tốt hơn hẳn so với phương pháp dựa trên ngữ liệu. Giới hạn lớn nhất của các phương pháp máy học là đòi hỏi tập dữ liệu huấn luyện phải đủ lớn để đảm bảo hệ thống có thể hoạt động tốt đạt hiệu suất tối ưu. Tuy nhiên ưu thế của thực trạng hiện nay là dữ liệu lớn luôn có sẵn, chính vì vậy mà việc áp dụng các hướng tiếp cận máy học cho khai phá quan điểm là hoàn toàn phù hợp nhằm cải thiện hiệu suất, tăng độ chính xác và tốc độ xử lý của mô hình. 1.4. Học sâu và nhóm kỹ thuật học sâu được sử dụng trong các mô hình khai phá quan điểm đề xuất Học sâu Học sâu bao gồm một lớp các kỹ thuật và kiến trúc máy học với khả năng sử dụng nhiều lớp trạng thái xử lý thông tin không tuyến tính. Học sâu đã có những thành công quan trọng trong một số ứng dụng trí tuệ nhân tạo và trong thời gian gần đây đã có thể đưa ra kết quả với độ chính xác cao do học nguồn dữ liệu khổng lồ và tận dụng năng lực xử lý mạnh của máy tính.
8 Các kỹ thuật học sâu phổ biến dùng trong xử lý ngôn ngữ tự nhiên và khai phá quan điểm 1.4.2.1. Mạng neural tích chập CNN 1.4.2.2. Mạng neural hồi quy RNN 1.4.2.3. Mạng bộ nhớ ngắn-dài LSTM 1.4.2.4. Mạng đơn vị hồi quy có cổng GRU 1.4.2.5. Mạng bộ nhớ ngắn-dài hai chiều BiLSTM 1.4.2.6. Mạng bộ nhớ ngắn-dài hai chiều độc lập BiIndyLSTM 1.4.2.7. Cơ chế Attention 1.5. Đề xuất nghiên cứu: Khai phá quan điểm với kỹ thuật học sâu Xuất phát từ những tìm hiểu về các hướng nghiên cứu hiện có và những thuận lợi cùng với hạn chế của cả hai hướng tiếp cận cho khai phá quan điểm đã được phân tích ở trên, có thể thấy hướng tiếp cận máy học mà cụ thể là hướng tiếp cận học sâu thể hiện khả năng vượt trội về hiệu suất. Chính vì lý do này tôi đề xuất hướng nghiên cứu mới cho luận án : Khai phá quan điểm với kỹ thuật học sâu. 1.6. Kết luận chương 1 Chương 1 của luận án tìm hiểu về: khai phá, phân tích quan điểm và các hướng tiếp cận hiện nay đối với bài toán khai phá quan điểm; học sâu và các kỹ thuật học sâu hỗ trợ xử lý ngôn ngữ tự nhiên và phân tích quan điểm từ đó xác định hướng tiếp cận cho hệ thống khai phá quan điểm mức khía cạnh đề xuất.
9 CHƯƠNG 2-TRÍCH RÚT KHÍA CẠNH TRONG KHAI PHÁ QUAN ĐIỂM VỚI HƯỚNG TIẾP CẬN HỌC SÂU 2.1. Trích rút khía cạnh với hướng tiếp cận học sâu Trong chương 2 luận án đề xuất sử dụng hướng tiếp cận học sâu cho trích rút khía cạnh với hai mô hình BiGRU-CRF và BiIndyLSTM-CRF. 2.2. Mô hình trích rút khía cạnh với tiếp cận học sâu đề xuất Luận án áp dụng mạng GRU hai chiều kết hợp với CRF trong mô hình thứ nhất (mục 2.2.1) và mạng LSTM hai chiều kết hợp với CRF trong mô hình thứ hai (mục 2.2.2) để trích rút, phân loại khía cạnh. 2.2.1. Mô hình tích hợp BiGRU-CRF cho trích rút khía cạnh Chúng tôi đã chọn GRU căn cứ trên một số tính năng vượt trội: Khả năng tính toán hiệu quả của GRU so với LSTM với cấu trúc có hai cổng tương đối đơn giản so với cấu trúc ba cổng của LSTM. Điểm này giúp cho tốc độ xử lý nhanh hơn và khả năng hiệu chỉnh dễ dàng hơn. Bên cạnh đó, GRU có thể trích xuất các mẫu ngữ nghĩa ở vị trí xa so với vị trí của từ đang xét mà không cần điều chỉnh tham số khi huấn luyện mô hình. Hình 2.1. Cấu trúc mô hình BiGRU-CRF
10 2.2.2. Mô hình tích hợp Bi-IndyLSTM-CRF cho trích rút khía cạnh Nhằm mục đích nghiên cứu, tìm hiểu để xác định kỹ thuật học sâu nào tối ưu hơn trong trích rút khía cạnh, chúng tôi đã chọn sử dụng mạng IndyLSTM cho mô hình thứ hai. Dựa trên những thuận lợi của IndyLSTM so với RNN, LSTM và GRU khi xây dựng mô hình có kiến trúc được phát triển lên nhiều lớp theo chiều sâu, luận án đề xuất mô hình Bi-IndyLSTM-CRF. Hình 2.2. Cấu trúc mô hình Bi-IndyLSTM-CRF 2.3. Kết quả thực nghiệm 2.3.1. Tập dữ liệu sử dụng trong thực nghiệm Luận án đã sử dụng tập dữ liệu SemEval 2014 với hai miền Laptop và Restaurant cho thực nghiệm
11 2.3.2. Kết quả thực nghiệm và đánh giá hiệu quả trích rút khía cạnh F1-score của các mô hình hiện có so với mô hình BiGRU-CRF và Bi- IndyLSTM-CRF đề xuất 90.00% 84.01% 84% 85% 85.10% 85.00% 80% 80.00% 78% 78.50% 74.55% 75.00% 70.00% 65.00% SemEval 2014 B-LSTM &CRF BiGRU &CRF Bi-IndyLSTM &CRF ABSA winners Laptop Restaurant Hình 2.3. Biểu đồ so sánh độ chính xác của hai mô hình đề xuất với các mô hình trước đây 2.4. Kết luận Chương 2 Chương 2 của luận án tìm hiểu, nghiên cứu các tiếp cận trích rút khía cạnh hiện có, trên cơ sở đó đề xuất các mô hình mới thực hiện trích rút khía cạnh của quan điểm trong khai phá quan điểm dựa trên tiếp cận học sâu. Kết quả thực nghiệm cho thấy các mô hình trích rút khía cạnh đề xuất của luận án đã đạt được độ chính xác tương đối cao so với các mô hình trước đây trên cùng tập dữ liệu chuẩn đơn miền.
12 CHƯƠNG 3-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ VỚI HƯỚNG TIẾP CẬN HỌC SÂU 3.1. Khai phá quan điểm mức khía cạnh đa tác vụ Một hệ thống khai phá quan điểm mức khía cạnh đa tác vụ sẽ tiến hành thực hiện ít nhất là hai hoặc nhiều các tác vụ chính trong khai phá quan điểm (trích rút từ mục tiêu, khía cạnh, thực thể, phân loại quan điểm) một cách đồng thời nhằm đáp ứng được tiêu chí tự động phân loại, xác định chính xác quan điểm được bày tỏ tương ứng với khía cạnh nào của thực thể trong bình luận. Trong Chương 3, luận án sử dụng các kỹ thuật học sâu cơ bản CNN, BiGRU và BiLSTM cho mô hình khai phá quan điểm mức khía cạnh đa tác vụ đề xuất. 3.2. Mô hình khai phá quan điểm mức khía cạnh đa tác vụ sử dụng hướng tiếp cận học sâu 3.2.1. Mô hình CNN-BiGRU đề xuất cho trích rút khía cạnh và quan điểm Mô hình CNN-BiGRU được thực nghiệm trên tập dữ liệu SemEval 2014 với hai miền Laptop và Restaurant để trích rút, phân loại khía cạnh và quan điểm một cách đồng thời. Hình 3.4. Cấu trúc mô hình CNN-BiGRU
13 3.2.2. Mô hình CNN-IOB2 đề xuất cho trích rút từ mục tiêu Mô hình CNN-IOB2 sử dụng lớp IOB2 để gán nhãn cho các từ nhằm xác định một từ có là từ mục tiêu hay không. Mô hình được huấn luyện trên tập dữ liệu gán nhãn SemEval 2016 trên miền Restaurant để trích rút từ mục tiêu trên các bình luận. Hình 3.5. Cấu trúc mô hình CNN-IOB2 3.2.3. Mô hình MABSA cho trích rút và phân loại ba tác vụ tiếp theo: khía cạnh, thực thể và quan điểm Hình 3.6. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa tác vụ MABSA
14 Mô hình MABSA gồm một BiLSTM tích hợp trên đỉnh của CNN để phân loại: khía cạnh, thực thể và quan điểm. Mô hình cũng được huấn luyện trên tập dữ liệu gán nhãn SemEval 2016 trên miền Restaurant. 3.3. Kết quả thực nghiệm các mô hình 3.3.1. Tập dữ liệu sử dụng trong thực nghiệm Luận án đã sử dụng tập dữ liệu SemEval 2014 và 2016 với các đơn miền Laptop và Restaurant cho thực nghiệm. 3.3.2. Kết quả thực nghiệm, đánh giá hiệu quả khai phá quan điểm đa tác vụ 3.3.2.1. Kết quả thực nghiệm và đánh giá hiệu suất mô hình CNN- BiGRU Trích rút khía cạnh trên Laptop và Restaurant với độ đo F1 100 80 60 40 20 0 SemEval 2014 ABSA Our previous Our CNN_BiGRU winners BiGRU_CRF Laptop Restaurant Hình 3.7. So sánh độ chính xác của tác vụ trích rút khía cạnh xét trên độ đo F1 của các mô hình hiện có so với mô hình CNN- BiGRU đề xuất
15 Phân loại quan điểm giữa mô hình đề xuất và mô hình hiện có trên miền Laptop và Restaurant với độ đo Accuracy 120 100 80 60 40 20 0 SemEval 2014 ABSA winners Our CNN_BiGRU Laptop Restaurant Hình 3.8. So sánh độ chính xác của tác vụ phân loại hướng quan điểm xét trên độ đo Accuracy của mô hình hiện có so với mô hình CNN-BiGRU đề xuất 3.3.2.2. Kết quả thực nghiệm và đánh giá hiệu suất mô hình CNN- IOB2 So sánh hiệu suất của mô hình đề xuất so với các mô hình hiện có trên cùng miền Restaurant với hai độ đo F1 và Accuracy 120 100 80 60 40 20 0 NLANGP(U) CRF AUEB MIN DE-CNN THA&STN BiDTreeCRF Our CNN-IOB2 model Opinion target extraction F1_score Opinion target extraction Accuracy_score Hình 3.9. Biểu đồ so sánh độ chính xác của mô hình đề xuất với các mô hình hiện có xét trên độ đo F1 và Accuracy
16 3.3.2.3. Kết quả thực nghiệm và đánh giá hiệu suất mô hình đa tác vụ MABSA Đánh giá mô hình MABSA Accuracy_score F1_score Recall_score Precision_score 88 90 92 94 96 98 100 Sentiment Polarity classification Aspect classification Category classification Hình 3.10. Biểu đồ biểu diễn độ đo Precision, Recall, F1 và Accuracy của mô hình MABSA đề xuất 3.4. Kết luận Chương 3 Chương 3 của luận án nghiên cứu hệ thống khai phá quan điểm mức khía cạnh với các tiếp cận trích rút khía cạnh, thực thể và quan điểm một cách riêng lẻ trong từng mô hình hiện có. Dựa trên cơ sở đó, luận án tập trung đề xuất mô hình mới thực hiện trích rút, phân loại đa tác vụ trong khai phá quan điểm mức khía cạnh dựa trên tiếp cận học sâu nhằm tiết kiệm thời gian thiết kế từng mô hình riêng lẻ cho mỗi tác vụ, cải thiện tốc độ xử lý và độ chính xác so với các mô hình trước đây. Các mô hình đề xuất tập trung triển khai: (i) các tác vụ trích rút, phân loại đồng thời khía cạnh và hướng quan điểm thể hiện trên khía cạnh; hoặc (ii) trích rút, phân loại đồng thời từ đích quan điểm, khía cạnh, thực thể và hướng quan điểm thể hiện trên khía cạnh của thực thể trong tài liệu bình luận.
17 CHƯƠNG 4-KHAI PHÁ QUAN ĐIỂM MỨC KHÍA CẠNH ĐA TÁC VỤ ĐA MIỀN VỚI HƯỚNG TIẾP CẬN HỌC SÂU 4.1. Khai phá quan điểm mức khía cạnh đa miền Việc huấn luyện mô hình trên một tập dữ liệu bất kỳ gồm nhiều miền sẽ phát sinh vấn đề liên quan đến hiệu suất của mô hình ứng với từng miền. Điều này dẫn đến phát sinh lãng phí tài nguyên khi phải xây dựng hàng loạt mô hình khác nhau được triển khai trên các miền dữ liệu khác nhau nhằm tăng hiệu suất của mô hình. Chương 4 đề xuất một tiếp cận khác: xây dựng chỉ một mô hình dùng chung thực nghiệm trên tập dữ liệu đa miền. 4.2. Mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền Luận án áp dụng hướng tiếp cận học sâu cho mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền và thực nghiệm trên tập dữ liệu đa miền Laptop_Restaurant và Laptop_Restaurant_Hotel. 4.2.1. Mô hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM Hình 4.11. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa miền
18 Mô hình sử dụng cơ chế tích hợp: (i) mạng CNN hỗ trợ khả năng trích rút tốt các đặc trưng trong tài liệu quan điểm; (ii) mạng BiLSTM hỗ trợ khả năng học các phụ thuộc dài từ cả hai phía của từ đang xét. 4.2.2. Mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền CNN-BiIndyLSTM-Attention Mô hình CNN-BiIndyLSTM-Attention được xây dựng trên cơ sở nhóm các kỹ thuật học sâu bổ trợ cho nhau trong việc học dữ liệu chuỗi: (i) mạng CNN dùng để trích rút các đặc trưng cục bộ mức cao trong chuỗi đầu vào; (ii) mạng BiIndyLSTM hỗ trợ khả năng học các phụ thuộc dài một cách độc lập từ cả hai phía của từ đang xét; (iii) và kết hợp với cơ chế Attention để bắt được các từ quan trọng hỗ trợ làm rõ mối liên quan giữa khía cạnh và ngữ cảnh nhằm tăng hiệu suất phân loại cho mô hình. BiIndyLSTM layer Hình 4.2. Cấu trúc mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền 4.3. Kết quả thực nghiệm 4.3.1. Tập dữ liệu sử dụng trong thực nghiệm Luận án đã sử dụng tập dữ liệu SemEval 2016 với các đơn miền Laptop và Restaurant và hai tập dữ liệu đa miền Laptop_Restaurant và Laptop_Restaurant_Hotel được xây dựng trên
19 cơ sở trộn các miền với nhau một cách ngẫu nhiên dùng cho thực nghiệm 4.3.2. Kết quả thực nghiệm và đánh giá hiệu quả khai phá quan điểm trên đơn miền Trích rút khía cạnh với độ đo Precision, Recall và F1 của mô hình đề xuất so sánh với các mô hình hiện có trên cùng miền Restaurant 100 80 60 40 20 0 NLANGP AUEB MIN THA & STN BiDTree-CRF Our Proposed model Precision Recall F1 Hình 4.3. Biểu đồ so sánh độ chính xác thực thi tác vụ trích rút khía cạnh của mô hình đề xuất với các mô hình hiện có trên miền Restaurant 4.3.3. Kết quả thực nghiệm và đánh giá hiệu quả khai phá quan điểm trên đa miền Bảng 4.1. Kết quả thực nghiệm mô hình đề xuất trên đa miền Laptop_Restaurant xét trên các độ đo Precision, Recall, F1 và Accuracy Đa miền Laptop_Restaurant Mô hình CNN- BiLSTM Precision Recall F1 Accuracy đề xuất Phân loại 99.3 99.3 99.3 99.3 miền
20 Trích rút 83.2 74.6 78.6 78.5 khía cạnh Phân loại quan 93.4 92.6 93.2 93 điểm Bảng 4.4. Kết quả thực nghiệm mô hình đa tác vụ đề xuất trên đa miền Laptop_Restaurant_Hotel xét trên các độ đo Precision, Recall, F1 và Accuracy Đa miền Mô hình Laptop_Restaurant_Hotel CNN- BiIndyLSTM- Attention đề Precision Recall F1 Accuracy xuất Phân loại miền 99.5 99.5 99.4 99.4 Trích rút thực 88.5 80.2 85.6 86.2 thể Trích rút khía 86.2 78.8 82.3 83.5 cạnh Phân loại quan 94.6 93.2 94.3 94.1 điểm 4.4. Kết luận Chương 4 Trong Chương 4, luận án tập trung đề xuất các mô hình khai phá quan điểm mức khía cạnh đa tác vụ đa miền. Mô hình đa tác vụ đề xuất được thực nghiệm trên tập dữ liệu đa miền dựa trên tiếp cận học sâu nhằm: (i) hỗ trợ khả năng làm giàu dữ liệu; (ii) tiết kiệm tài nguyên và tăng tính tiện ích khi chỉ sử dụng một mô hình cho dữ liệu thuộc tất cả các miền khác nhau trong tập dữ liệu; (iii) cải thiện tốc độ xử lý và độ chính xác so với các mô hình trước đây.