Gán nhãn từ loại tiếng Việt sử dụng Mô hình Markov ẩn

Chia sẻ: Hoang Son | Ngày: | Loại File: PDF | Số trang:5

Thêm vào BST

Báo xấu

253
lượt xem 9
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Gãn nhãn từ loại là một trong những bài toán cơ bản của xử lý ngôn ngữ tự nhiên, nó là bước tiền xử lý quan trọng có ảnh hưởng trực tiếp tới các phân tích văn phạm ở mức sâu. Trong bài báo này, chúng tôi trình bày quá trình thực nghiệm áp dụng mô hình Markov ẩn cho bài toán gán nhãn từ loại tiếng Việt. Để thuận tiện cho việc so sánh kết quả, chúng tôi sử dụng kho dữ liệu của nhóm VLSP để huấn luyện và đánh giá chương trình.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Gán nhãn từ loại tiếng Việt sử dụng Mô hình Markov ẩn

Phạm Thị Minh Thu và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 96(08): 39 - 43 GÁN NHÃN TỪ LOẠI TIẾNG VIỆT SỬ DỤNG MÔ HÌNH MARKOV ẨN Phạm Thị Minh Thu*, Đào Thị Thuý Quỳnh Trường Đại học Khoa học – ĐH Thái Nguyên TÓM TẮT Gãn nhãn từ loại là một trong những bài toán cơ bản của xử lý ngôn ngữ tự nhiên, nó là bước tiền xử lý quan trọng có ảnh hưởng trực tiếp tới các phân tích văn phạm ở mức sâu. Trong bài báo này, chúng tôi trình bày quá trình thực nghiệm áp dụng mô hình Markov ẩn cho bài toán gán nhãn từ loại tiếng Việt. Để thuận tiện cho việc so sánh kết quả, chúng tôi sử dụng kho dữ liệu của nhóm VLSP để huấn luyện và đánh giá chương trình. Độ chính xác trung bình của bộ gán nhãn đạt 92.2%. Chúng tôi cũng khảo sát tầm ảnh hưởng của tập huấn luyện đến bộ gán nhãn và mở rộng kho ngữ liệu để cải thiện độ chính xác của bộ gán nhãn. Từ khóa: Gán nhãn từ loại, bộ gán nhãn từ loại, mô hình Markov ẩn, kho ngữ liệu, huấn luyện, đánh giá. GIỚI THIỆU* Trong ngôn ngữ tự nhiên, từ vựng được chia thành thành các lớp (danh từ, động từ, tính từ, giới từ, …) theo chức năng ngữ pháp. Việc xác định đúng loại từ đóng vai trò quan trọng trong việc hiểu đúng và viết đúng. Chẳng hạn, một cụm danh từ chuẩn trong tiếng Việt có tính từ đứng sau danh từ được dịch đúng sang tiếng Anh thì tính từ phải đứng trước danh từ mà nó bổ nghĩa. Hay ví dụ câu Con ngựa đá đá con ngựa đá sẽ là một dẫn chứng cho thấy việc giải thích đúng nghĩa một từ phụ thuộc vào việc nó được xác định đúng từ loại hay không. Việc xác định loại từ cho mỗi từ trong văn bản và gắn cho nó một ký hiệu quy ước được gọi là gán nhãn từ loại (Part-Of-Speech Tagging). Ví dụ câu Con ngựa đá đá con ngựa đá có thể được gán nhãn như sau: Con//NC ngựa//NN đá//VB con//NC ngựa//NN đá//NN. Trong đó: NC là ký hiệu danh từ chỉ loại; NN - danh từ thường và VB là ký hiệu của động từ. Gán nhãn từ loại là một trong những bài toán cơ bản của xử lý ngôn ngữ tự nhiên, là bước tiền xử lý quan trọng để phân tích văn phạm ở mức sâu hơn. Trên thế giới đã có nhiều phương pháp gán nhãn từ loại được áp dụng thành công cho văn bản tiếng Anh với độ chính xác trên 95%. [3] và [8] điểm tên một số mô hình gán nhãn như Mô hình Markov ẩn (HMM), mô hình học máy dựa trên luật (TBL), mô hình cực đại kỳ * Tel: 0988 356337, Email: thupm84@gmail.com vọng (MEM), … Trong đó, bộ gán nhãn dựa trên mô hình Markov ẩn được xây dựng cho tiếng Anh với độ chính xác 93 - 95% [4]. Ở Việt Nam, tính đến nay đã có một số công bố chính thức liên quan đến bài toán gán nhãn từ loại tiếng Việt [2], [3], [5], [6]. Trong đó tiêu biểu nhất là sản phẩm của nhóm VLSP [6] với bộ công cụ gán nhãn sử dụng mô hình học máy MEMs và CRFs được huấn luyện trên tập ngữ liệu gồm 20.000 câu tiếng Việt, đạt độ chính xác 93%. Đặc biệt nhóm VLSP còn chia sẻ kho ngữ liệu để phục vụ cho các nghiên cứu tiếng Việt. Kho ngữ liệu này giúp chúng tôi thuận lợi hơn trong quá trình hiện thực hóa ý tưởng khảo sát hiệu quả của mô hình Markov ẩn cho bài toán gán nhãn từ loại tiếng Việt và so sánh kết quả với nhóm VLSP. Trong bài báo này, ngoài việc trình bày kết quả thực nghiệm mô hình Markov ẩn cho bài toán gán nhãn từ loại tiếng Việt, chúng tôi còn chỉ ra tầm ảnh hưởng của độ lớn tập dữ liệu huấn luyện đến độ chính xác của bộ gán nhãn. MÔ HÌNH MARKOV ẨN (HIDDEN MARKOV MODEL – HMM) HMM là một mô hình thống kê có chứa các tham số quan sát được và các tham số ẩn chưa biết. Mô hình Markov ẩn được biểu diễn dưới dạng đồ thị chuyển trạng thái (Hình 1). Các nút là các trạng thái, qi là các trạng thái ẩn, oi là các trạng thái quan sát được. Các cung là các chuyển trạng thái có gán xác suất. 39 Phạm Thị Minh Thu và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ Việc xác định các tham số ẩn dựa vào các tham số đã biết thông qua các xác suất chuyển trạng thái (từ trạng thái trước sang trạng thái qt) và xác suất nhả trạng thái (trạng thái quan sát được ot nhận trạng thái ẩn qt). 96(08): 39 - 43 T* = argmax P(S | T)P(T) Áp dụng luật chuỗi xác suất ta được (6) : T* = argmax P(w1, w2,…, wn | t1, t2,…, tn)* P(t1, t2,…, tn) (6) Sử dụng mô hình Markov ẩn bậc 1 công thức (6) trở thành công thức (7). n n (7) T * = arg max ∏ P( wi | ti )∏ P(t i | t i −1 ) i =1 Hình 1: Minh họa mô hình Markov ẩn Trong mô hình Markov ẩn tổng quát bậc n, trạng thái qt phụ thuộc vào n trạng thái đứng trước nó. Trong nghiên cứu này chúng tôi chỉ xét với n = 1, tức trạng thái qt phụ thuộc vào trạng thái qt-1 và độc lập với các trạng thái khác, tức là: P(qt|qt-1,qt-2,…) = P(qt|qt-1) (1) P(qt,qt-1,qt-2,…) = P(qt|qt-1) P(qt-1|qt-2)… (2) SỬ DỤNG MÔ HÌNH MARKOV ẨN GÁN NHÃN TỪ LOẠI TIẾNG VIỆT Mô tả bài toán Đầu vào (Input) của bài toán là một câu hay một văn bản tiếng Việt đã được tách từ. Ta cần gán cho mỗi từ một nhãn từ loại tương ứng để thu được đầu ra (Output) mong muốn. Giả sử cho một chuỗi các từ S = w1 w2 …wn và tập hữu hạn các nhãn từ loại T = {T1, T2, …, Tm}. Khi đó, các từ wi là các đối tượng quan sát được và các nhãn ti là các trạng thái ẩn. Ta phải xác định nhãn từ loại ti tương ứng cho mỗi từ wi để thu được T* = t1 t2 … tn (ti ∈ T) để có P(T*/S) là lớn nhất. Tức là ta phải đi tìm: T* = argmax P(T | S) (3) Sử dụng Bayes, P(T|S) được viết theo công thức (4). P (T | S ) = P ( S | T ) P (T ) P (S ) (4) Ta đang quan tâm tới việc tìm chuỗi nhãn phù hợp nhất làm cực đại công thức (3) nên mẫu số trong tất cả các trường hợp là giống nhau, vì vậy ta có thể loại bỏ nó. Do đó, bài toán trở thành tìm chuỗi các nhãn thỏa mãn công thức (5): 40 (5) i =1 Trong mô hình HMM, thuật toán Viterbi thường được sử dụng để tìm dãy trạng thái tối ưu. Với bài toán gán nhãn từ loại, thuật toán này dựa trên công thức truy hồi dưới đây: σ (t ) = max[σ (t ) × P(w | t ) × P(t | t )](8) i +1 j i 1≤k ≤T i +1 k j j k ψ i+1 (t j ) = argmax[σ i (t k ) × P(wi+1 | t j ) × P(t j | t(9) k )] 1≤k ≤T Để tường minh hơn, chúng tôi xin mô tả quá trình tìm ra nhãn cho một câu ví dụ tiếng Việt cụ thể, chẳng hạn câu Tôi viết báo_cáo. Giả sử ký hiệu nhãn Danh từ là NN, nhãn Động từ là VB, nhãn bắt đầu câu là Start, các nhãn khác là ≠ và có bảng xác suất chuyển như sau: Bảng 1. Bảng xác suất chuyển từ loại Sau Trước Start ≠ NN VB ≠ NN VB 0.3 0.2 0.4 0.1 0.4 0.2 0.1 0.8 0.3 0.6 0.5 0.1 Bảng 2. Xác suất nhận nhãn từ loại Từ Nhãn ≠ NN VB Tôi 0.01 0.8 0.19 viết 0.02 0.01 0.97 báo_cáo 0.02 0.5 0.48 Quá trình xác định từ loại cho mỗi từ được mô tả như sau: Khởi trạng : φ0 ( start ) = 1 Xác suất Viterbi cho các thẻ từ đầu tiên : φ1 ( ≠ ) = φ 0 ( start ) p ( ≠ | start ) p ( toi |≠ ) = 0.003 Tương tự, ta có: φ1 ( NN ) = 0 .32 , φ1 (VB ) = 0 . 057 Phạm Thị Minh Thu và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ Xác suất Viterbi cho các thẻ của từ thứ hai: φ 2 ( ≠ ) = max{ φ1 ( ≠ ) p ( ≠ |≠ ) p ( viet |≠ ), φ1 ( NN ) p ( ≠| NN ) p (viet |≠ ), φ1 (VB ) p ( ≠| VB ) p (viet |≠ )} = 0.00256 Do đó, ψ 2 (≠) = NN Tương tự, ta có: φ2 ( NN ) = 0.000456 , ψ 2 ( NN ) = VB φ2 (VB ) = 0.1552 , ψ 2 (VB) = NN Xác suất Viterbi cho các thẻ của từ thứ ba : φ3 (≠) = max {φ 2 (≠) p(≠|≠) p(bao _ cao |≠) , φ2 ( NN ) p (≠| NN ) p(bao _ cao |≠) , φ2 (VB) p (≠| VB ) p (bao _ cao |≠)} = 0.0003104 Do đó, ψ 3 (≠ ) = VB Tương tự, ta có: φ3 ( NN ) = 0.06208 , ψ 3 ( NN ) = VB φ2 (VB ) = 0.0074496 , ψ 3 (VB ) = VB Kết quả: Tôi//NN viết//VB báo_cáo//NN Quy trình thực nghiệm và dữ liệu Vấn đề đầu tiên cần quan tâm chính là các nhãn từ loại được ký hiệu như thế nào. Với mục đích sử dụng chung kho ngữ liệu để tiện so sánh kết quả nên chúng tôi xây dựng tập nhãn từ loại tương tự với tập nhãn của nhóm VLSP. Tập nhãn đó được giới thiệu ở bảng 3. Vấn đề thứ hai là cần phải có tập ngữ liệu để thống kê xác suất. Như đã giới thiệu ở trên, chúng tôi sử dụng dữ liệu của đề tài cấp Nhà nước KC01.01/06-10 "Nghiên cứu phát triển 96(08): 39 - 43 một số sản phẩm thiết yếu về xử lí tiếng nói và văn bản tiếng Việt". Kết quả của đề tài được đăng t ải trên websites http://vlsp.vietlp.org:8080 để phục vụ cho các nghiên cứu tiếng Việt. Tập dữ liệu gồm 20000 câu được chuẩn hoá theo tập nhãn quy ước của chúng tôi, trong đó tất cả các loại dấu câu, các ký hiệu đặc biệt được gán nhãn //S. Xác suất được tính từ tập dữ liệu huấn luyện theo công thức Maximum Likehood Estimate. Khi gán nhãn, những từ mới không có trong tập huấn luyện được xử lý bằng công thức Laplace Smoothing. Quy trình thực nghiệm gán nhãn của chúng tôi gồm các bước sau: Bước 1: Đọc tệp dữ liệu huấn luyện. Bước 2: Huấn luyện tính xác suất. Bước 3: Gán nhãn từ loại sử dụng mô hình Markov ẩn và thuật toán quy hoạch động Viterbi. Bước 4: Đánh giá bộ gán nhãn. Kết quả thực nghiệm Chúng tôi cài đặt chương trình gán nhãn từ loại tiếng Việt VnPOS bằng ngôn ngữ C# trên Winform thực hiện các chức năng: Đọc file huấn luyện; Tính và hiển thị bảng xác suất; Hiển thị từ điển; Gán nhãn file văn bản, gán nhãn câu được nhập vào từ bàn phím; Đánh giá độ chính xác của quá trình gán nhãn. Hình 2 dưới đây là minh họa giao diện chính chương trình. Hình 2. Giao diện chính chương trình VnPOS 41 Phạm Thị Minh Thu và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 96(08): 39 - 43 Bảng 3. Tập nhãn từ loại tiếng Việt STT 1 2 3 4 5 6 7 Nhãn NN NC AD CC D IN JJ Loại từ Danh từ thường Danh từ chỉ loại Phụ từ Liên từ Định từ và số từ Giới từ Tính từ Tập dữ liệu gồm 20000 câu được chia thành tập huấn luyện gồm 16000 câu và tập dùng để đánh giá gồm 4000 câu. Sau nhiều lần thực nghiệm, độ chính xác trung bình của bộ gán nhãn là 92.2%. Độ chính xác được đánh giá bằng [số từ được gán nhãn đúng] / [tổng số từ trong văn bản]. Kết quả này khá tương đồng so với bộ gán nhãn VietTagger của nhóm VLSP (93%). Trong một thực nghiệm khác, chúng tôi sử dụng toàn bộ 20000 câu của tập ngữ liệu để huấn luyện và xây dựng tập dữ liệu đánh giá khoảng 1000 câu. Kết quả độ chính xác của chương trình được cải tiến đáng kể, đạt trên 95%. Qua đó cho thấy việc mở rộng kho ngữ liệu cải thiện đáng kể độ chính xác của bộ gán nhãn. Để kiểm chứng kỹ hơn nhận định trên, chúng tôi tiến hành thay đổi độ lớn của tập huấn luyện. Kết quả cho thấy tập dữ liệu huấn luyện càng lớn thì độ chính xác của bộ gán nhãn càng cao (Hình 3). F-score (%) 100 95 .1 95 92.2 90 85 86 .7 82.6 80 75 10 12 16 20 Sè c©u (®¬n vÞ ngh×n) Hình 3. Kết quả bộ gán nhãn khi thay đổi độ lớn tập huấn luyện. 42 STT 8 9 10 11 12 13 14 Nhãn NP PP RB UH VB X S Loại từ Danh từ riêng Đại từ Trợ từ Thán từ Động từ Từ không phân loại Ký hiệu đặc biệt KẾT LUẬN Trong bài báo này, chúng tôi đã giới thiệu về bài toán gán nhãn từ loại, mô hình Markov ẩn và quy trình áp dụng mô hình này cho bài toán gán nhãn từ loại tiếng Việt. Chương trình gán nhãn VnPOS do chúng tôi cài đặt thu được độ chính xác trung bình là 92.2% Chúng tôi dự định mở rộng kho ngữ liệu đồng thời áp dụng kỹ thuật tích hợp luật vào quá trình gán nhãn để hi vọng nâng cao chất lượng của VnPOS. TÀI LIỆU THAM KHẢO [1]. Diệp Quang Ban, (2004), Ngữ pháp Việt Nam, Nxb Đại học sư phạm. [2]. Nguyễn Văn Châu, Phan Thị Tươi, Cao Hoàng Trụ, (2006), "Gán nhãn từ loại cho Tiếng Việt dựa trên văn phong và tính toán xác suất", Tạp chí KH&CN, tập 9, số 2. [3]. Dinh Dien, Hoang Kiem, (2003), "POSTagger for English-Vietnamese Bilingual Corpus", HLT-NAACL 2003 Proceeding Workshop. [4]. Leech G., Garside R., and Bryant M., (1994), "CLAWS4: The tagging of the British National Corpus", In Proceedings of COLING 94, 622-628. [5]. Nguyễn Thị Huyền, Vũ Xuân Lương, Lê Hồng Phương, (2003), "Sử dụng bộ gán nhãn từ loại xác suất QTAG cho văn bản Tiếng Việt". Báo cáo hội thảo ICT.rda. [6]. Tran T-O, Le A-C, Ha Q-T, Le H-Q, (2009), "An Experimental Study on Vietnamese POS Tagging", Asian Language Processing, International Conference on, 23-27. [7]. Christopher D.Manning Hinrich Schutze, (1999), Founddations of Statistical Natural Language Processing, Massachusetts Institute of Technology, USA. [8]. Scott M. Thede and Mary P. Harper, (1999), "A Second-Order Hidden Markov Model for Partof-Speech Tagging", Proceedings of the ACL. Phạm Thị Minh Thu và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 96(08): 39 - 43 SUMMARY AN EXPERIMENTAL STUDY ON VIETNAMESE PART -OF-SPEECH TAGGING USING HIDDEN MARKOV MODEL Pham Thi Minh Thu*, Dao Thi Thuy Quynh College of Sciences - TNU Part-of-Speech tagging is one of the basic problems of natural language processing, it is an important pre-processing step that effects directly to the futher grammatical analysis. In this paper, we present the experimental application of Hidden Markov model for Vietnamese POS tagging. In order to facilitate the comparison of results, we use the corpus of VLSP group for training and evaluating our POS-Tagger. Average accuracy is about 92.2%. We also investigate the impact of the training set and expand the corpus to improve the accuracy of the POS-Tagger. Key words: Part-Of-Speech tagging (POS tagging), POS-Tagger, Hidden Markov Model (HMM), corpus, training, testing * Tel: 0988 356337, Email: thupm84@gmail.com 43