Phân loại câu hỏi kiểu what sử dụng nhiều loại đặc trưng

TẠP CHÍ KHOA HỌC<br /> Khoa học Tự nhiên và Công nghệ, Số 6 (9/2016) tr 81 - 89<br /> <br /> PHÂN LOẠI CÂU HỎI KIỂU “WHAT”<br /> SỬ DỤNG NHIỀU LOẠI ĐẶC TRƯNG<br /> <br /> Nguyễn Văn Tú<br /> Khoa Toán - Lý - Tin, Trường Đại học Tây Bắc<br /> <br /> Tóm tắt: Phân loại câu hỏi là một thành phần quan trọng trong các hệ thống hỏi đáp tự động.<br /> Nhiệm vụ chính của phân loại câu hỏi là dự báo kiểu thực thể của câu trả lời của các câu hỏi viết bằng<br /> ngôn ngữ tự nhiên. Trong các hệ thống hỏi đáp tự động, các câu hỏi với từ để hỏi What chiếm phần<br /> lớn, nhưng việc phân loại các câu hỏi này lại có nhiều khó khăn hơn so với việc phân loại các câu hỏi<br /> khác. Trong bài báo này chúng tôi đề xuất việc trích rút các đặc trưng phù hợp nhằm phân loại câu hỏi<br /> What đạt độ chính xác cao. Chúng tôi cũng đề xuất sử dụng mẫu câu hỏi như là một đặc trưng mới để<br /> kết hợp với các đặc trưng khác trong phân loại câu hỏi. Chúng tôi đã kiểm tra những đề xuất của mình<br /> bằng cách sử dụng bộ phân loại Support Vector Machine trên bộ dữ liệu TREC và đã đạt được độ<br /> chính xác phân loại câu hỏi What cao hơn so với những nghiên cứu trước đó trên cùng nguyên tắc<br /> phân loại và tập dữ liệu.<br /> Từ khóa: Phân loại câu hỏi, hệ thống hỏi đáp, mẫu câu hỏi, máy hỗ trợ vectơ.<br /> <br /> 1. Tổng quan<br /> Hệ thống hỏi đáp tự động đã trở thành hướng nghiên cứu quan trọng trong xử lý<br /> ngôn ngữ tự nhiên [4,9]. Mục đích của các hệ thống hỏi đáp tự động là tìm kiếm câu trả<br /> lời chính xác và ngắn gọn cho những câu hỏi viết bằng ngôn ngữ tự nhiên thay vì trả về<br /> một danh sách các tài liệu liên quan đến câu hỏi như trong các máy tìm kiếm. Phân loại<br /> câu hỏi là một thành phần quan trọng trong các hệ thống hỏi đáp tự động. Nhiệm vụ<br /> chính của phân loại câu hỏi là dự báo kiểu thực thể của câu trả lời của các câu hỏi viết<br /> bằng ngôn ngữ tự nhiên. Có nhiều cách tiếp cận khác nhau để phân loại câu hỏi như:<br /> tiếp cận dựa trên luật [2,3], tiếp cận dựa trên học máy [1,7,10]. Trong nghiên cứu của<br /> mình, chúng tôi sử dụng tiếp cận dựa trên học máy với việc sử dụng nhiều đặc trưng và<br /> sử dụng mẫu câu hỏi (Question pattern) như là một đặc trưng mới để kết hợp với các<br /> đặc trưng đã có. Chúng tôi nhận thấy rằng khi sử dụng mẫu câu hỏi như là một đặc<br /> trưng và kết hợp với các đặc trưng từ vựng, cú pháp, ngữ nghĩa khác có thể cải thiện<br /> đáng kể độ chính xác của phân loại câu hỏi. Chúng tôi đã kiểm tra những đề xuất của<br /> mình bằng cách sử dụng bộ phân loại Support Vector Machine trên bộ dữ liệu TREC và<br /> đã đạt được độ chính xác phân loại câu hỏi What cao hơn so với những nghiên cứu<br /> trước đó trên cùng nguyên tắc phân loại và tập dữ liệu.<br /> 2. Một số vấn đề cơ bản về phân loại câu hỏi<br /> 2.1. Nguyên tắc phân loại câu hỏi<br /> <br /> Ngày nhận bài: 22/3/2016. Ngày nhận đăng: 25/9/2016<br /> Liên lạc: Nguyễn Văn Tú, e - mail thuandhtb@gmail.com<br /> <br /> <br /> <br /> 81<br />  Một tập các loại câu hỏi (các lớp) thường được đại diện như là nguyên tắc phân<br /> loại câu hỏi. Các nguyên tắc phân loại câu hỏi khác nhau được đề xuất trong các công<br /> trình nghiên cứu khác nhau, nhưng hầu hết trong các nghiên cứu gần đây đều dựa trên<br /> nguyên tắc phân loại hai lớp được đề xuất bởi Li và Roth (2002)1 [6]. Nguyên tắc phân<br /> loại này bao gồm 6 lớp thô và 50 lớp mịn. Bảng 1 là danh sách các lớp theo nguyên tắc<br /> phân loại này.<br /> Bảng 1. Các lớp câu hỏi thô và mịn<br /> Lớp câu hỏi thô Lớp câu hỏi mịn<br /> ABBREVIATION Abbreviation, expression<br /> ENTITY Animal, body, color, creative, currency, dis.med, event, food,<br /> instrument, lang, letter, other, plant, product, religion, sport,<br /> substance, symbol, technique, term, vehicle, word<br /> DESCRIPTION Definition, description, manner, reason<br /> HUMAN Group, individual, title, description<br /> LOCATION City, country, mountain, other, state<br /> NUMERIC Code, count, date, distance, money, order, other, period, percent,<br /> speed, temperature, size, weight<br /> 2.2. Thuật toán phân loại câu hỏi<br /> Có nhiều bộ phân loại khác nhau đã được sử dụng trong phân loại câu hỏi như:<br /> Support Vector Machine, Naive Bayesian, Maximum Entropy Models, Sparse Network<br /> of Winnows, … Tuy nhiên trong các bộ phân loại đó thì Support Vector Machine với<br /> hàm nhân tuyến tính được xem là hiệu quả hơn cả [1,3,8] vì trong vấn đề phân loại câu<br /> hỏi các câu hỏi được biểu diễn trong không gian có số chiều rất lớn, điều này có thể<br /> được phân loại tốt bởi Support Vector Machine. Chính vì vậy trong nghiên cứu của<br /> mình, chúng tôi sử dụng bộ phân loại Support Vector Machine với hàm nhân tuyến tính.<br /> 2.3. Hiệu suất trong phân loại câu hỏi<br /> Thông thường hiệu suất của bộ phân loại câu hỏi được đo bằng việc tính toán<br /> chính xác trong đó phân loại vào một tập kiểm tra cụ thể. Độ chính xác (accuracy) của<br /> bộ phân loại câu hỏi được định nghĩa như sau:<br /> <br /> <br /> <br /> Ngoài ra còn có độ chính xác của bộ phân loại trên một lớp cụ thể precision.<br /> Precision của một bộ phân loại trên một lớp cụ thể c được định nghĩa như sau:<br /> <br /> <br /> <br /> Đối với các hệ thống trong đó một câu hỏi chỉ có thể thuộc về một lớp, một câu<br /> hỏi được phân loại đúng nếu như nhãn dự báo là tương tự như nhãn đúng. Nhưng đối<br /> với các hệ thống mà cho phép một câu hỏi được phân loại vào nhiều hơn một nhãn lớp<br /> <br /> 1<br /> http://cogcomp.cs.illinois.edu/Data/QA/QC/definition.html<br /> <br /> 82<br /> [9,10], một câu hỏi được phân loại đúng nếu một trong các nhãn lớp dự đoán là tương tự<br /> với nhãn đúng.<br /> 3. Trích rút các đặc trưng cho phân loại câu hỏi<br /> Các đặc trưng trong phân loại câu hỏi có thể được phân thành 3 loại khác nhau:<br /> các đặc trưng về từ vựng, các đặc trưng về cú pháp và các đặc trưng về ngữ nghĩa.<br /> 3.1 Trích rút các đặc trưng từ vựng<br /> Các đặc trưng từ vựng của một câu hỏi thường được trích rút dựa trên ngữ cảnh<br /> các từ của câu hỏi, nghĩa là, các từ đó xuất hiện trong một câu hỏi. Trong phân loại câu<br /> hỏi, một câu hỏi được biểu diễn giống như sự biểu diễn tài liệu trong mô hình không<br /> gian vectơ. Một câu hỏi q có thể được biểu diễn như sau:<br /> q = {(t1, f1), …, (tp, fp)}<br /> trong đó ti là từ thứ i trong câu hỏi q và fi là tần số xuất hiện của ti trong câu hỏi q. Bảng<br /> 2 là danh sách các đặc trưng từ vựng của câu hỏi “Who was elected president of South<br /> Africa in 1994 ?”.<br /> Bảng 2. Ví dụ về các đặc trưng từ vựng<br /> Tên đặc trưng Đặc trưng<br /> Unigram {(Who, 1) (was, 1) (elected, 1) (president, 1) (of, 1) (South, 1) (Africa, 1)<br /> (in, 1) (1994, 1) (?, 1)}<br /> Bigram {(Who-was, 1), (was-elected, 1), (elected-president, 1), (president-of, 1),<br /> (of-South, 1), (South-Africa, 1), (Africa-in, 1), (in-1994, 1), (1994-?, 1)}<br /> Trigram {( Who-was-elected, 1), (was-elected-president, 1), …, (in-1994-?, 1)}<br /> Word-Shapes {(lowercase, 5) (mix, 3) (digit, 1) (other, 1)}<br /> 3.2 Trích rút các đặc trưng cú pháp<br /> Các đặc trưng cú pháp có thể được trích rút dựa vào việc phân tích cấu trúc cú<br /> pháp của câu hỏi.<br /> Tagged Unigrams<br /> Tagged Unigrams cho biết thẻ từ loại của mỗi từ trong câu hỏi như NN (Noun -<br /> danh từ), NP (Noun Phrase - cụm danh từ), VP (Verb Phrase - cụm động từ), JJ<br /> (adjective - tính từ), … Ví dụ câu hỏi sau “Who was elected president of South Africa in<br /> 1994 ?” với đặc trưng Tagged Unigrams của nó: {Who_WP, was_VBD, elected_VBN,<br /> president_NN, of_IN, South_NNP, Africa_NNP, in_IN, 1994_CD, ?_.}<br /> Head Word<br /> Một head wor thường được định nghĩa như là các từ khóa hoặc từ trung tâm<br /> trong một câu. Nó được xác định dựa trên cây phân tích cú pháp của câu đầu vào. Như<br /> đã đề cập trong [3], head word là những từ chứa thông tin quan trọng cho việc xác định<br /> các đối tượng mà câu hỏi đó đang tìm kiếm. Do đó, việc xác định head word một cách<br /> chính xác có thể cải thiện đáng kể độ chính xác phân loại vì nó là từ thông tin nhất trong<br /> câu hỏi. Ví dụ cho câu hỏi “What is the oldest city in Spain ?” head word là “city”. Từ<br /> “city” trong câu hỏi này có thể có đóng góp cao cho bộ phân loại để phân loại câu hỏi<br /> <br /> 83<br /> này là “LOCATION: city”. Bảng 3 là danh sách một số câu hỏi từ tập dữ liệu TREC<br /> cùng với nhãn lớp của chúng.<br /> Bảng 3. Danh sách các câu hỏi từ tập dữ liệu TREC cùng các nhãn lớp của nó.<br /> Head word của mỗi câu hỏi là từ được gạch chân<br /> Câu hỏi Nhãn lớp<br /> What city has the zip code of 35824 ? LOCATION: city<br /> Who developed the vaccination against polio ? HUMAN: individual<br /> Who invented the slinky ? HUMAN: individual<br /> George Bush purchased a small interest in which baseball team ? HUMAN: group<br /> Mẫu câu hỏi (Question Pattern)<br /> Qua nghiên cứu tập dữ liệu TREC chúng tôi nhận thấy một số câu hỏi không có<br /> đặc trưng head word. Ví dụ đối với câu hỏi “What is biosphere ?” không có đặc trưng<br /> head word nào phù hợp. Để định nghĩa một đặc trưng thay thế cho head word của câu<br /> hỏi chúng tôi đề xuất sử dụng mẫu câu hỏi như một kiểu đặc trưng từ vựng. Mỗi câu hỏi<br /> sẽ được ánh xạ tới một mẫu câu hỏi và sau đó sử dụng mẫu tương ứng như là một đặc<br /> trưng dùng để phân loại. Bảng 4 liệt kê danh sách một số mẫu câu hỏi2.<br /> Bảng 4. Ví dụ về một số mẫu câu hỏi<br /> Mẫu câu hỏi Nhãn lớp<br /> What (causes|caused) DESCRIPTION:reason<br /> How is .* defined DESCRIPTION:definition<br /> Where .* (M|m)ountai(n|ns) LOCATION:mountain<br /> How much .* weight NUMERIC:weight<br /> 3.3. Trích rút các đặc trưng ngữ nghĩa<br /> Các đặc trưng ngữ nghĩa là hữu ích cho các trường hợp dữ liệu thưa thớt. Từ<br /> khái niệm ngữ nghĩa mức độ cao hơn chúng ta có thể có được mối quan hệ giữa các từ<br /> khác nhau hay nói cách khác chúng ta có thể có được sự giống nhau giữa các từ. Có một<br /> số cách để trích xuất thông tin ngữ nghĩa và thiết kế đặc trưng ngữ nghĩa, như dưới đây.<br /> Hypernyms<br /> WordNet là một cơ sở dữ liệu từ vựng của các từ trong tiếng Anh, nó cung cấp<br /> một hệ thống thứ bậc của từ vựng mà kết hợp một từ với các khái niệm ngữ nghĩa mức<br /> cao hơn gọi là hypernyms. Ví dụ hypernyms của từ “city” là “municipality”.<br /> Related Words<br /> Đặc trưng ngữ nghĩa khác mà chúng tôi sử dụng là related words dựa trên ý tưởng<br /> của Li và Roth [7]. Họ định nghĩa một nhóm các từ, mỗi nhóm từ biểu diễn bởi một<br /> tên. Nếu một từ trong câu hỏi xuất hiện trong một hoặc nhiều nhóm, loại tương ứng của<br /> nó sẽ được bổ sung vào vectơ đặc trưng. Cho ví dụ nếu một trong số các từ {birthday,<br /> birthdate, day, decade, hour, week, month, year} xuất hiện trong câu hỏi, sau đó tên loại<br /> của nó, date sẽ được thêm vào vectơ đặc trưng.<br /> <br /> 2<br /> https://qa.l2f.inesc-id.pt/wiki/images/6/6a/QuestionPatterns.txt<br /> <br /> 84<br /> Question Category<br /> Sử dụng hệ thống phân cấp WordNet để tính toán độ tương tự của head word của<br /> câu hỏi với mỗi lớp. Lớp với độ tương tự cao nhất sẽ được xem xét như là một đặc<br /> trưng và được bổ sung vào vectơ đặc trưng. Xét câu hỏi: “What American composer<br /> wrote the music for “West Side Story” ?”. Head word của câu hỏi này là “composer”.<br /> Để tìm đặc trưng question category, xem sét sự giống nhau của từ “composer” với tất cả<br /> các lớp câu hỏi. Lớp nào với sự giống nhau cao nhất sẽ được thêm vào vectơ đặc trưng.<br /> Trong ví dụ này, lớp giống nhau cao nhất là “individual” và do đó đặc trưng loại câu hỏi<br /> sẽ là {(individual, 1)}.<br /> Query Expansion<br /> Đặc trưng query expansion mà về cơ bản rất giống đặc trưng hypernym. Như<br /> chúng tôi đã trình bày trước đó, chúng ta thêm hypernym của head word vào vectơ đặc<br /> trưng với các từ lấy từ hệ thống phân cấp WordNet. Để đánh giá vai trò của các từ mới<br /> thêm này, người ta định nghĩa một tham số trọng số cho các từ mới thêm này. Bảng 5<br /> liệt kê danh sách các đặc trưng ngữ nghĩa được thảo luận trong phần này cho câu hỏi<br /> “What river flows between Fargo, North Dakota and Moorhead, Minnesota ?”.<br /> Bảng 5. Ví dụ về các đặc trưng ngữ nghĩa<br /> Tên đặc trưng Đặc trưng<br /> Hypernyms {(river, 1) (stream, 1) (body-of-water, 1) (thing, 1)<br /> (physical-entity, 1) (entity, 1)}<br /> Related Words {(rel:What, 1) (rel:list.tar, 2) (rel:loca, 2)}<br /> Question Category {(other, 1)}<br /> Query Expansion {(river, 1) (stream, 0.6) (body-of-water, 0.36) (thing, 0.22)<br /> (physical-entity, 0.13) (entity, 0.08)}<br /> 4. Các thực nghiệm<br /> 4.1 Tập dữ liệu<br /> Để thực hiện các thực nghiệm của mình, chúng tôi sử dụng bộ dữ liệu chuẩn<br /> TREC3 và trích rút các đặc trưng cơ bản từ mỗi câu hỏi bao gồm: Unigrams (U),<br /> Bigrams (B), Trigram (Tri), Word-Shapes (WS), Tagged Unigrams (TgU), Head-Word<br /> (H), Hypernyms (HY), Query-Expansion (QE), Question-Category (QC), Related-<br /> Words (R), Question-Pattern (QP). Tập dữ liệu huấn luyện bao gồm 5500 câu hỏi đã<br /> gán nhãn. Tập dữ liệu dùng để kiểm tra gồm 343 câu hỏi với từ để hỏi What trong tổng<br /> số 500 câu hỏi độc lập đã gán nhãn. Chúng tôi cũng sử dụng nguyên tắc phân loại của<br /> Li và Roth (2002) đã được giới thiệu trong phần 2.1. Bảng 6 trình bày các loại câu hỏi<br /> trong tập dữ liệu kiểm tra và độ chính xác của chúng trong phân loại khi chỉ sử dụng<br /> đặc trưng Unigram.<br /> <br /> <br /> <br /> 3<br /> http://cogcomp.cs.illinois.edu/Data/QA/QC/<br /> <br /> 85<br />  Bảng 6. Số lượng mỗi loại câu hỏi và độ chính xác phân loại<br /> trong tập dữ liệu kiểm tra TREC<br /> Câu hỏi với Độ chính xác phân<br /> Số lượng<br /> từ để hỏi loại lớp mịn (%)<br /> What 343 75,80<br /> Which 6 100<br /> Where 26 92,31<br /> When 26 100<br /> Why 4 100<br /> Who 47 93,62<br /> How 33 87,88<br /> Câu hỏi khác 15 53,33<br /> Từ Bảng 6 cho thấy số lượng câu hỏi với từ để hỏi What chiếm phần lớn (68.6%)<br /> nhưng độ chính xác phân loại lại chỉ đạt 75.8%, thấp hơn nhiều so với các câu hỏi với<br /> các từ để hỏi khác. Chính vì vậy để nâng cao độ chính xác trong phân loại câu hỏi trước<br /> tiên cần nâng cao độ chính xác trong phân loại câu hỏi với từ để hỏi What.<br /> 4.2. Các thực nghiệm<br /> Trong thực nghiệm thứ nhất chúng tôi muốn kiểm tra sự đóng góp của đặc trưng<br /> từ vựng mà chúng tôi đã trình bày trong mục 3.1. Các kết quả của thực nghiệm này<br /> được cho trong Bảng 7.<br /> Bảng 7. Độ chính xác phân loại câu hỏi What khi sử dụng các đặc trưng từ vựng<br /> Độ chính xác phân loại<br /> Tập đặc trưng<br /> Lớp thô (%) Lớp mịn (%)<br /> Unigrams (U) 83,67 75,80<br /> Bigrams (B) 82,22 69,68<br /> Trigram (Tri) 59,18 52,77<br /> Word-Shapes (WS) 44,32 36,44<br /> U + B + Tri 85,71 74,64<br /> U + B + WS 87,46 75,51<br /> U + B + Tri + WS 88,05 75,22<br /> Trong thực nghiệm thứ hai chúng tôi muốn kiểm tra sự đóng góp của đặc trưng cú<br /> pháp mà chúng tôi đã trình bày trong mục 3.2. Các kết quả của thực nghiệm này được<br /> cho trong bảng 8.<br /> Bảng 8. Độ chính xác phân loại câu hỏi What khi sử dụng các đặc trưng cú pháp<br /> Độ chính xác phân loại<br /> Tập đặc trưng<br /> Lớp thô (%) Lớp mịn (%)<br /> Tagged Unigrams (TgU) 82,80 76,09<br /> Head-Word (H) 45,48 41,69<br /> Question-Pattern (QP) 50,44 40,23<br /> <br /> 86<br />  H + QP 77,84 72,89<br /> TgU + H + QP 85,13 78,43<br /> Trong thực nghiệm thứ ba chúng tôi muốn kiểm tra sự đóng góp của đặc trưng<br /> ngữ nghĩa mà chúng tôi đã trình bày trong mục 3.3. Các kết quả của thực nghiệm này<br /> được cho trong Bảng 9.<br /> Bảng 9. Độ chính xác phân loại câu hỏi What khi sử dụng các đặc trưng ngữ nghĩa<br /> Độ chính xác phân loại<br /> Tập đặc trưng<br /> Lớp thô (%) Lớp mịn (%)<br /> H + Hypernyms (HY) 79,01 43,44<br /> H + Query-Expansion (QE) 78,43 44,32<br /> H + Question-Category (QC) 78,40 55,39<br /> H + Related-Words (R) 83,97 79,3<br /> H + HY + QE + QC + R 82,80 82,80<br /> H + QE + QC + R 83,67 82,81<br /> Trong thực nghiệm thứ tư chúng tôi muốn kiểm tra sự đóng góp của sự kết hợp<br /> các tập đặc trưng từ vựng, cú pháp và ngữ nghĩa nhằm đạt được kết quả phân loại tốt<br /> nhất. Các kết quả của thực nghiệm này được cho trong Bảng 10.<br /> Bảng 10. Độ chính xác phân loại câu hỏi What khi sử dụng sự kết hợp<br /> của các đặc trưng từ vựng, cú pháp, ngữ nghĩa<br /> Độ chính xác phân loại<br /> Tập đặc trưng<br /> Lớp thô (%) Lớp mịn (%)<br /> U + B + WS + H + QP 87,46 78,43<br /> U + B + WS + H + QE + QC + R 90,67 88,05<br /> U + B + WS + H + QE + QC + R + QP 92,25 89,21<br /> Từ các thực nghiệm trên chúng tôi nhận thấy đề xuất của chúng tôi coi mẫu câu<br /> hỏi như là một đặc trưng để phân loại sẽ cho hiệu quả cao hơn trong phân loại câu hỏi<br /> với từ để hỏi What trong cả lớp thô và lớp mịn.<br /> 5. So sánh với các nghiên cứu khác<br /> Bây giờ chúng tôi so sánh các kết quả nghiên cứu của mình với các kết quả nghiên<br /> cứu của các tác giả trước đó.<br /> Bảng 11. Bảng so sánh độ chính xác của các nghiên cứu khác nhau về phân<br /> loại câu hỏi. Các đặc trưng: Unigrams (U), Bigrams (B), Word-Shapes (WS), POS-<br /> tags (P), Head-Word (H), Hypernyms (HY),Query-Expansion (QE), Question-<br /> Category (QC), Synonyms (S), Name-Entities (NE), Related-Words (R), Question-<br /> Pattern (QP).<br /> Bộ phân Độ chính xác phân loại<br /> Tác giả Đặc trưng<br /> loại Lớp thô Lớp mịn<br /> Li and Roth (2004) [7] SEM U+P+HC+NE+R 85,79%<br /> +S<br /> Fangtao Li et al.(2008) CRF U+P+NE+HY 82,05%<br /> <br /> 87<br />  [5] +Length<br /> Loni et al. (2011) [8] Linear U+WS+B+H+QE 90,50% 86,20%<br /> SVM +R+ QC<br /> Nghiên cứu của chúng Linear U+WS+B+H+R<br /> 92,25% 89,21%<br /> tôi SVM +QE+QC+QP<br /> Từ Bảng so sánh 11 cho thấy cách tiếp cận của chúng tôi cho độ chính xác phân<br /> loại cao nhất cho phân loại lớp thô và lớp mịn lần lượt là 92,25% và 89,21%.<br /> 6. Kết luận và hướng phát triển<br /> Chúng tôi đã trình bày một tiếp cận dựa trên học máy để phân loại câu hỏi với từ<br /> để hỏi What. Để huấn luyện một thuật toán học, chúng tôi đã trích rút một tập các đặc<br /> trưng tốt từ vựng, cú pháp và ngữ nghĩa. Chúng tôi cũng đề xuất sử dụng mẫu câu hỏi<br /> như một đặc trưng mới để kết hợp với các đặc trưng từ vựng, cú pháp và ngữ nghĩa. Các<br /> kết quả thực nghiệm đã chứng minh rằng các đề xuất của chúng tôi cho hiệu quả phân<br /> loại cao hơn so với các công trình nghiên cứu trước đó trên cùng nguyên tắc phân loại<br /> và tập dữ liệu. Chúng tôi cũng nhận thấy rằng việc kết hợp của tất cả các đặc trưng từ<br /> vựng, cú pháp và ngữ nghĩa của câu hỏi để phân loại là không cần thiết. Chính vì vậy<br /> trong nghiên cứu tiếp theo chúng tôi sẽ nghiên cứu làm thế nào để kết hợp các đặc trưng<br /> tốt hơn nhằm đạt được sự phân loại có độ chính xác cao hơn.<br /> <br /> TÀI LIỆU THAM KHẢO<br /> <br /> [1] Zhiheng Huang, Marcus Thint, and Zengchang Qin, 2008, Question<br /> classification using head words and their hypernyms, In Proceedings of the<br /> Conference on Empirical Methods in Natural Language Processing, (EMNLP<br /> ’08), pp 927-936.<br /> [2] David A. Hull, 199, Xerox TREC-8 question answering track report, In In<br /> Voorhees and Harman.<br /> [3] Vijay Krishnan, Sujatha Das, and Soumen Chakrabarti, 2005, Enhanced answer<br /> type inference from questions using sequential models, In Proceedings of the<br /> conference on Human Language Technology and Empirical Methods in Natural<br /> Language Processing, HLT ’05, pp 315-322.<br /> [4] Wendy G. Lehnert, 1977, A conceptual theory of question answering, In<br /> Proceedings of the 5th international joint conference on Artificial intelligence,<br /> Volume 1, pp158-164.<br /> [5] Fangtao Li, Xian Zhang, Jinhui Yuan, and Xiaoyan Zhu, 2008, Classifying<br /> what-type questions by head noun tagging, In Proceedings of the 22nd<br /> International Conference on Computational Linguistics - Volume 1, COLING<br /> ’08, pp 481-488.<br /> [6] Xin Li and Dan Roth, 2002, Learning question classifiers, In Proceedings of the<br /> 19th international conference on Computational linguistics, COLING ’02, pp 1-7.<br /> [7] Xin Li and Dan Roth, 2004, Learning question classifiers: The role of semantic<br /> information, In Proc. International Conference on Computational Linguistics<br /> (COLING), pp 556-562.<br /> <br /> <br /> <br /> 88<br /> [8] Babak Loni, Gijs van Tulder, Pascal Wiggers, David M.J. Tax, and Marco Loog,<br /> 2011, Question classification with weighted combination of lexical, syntactical<br /> and semantic features, In Proceedings of the 15th international conference of<br /> Text, Dialog and Speech, pp 243-250.<br /> [9] Dan Moldovan, Marius Pasca, Sanda Harabagiu, and Mihai Surdeanu, 2003,<br /> Performance issues and error analysis in an open-domain question answering<br /> system, ACM Trans, Inf. Syst., pp 133-154.<br /> [10] João Silva, Luísa Coheur, Ana Mendes, and Andreas Wichert, 2011, From<br /> symbolic to subsymbolic information in question classification, Artificial<br /> Intelligence Review, 35(2): pp 137-154.<br /> <br /> <br /> CLASSIFYING WHAT-TYPE QUESTIONS BY USING<br /> MULTIPLE FEATURE TYPES<br /> <br /> Nguyen Van Tu<br /> Faculty of Mathematic, Physics and Informatics, Tay Bac University<br /> <br /> <br /> Abstract: Question classification plays an important role in automatic question answering<br /> systems. The task of question classification is to predict the entity type for answering a natural language<br /> question. In automatic question answering systems, the questions with question word “What” accounts<br /> for the majority, but the classification of these questions is a lot more difficult than this of other questions.<br /> In this paper, we propose to extract the appropriate features to classify questions What-type with high<br /> accuracy. We also suggest a new feature type which we call question pattern and combining with<br /> other different features to question classification. We tested our proposed approach using a Support<br /> Vector Machines as the classifier and using TREC dataset and achieved classification what-type<br /> questions with higher accuracy than the previous studies on the same question taxonomy and dataset.<br /> Keywords: question classification, question answering systems, question pattern, support vector<br /> machines.<br /> <br /> <br /> <br /> <br /> 89<br />