1
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Hoàng Minh Hiền
ĐỘ TƯƠNG ĐỒNG NGỮ NGHĨA GIỮA HAI CÂU VÀ
ỨNG DỤNG TRONG TÓM TẮT VĂN BẢN
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ thông tin
HÀ NỘI - 2008
2
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Hoàng Minh Hiền
ĐỘ TƯƠNG ĐỒNG NGỮ NGHĨA GIỮA HAI CÂU VÀ
ỨNG DỤNG TRONG TÓM TẮT VĂN BẢN
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ thông tin
Cán bộ hướng dẫn: PGS TS Hà Quang Thụy
Cán bộ đồng hướng dẫn: Thạc Sỹ Đặng Thanh Hải
HÀ NỘI - 2008
3
Lời cảm ơn
Tôi xin gửi lời cảm ơn và biết ơn sâu sắc nhất tới Phó Giáo sư Tiến sĩ Hà
Quang Thụy và Thạc sỹ Đặng Thanh Hải đã chỉ bảo và hướng dẫn tận tình cho tôi trong
suốt quá trình nghiên cứu Khoa học và quá trình thực hiện khoá luận này.
Tôi chân thành cảm ơn các thầy, cô đã tạo cho tôi những điều kiện thuận lợi để học
tập và nghiên cứu tại trường Đại học Công Nghệ.
Tôi cũng xin gửi lời cảm ơn tới các anh chị, các bạn sinh viên trong nhóm nghiên
cứu “Khai phá dữ liệu và khám phá tri thức” đã giúp đỡ, ủng hộ và động viên tôi trong
quá trình nghiên cứu và làm khoá luận. Đặc biệt, tôi xin cảm ơn Cử nhân Trần Mai Vũ,
Nghiên cứu sinh Nguyễn Cẩm Tú và Sinh viên Lê Diệu Thu, những người đã hỗ trợ tôi
rất nhiều về kiến thức chuyên môn, giúp tôi có thể hoàn thành khóa luận.
Cuối cùng, tôi muốn gửi lời cảm ơn và biết ơn vô hạn tới bố, mẹ, anh trai, tất cả bạn
bè và những người thân yêu của tôi.
Xin chân thành cảm ơn!
Sinh viên
Hoàng Minh Hiền
4
Tóm tắt nội dung
Hiện nay, tóm tắt văn bản là một bài toán có tính ứng dụng thực tiễn cao. Tóm tắt
văn bản nhận được sự nhiều sự quan tâm nghiên cứu của nhiều nhà khoa học, của các hội
nghị quốc tế như hội nghị DUC (Document Understanding Conference), hội nghị
Coling/ACL (Computational Linguistics/Association for Computational Linguistics), của
các trung tâm nghiên cứu như IBM, Microsoft…
Khóa luận với đề tài “Độ tương đồng ngữ nghĩa giữa hai câu và ứng dụng trong bài
toán tóm tắt văn bản” tập trung nghiên cứu vào các phương pháp tóm tắt văn bản; độ
tương đồng câu và các phương pháp để tính toán độ tương đồng câu. Từ đó, trên cơ sở về
một số kết quả nghiên cứu đã có về độ đo tương đồng câu và về Hidden Topic, khóa luận
đề xuất một mô hình tóm tắt văn bản đơn có sử dụng Hidden Topic để tính toán độ tương
đồng ngữ nghĩa giữa hai câu.
5
Mục lục
Tóm tắt nội dung ............................................................................................................... 4
Mục lục ...............................................................................................................................5
Danh sách bảng.................................................................................................................. 7
Danh sách hình vẽ.............................................................................................................. 8
Bảng ký hiệu và từ viết tắt................................................................................................ 9
Mở đầu.............................................................................................................................. 10
Chương 1. Tổng quan về tóm tắt văn bản và độ tương đồng câu............................... 12
1.1. Đặt vấn đề......................................................................................................12
1.2. Nền tảng kiến thức ........................................................................................13
1.2.1. Data Mining .......................................................................................13
1.2.2. Text Mining .......................................................................................13
1.2.3. Web Mining .......................................................................................14
1.3. Tóm tắt văn bản.............................................................................................15
1.4. Độ tương đồng giữa hai câu..........................................................................16
Chương 2. Bài toán tóm tắt văn bản và một số phương pháp tóm tắt văn bản ........ 18
2.1. Bài toán tóm tắt văn bản................................................................................18
2.1.1. Định nghĩa tóm tắt .............................................................................18
2.1.2. Phân loại tóm tắt văn bản...................................................................19
2.1.3. Tóm tắt văn bản đơn ..........................................................................21
2.2. Các phương pháp tóm tắt văn bản đơn..........................................................21
2.2.1. Phương pháp Word frequencies.........................................................22
2.2.2. Phương pháp của Edmundson ...........................................................23
2.2.3. Tóm tắt văn bản tự động sử dụng trích chọn câu hai bước................26
