UBND TỈNH BÌNH DƢƠNG
TRƢỜNG ĐẠI HỌC THỦ DẦU MỘT
NGUYỄN ANH DŨNG
NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT BẰNG
PHƢƠNG PHÁP HỌC SÂU
LUẬN VĂN THẠC SĨ
CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN
MÃ SỐ: 8480104
NGƢỜI HƢỚNG DẪN KHOA HỌC
TS. BÙI THANH HÙNG
BÌNH DƢƠNG - 2019
ii
LỜI CAM ĐOAN
Tôi là Nguyễn Anh Dũng, học viên lớp CH16HT, ngành Hệ thống thông tin,
trƣờng Đại học Thủ Dầu Một. Tôi cam đoan, luận văn của tôi với đề tài ―Nhận diện
tên riêng tiếng Việt bằng phƣơng pháp học sâu‖ là do tôi tìm hiểu, nghiên cứu và
đƣợc sự hƣớng dẫn tận tình của TS. Bùi Thanh Hùng, luận văn này của tôi có tham
khảo từ các bài báo, tài liệu, công trình nghiên cứu của ngƣời khác nhƣng tôi đều
ghi rõ trong tài liệu tham khảo. Tôi xin chịu trách nhiệm về lời cam đoan này.
Bình Dương, ngày 01 tháng 6 năm 2019
Ngƣời viết luận văn
Nguyễn Anh Dũng
iii
LỜI CẢM ƠN
Trong quá trình thực hiện luận văn ―Nhận diện tên riêng tiếng Việt bằng
phƣơng pháp học sâu‖, tôi đã đƣợc sự hƣớng dẫn nhiệt tình của TS. Bùi Thanh
Hùng. Thầy đã dành rất nhiều thời gian quý báu của mình để hƣớng dẫn chi tiết,
nghe báo cáo thử và động viên tinh thần tôi trong những lúc khó khăn khi thực hiện
luận văn. Tôi chân thành cảm ơn thầy!
Tôi cũng bày tỏ lòng biết ơn sâu sắc đến các thầy cô đã giảng dạy tôi tận tình,
truyền đạt những kiến thức bổ ích cho tôi trong suốt thời gian học tại trƣờng và các
thầy cô của trƣờng Đại học Thủ Dầu Một đã tạo điều kiện tốt nhất để tôi hoàn thành
luận văn này.
Cuối cùng, tôi cũng gửi lời cảm ơn đến gia đình, đồng nghiệp, các anh chị
học chung lớp đã đoàn kết, giúp đỡ, động viên tôi trong suốt thời gian học vừa qua.
Một lần nữa, tôi xin trân trọng cảm ơn.
Bình Dƣơng, ngày tháng năm 2019
Ngƣời viết luận văn
iv
MỤC LỤC
MỤC LỤC ................................................................................................................ IV
TÓM TẮT LUẬN VĂN ............................................................................................. 1
DANH MỤC TỪ VIẾT TẮT ...................................................................................... 2
DANH MỤC CÁC BẢNG .......................................................................................... 3
DANH MỤC HÌNH VẼ, ĐỒ THỊ .............................................................................. 4
CHƢƠNG I. GIỚI THIỆU CHUNG .......................................................................... 6
1.1. LÍ DO THỰC HIỆN ĐỀ TÀI ....................................................................................... 6
1.2. MỤC TIÊU NGHIÊN CỨU ......................................................................................... 7
1.3. ĐỐI TƢỢNG, PHẠM VI NGHIÊN CỨU ....................................................................... 7
1.4. PHƢƠNG PHÁP NGHIÊN CỨU .................................................................................. 7
1.5. Ý NGHĨA KHOA HỌC VÀ Ý NGHĨA THỰC TIỄN CỦA ĐỀ TÀI ..................................... 7
1.5.1. Ý nghĩa khoa học........................................................................................... 7
1.5.2. Ý nghĩa thực tiễn ........................................................................................... 8
1.6. BỐ CỤC LUẬN VĂN ................................................................................................ 9
CHƢƠNG II. CƠ SỞ LÝ THUYẾT ......................................................................... 11
2.1. XỬ LÝ NGÔN NGỮ TỰ NHIÊN ............................................................................... 11
2.1.1. Tách từ (Tokenizer) ..................................................................................... 12
2.1.2. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging) ......... 14
2.1.3. Xác định cụm từ (Chunking) ....................................................................... 15
2.1.4. Phân tích cú pháp (Parsing) ....................................................................... 17
2.2. CÁC PHƢƠNG PHÁP BIỂU DIỄN TỪ DƢỚI DẠNG VÉC TƠ ....................................... 18
2.2.1. Biểu diễn túi từ - Bag of words ................................................................... 18
2.2.2 Biểu diễn One-hot-vector ............................................................................. 19
2.2.3. Túi từ liên tục - CBOW ............................................................................... 21
2.2.4. Skip gram .................................................................................................... 24
2.3. HỌC SÂU - DEEP LEARNING ................................................................................ 27
2.3.1. Mạng nơ ron nhân tạo (ANN) ..................................................................... 30
2.3.2. Mạng nơ-ron hồi quy RNN (Recurrent Neural Network) ........................... 35
2.3.3. Bộ nhớ dài-ngắn LSTM (Long-short term memory) ................................... 37
v
2.3.4. Mạng nơ ron ngắn dài song song LSTM (Bidirectional Long-short term
memory) ..................................................................................................................... 42
2.4. NHẬN DIỆN TÊN RIÊNG (NAME ENTITY RECOGNITION – NER) .......................... 43
2.4.1. Tổng quan về bài toán Nhận diện tên riêng ............................................... 43
2.4.2. Hướng tiếp cận nghiên cứu ......................................................................... 44
2.4.3. Các nghiên cứu gần đây ............................................................................. 44
2.4.4. Đề xuất hướng nghiên cứu .......................................................................... 45
CHƢƠNG III. MÔ HÌNH ĐỀ XUẤT ...................................................................... 46
3.1. TỔNG QUAN MÔ HÌNH ĐỀ XUẤT........................................................................... 46
3.2. CÁC ĐẶC TRƢNG CỦA MÔ HÌNH ĐỀ XUẤT ............................................................ 47
3.2.1. Từ nhúng – Word embeddings .................................................................... 47
3.2.2. Các đặc trưng cú pháp................................................................................ 48
3.3. NHẬN DIỆN TÊN RIÊNG TIẾNG VIỆT .................................................................... 48
3.3.1 Mô hình học sâu trong bài toán nhận diện tên riêng tiếng Việt .................. 51
3.3.2. Nhận diện tên riêng..................................................................................... 53
CHƢƠNG IV. THỰC NGHIỆM .............................................................................. 55
4.1. KHO DỮ LIỆU VLSP ............................................................................................ 55
4.2. PHƢƠNG PHÁP ĐÁNH GIÁ MÔ HÌNH ..................................................................... 57
4.3.1 Thực nghiệm giữa phương pháp LSTM và BiLSTM với đặc trưng từ ......... 59
4.3.2 Thực nghiệm BiLSTM với đặc trưng từ và số vòng huấn luyện khác nhau . 60
4.3.3 Thực nghiệm phương pháp sử dụng các lớp BiLSTM với đặc trưng từ ...... 61
4.3.4 Thực nghiệm phương pháp BiLSTM với đặc trưng từ và tỉ lệ Dropout khác
nhau ........................................................................................................................... 61
4.4. XÂY DỰNG ỨNG DỤNG WEB TRỰC QUAN HÓA KẾT QUẢ ..................................... 62
CHƢƠNG V. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ......................................... 67
5.1. KẾT QUẢ ĐẠT ĐƢỢC ............................................................................................ 67
5.2. HƢỚNG PHÁT TRIỂN ............................................................................................ 67
TÀI LIỆU THAM KHẢO ......................................................................................... 68