Luận văn Thạc sĩ Hệ thống thông tin: Phương pháp học bán giám sát cho bài toán trích chọn thông tin và ứng dụng trích chọn thực thể tên điện thoại di động

ỦY BAN NHÂN DÂN TỈNH BÌNH DƯƠNG

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

LƯU TUẤN THÀNH

PHƯƠNG PHÁP HỌC BÁN GIÁM SÁT CHO BÀI TOÁN TRÍCH CHỌN

THÔNG TIN VÀ ỨNG DỤNG TRÍCH CHỌN THỰC THỂ TÊN ĐIỆN

THOẠI DI ĐỘNG

CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN

MÃ SỐ: 8480104

LUẬN VĂN THẠC SỸ

BÌNH DƯƠNG – 2021

ỦY BAN NHÂN DÂN TỈNH BÌNH DƯƠNG

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

LƯU TUẤN THÀNH

PHƯƠNG PHÁP HỌC BÁN GIÁM SÁT CHO BÀI TOÁN TRÍCH CHỌN

THÔNG TIN VÀ ỨNG DỤNG TRÍCH CHỌN THỰC THỂ TÊN ĐIỆN

THOẠI DI ĐỘNG

CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN

MÃ SỐ: 8480104

LUẬN VĂN THẠC SỸ

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS. NGÔ THANH HÙNG

BÌNH DƯƠNG – 2021

LỜI CAM ĐOAN

Tôi là Lưu Tuấn Thành, học viên lớp CH17HT, ngành Hệ thống thông tin,

trường Đại học Thủ Dầu Một. Tôi cam đoan, luận văn “Phương pháp học bán

giám sát cho bài toán trích chọn thông tin và ứng dụng trích chọn thực thể tên điện

thoại di động” là công trình nghiên cứu của riêng cá nhân tôi, dưới sự hướng dẫn

của TS. Ngô Thanh Hùng. Luận văn do tôi tự nghiên cứu, tìm hiểu, đọc, dịch tài

liệu, tổng hợp và thực hiện. Nội dung cơ sở lý thuyết được đúc kết từ các công

trình nghiên cứu trước và được biên mục trong phần tài liệu tham khảo. Các số

liệu, chương trình phần mềm và những kết quả trong luận văn là trung thực và

chưa được công bố trong bất kỳ một công trình nào khác. Tôi xin chịu trách nhiệm

về lời cam đoan này.

Bình Dương, ngày 10 tháng 10 năm 2021

Người viết luận văn

Lưu Tuấn Thành

LỜI CẢM ƠN

Trong quá trình thực hiện luận văn “Phương pháp học bán giám sát cho bài

toán trích chọn thông tin và ứng dụng trích chọn thực thể tên điện thoại di động”

tôi đã được sự hướng dẫn nhiệt tình của TS. Ngô Thanh Hùng. Thầy đã dành nhiều

thời gian hướng dẫn, góp ý để tôi hoàn thiện đề tài. Trong quá trình nghiên cứu

thầy luôn động viên tinh thần, định hướng cho tôi trong những lúc khó khăn khi

nghiên cứu. Tôi chân thành cảm ơn.

Tôi cũng bày tỏ lòng biết ơn sâu sắc đến các thầy cô đã giảng dạy tôi tận

tình, thầy Bùi Thanh Hùng đã truyền đạt những kiến thức bổ ích cho tôi trong suốt

thời gian học tại trường Đại học Thủ Dầu Một đã tạo điều kiện tốt nhất để tôi hoàn

thành luận văn này.

Sau cùng, tôi cũng xin gửi lời cảm ơn đến gia đình, đồng nghiệp, các anh

chị học chung lớp đã đoàn kết, sát cánh giúp đỡ, động viên tôi trong suốt thời gian

học vừa qua.

Một lần nữa, tôi xin Trân trọng cảm ơn.

Bình Dương, ngày 10 tháng 10 năm 2021

Người viết luận văn

LƯU TUẤN THÀNH

II

TÓM TẮT LUẬN VĂN

Trong thời đại khoa học - kỹ thuật như hiện nay, thời đại của cách mạng

khoa học 4.0, với sự phát triển về mọi mặt của đời sống từ văn hóa, giáo dục cho

đến công nghệ trong đó lĩnh vực công nghệ thông tin đã tạo ra các sản phẩm trí tuệ

nhân tạo, robot công nghệ và máy móc đang dần thay thế con người. Nhu cầu giao

tiếp, thương mại điện tử và tìm kiếm thông tin rất lớn, vì thế một số ứng dụng xử

lý ngôn ngữ tự nhiên như tóm tắt văn bản, máy tìm kiếm, dịch máy, trích xuất

thông tin và trả lời câu hỏi tự động ngày càng phát triển. Những ứng dụng này

được phát triển dựa trên nền tảng của một số các tác vụ xử lý ngôn ngữ tự nhiên.

Trích chọn tên điện thoại di động trong văn bản đã được nghiên cứu trên nhiều

ngôn ngữ như tiếng Anh, tiếng Nhật, tiếng Trung,… bằng nhiều phương pháp khác

nhau và đã đạt được nhiều kết quả khả quan. Các phương pháp học máy trước đây

như SVM, cây quyết định, … cho kết quả phân loại cũng khá tốt.

Luận văn với đề tài “Phương pháp học bán giám sát cho bài toán trích chọn

thông tin và ứng dụng trích chọn thực thể tên điện thoại di động” dựa trên những

nghiên cứu trước đây để đề xuất nghiên cứu và phát triển một hệ thống nhận diện

tên riêng tiếng Việt (ViNER) bằng cách kết hợp các đặc trưng cú pháp tự động với

các từ nhúng được huấn luyện sẵn làm đầu vào cho bộ nhớ ngắn dài hai chiều

(BiLSTM). Phương pháp huấn luyện hệ thống này trên tập dữ liệu mà tôi thu thập

từ hàng trăm bài báo khác nhau. Bộ dữ liệu này gồm 3 tập dữ liệu huấn luyện, phê

chuẩn và kiểm tra. Mỗi tập dữ liệu gồm 4 cột: Từ hoặc từ ghép, POS, CHUNK và

TAG.

Sau khi huấn luyện và đánh giá thực nghiệm hệ thống trên nhiều khía cạnh

khác nhau bằng độ đo chính xác (Accuracy), tôi nhận thấy hệ thống kết hợp các

đặc trưng cú pháp tự động với các từ nhúng được huấn luận sẵn làm đầu vào cho

bộ nhớ ngắn dài hai chiều (BiLSTM) cho kết quả cao nhất đạt 74,04%.

Luận văn cũng xây dựng một ứng dụng web trích xuất trực quan, nhận diện

tên điện thoại di động cho một đoạn văn bản do người dùng nhập vào.

I

MỤC LỤC

LỜI CAM ĐOAN ................................................................................................................... I

LỜI CẢM ƠN ........................................................................................................................ II

TÓM TẮT LUẬN VĂN ......................................................................................................

DANH MỤC VIẾT TẮT ......................................................................................................

DANH MỤC CÁC BẢNG ...................................................................................................

DANH MỤC HÌNH VẼ, ĐỒ THỊ .....................................................................................

CHƯƠNG I

GIỚI THIỆU CHUNG ........................................................................................................ 1

1.1. Lí do thực hiện đề tài ................................................................................ 1

1.2. Mục tiêu nghiên cứu ................................................................................. 2

1.3. Đối tượng, phạm vi nghiên cứu ................................................................ 2

1.4. Phương pháp nghiên cứu .......................................................................... 3

1.5. Ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài ..................................... 3

1.5.1. Ý nghĩa khoa học............................................................................... 3

1.5.2. Ý nghĩa thực tiễn ............................................................................... 4

1.6. Bố cục luận văn ........................................................................................ 4

CHƯƠNG II

CƠ SỞ LÝ THUYẾT .......................................................................................................... 5

2.1. Xử lý ngôn ngữ tự nhiên ........................................................................... 5

2.1.1. Tách từ (ViTokenizer) ....................................................................... 7

2.1.2. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging) 8

2.1.3. Xác định cụm từ (Chunking) ............................................................. 9

2.1.4. Phân tích cú pháp (Parsing) ............................................................. 12

2.2. Các phương pháp biểu diễn từ dưới dạng vector.................................... 13

2.2.1. Biểu diễn túi từ - Bag of words ....................................................... 13

2.2.2 Biểu diễn One-hot-vector ................................................................. 14

2.2.3. Túi từ liên tục - CBOW ................................................................... 18

II

2.2.4. Skip gram ........................................................................................ 21

2.3. Học sâu - Deep Learning ........................................................................ 25

2.3.1. Mạng nơ ron nhân tạo (ANN) ......................................................... 26

2.3.2. Mạng nơ-ron hồi quy RNN (Recurrent Neural Network) ............... 32

2.3.3. Bộ nhớ dài-ngắn LSTM (Long-short term memory) ...................... 34

2.3.4. Mạng nơ ron ngắn dài song song LSTM (Bidirectional Long-short

term memory) ............................................................................................ 39

2.4. Phương pháp học bán giám sát ............................................................... 40

2.5. Học có giám sát ................................................................................. 41

Ví dụ về học giám sát ................................................................................ 42

2.6. Học không giám sát ........................................................................... 43

2.7. Xác định thực thể tên điện thoại di động ................................................ 44

2.7.1. Tổng quan về bài toán Trích chọn thực thể tên điện thoại di động . 44

2.7.2. Hướng tiếp cận nghiên cứu ............................................................. 45

2.7.3. Các nghiên cứu gần đây .................................................................. 45

2.7.4. Đề xuất hướng nghiên cứu .............................................................. 46

CHƯƠNG III

MÔ HÌNH ĐỀ XUẤT ....................................................................................................... 48

3.1. Tổng quan mô hình đề xuất .................................................................... 48

3.2. Các đặc trưng của mô hình đề xuất ........................................................ 49

3.2.1. Từ nhúng – Word embeddings ........................................................ 49

3.2.2. Các đặc trưng cú pháp ..................................................................... 51

3.3. Trích chọn tên thực thể điện thoại di động ............................................. 51

3.3.1 Mô hình học sâu trong bài toán trích chọn tên điện thoại di động ... 53

3.3.2. Trích chọn tên điện thoại di động ................................................... 56

3.4. Cách đánh giá: ........................................................................................ 56

CHƯƠNG IV ....................................................................................................................... 58

THỰC NGHIỆM ................................................................................................................ 58

4.1. Môi trường thực nghiệm ......................................................................... 58

III

4.2. Dữ liệu thực nghiệm ............................................................................... 59

4.2.1. Thu thập dữ liệu .............................................................................. 59

4.2.2. Xử lý dữ liệu ................................................................................ 60

4.3. Kết quả Thực nghiệm ............................................................................. 63

4.3.1 Trích xuất đặc trưng ......................................................................... 63

4.3.2 Thực nghiệm giữa phương pháp LSTM và BiLSTM với đặc trưng

từ ................................................................................................................ 64

4.3.3 Thực nghiệm BiLSTM với đặc trưng từ và số vòng huấn luyện khác

nhau ........................................................................................................... 65

4.3.4 Thực nghiệm phương pháp sử dụng các lớp BiLSTM với đặc trưng

từ ................................................................................................................ 65

4.3.5 Thực nghiệm phương pháp BiLSTM với đặc trưng từ và tỉ lệ

Dropout khác nhau .................................................................................... 65

4.4. Xây dựng ứng dụng Web trực quan hóa kết quả .................................... 66

4.4.1 Thiết kế Xây dựng Web: .................................................................. 66

CHƯƠNG V ......................................................................................................................... 71

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ................................................................. 71

5.1. Kết quả đạt được ..................................................................................... 71

5.2. Hướng phát triển ..................................................................................... 71

TÀI LIỆU THAM KHẢO ............................................................................................... 73

IV

DANH MỤC VIẾT TẮT

Từ viết tắt Từ chuẩn Diễn giải

BiLSTM Bidirectional long short- Mạng nơ ron bộ nhớ ngắn – dài song

term memory song

CBOW Continuous Bag of Words Túi từ liên tục

CHUNK Chunking Tách câu thành các cụm từ (Cụm

danh từ, cụm động từ, …)

LSTM Long short-term memory Mạng nơ ron bộ nhớ ngắn – dài

MISC Miscellaneous Tên riêng khác không thuộc Org

ML Machine learning Học máy

Nhận diện thực thể được đặt tên hay NER Named Entity Recognition nhận diện tên riêng

Natural Languague Xử lý ngôn ngữ tự nhiên NLP Processing

Organization Tên điện thoại di động chỉ tổ chức ORG

Part-of-Speech Từ loại (N, A, R, …) POS

Recurrent Neural Network Mạng nơ ron hồi quy RNN

Vietnamese Named Entity ViNER Nhận diện tên riêng tiếng Việt Recognition

ANN Artificial Neural Network Mạng nơ ron nhân tạo

V

DANH MỤC CÁC BẢNG

Bảng 2. 1. Minh họa ví dụ tách từ .......................................................................... 8

Bảng 2. 2. Nhãn cụm từ cho hệ phân cụm từ Việt ............................................... 11

Bảng 2. 3. Biểu diễn từ thành ma trận vector 50 chiều ........................................ 13

Bảng 3. 1. Các đặc trưng được sinh tự động ........................................................ 51

Bảng 3. 2. Một đặc trưng vector đầu vào cho mô hình ........................................ 55

Bảng 4. 1: cấu hình máy PC dùng trong thực nghiệm ......................................... 58

Bảng 4. 2: Các công cụ sử dụng trong thực nghiệm ............................................ 58

Bảng 4. 3. Thống kê chi tiết dữ liệu ..................................................................... 62

Bảng 4. 4. Tham số của mô hình huấn luyện ....................................................... 64

Bảng 4. 5. Độ chính xác của hệ thống khi sử dụng các phương pháp học sâu .... 64

Bảng 4. 6. Độ chính xác hệ thống huấn luyện với các Epoch khác nhau ............ 65

Bảng 4. 7. Kết quả so sánh giữa các lớp .............................................................. 65

Bảng 4. 8. Kết quả của các Dropout khác nhau ................................................... 65

Bảng 4. 9. Kết quả so sánh giữa các đặc trưng .................................................... 66

Bảng 4. 10. Các tham số và đặc trưng tối ưu cho mô hình huấn luyện_đánh giá 66

VI

DANH MỤC HÌNH VẼ, ĐỒ THỊ

Hình 2. 1. Mô hình xử lý ngôn ngữ tự nhiên ......................................................... 5

Hình 2. 2. Trích xuất (trích chọn) các thực thể trong văn bản ............................... 7

Hình 2. 3. Mô hình hoạt động của bộ phân cụm từ Việt ...................................... 10

Hình 2. 4. Mô hình Word2vector ......................................................................... 18

Hình 2. 5. Mô hình Continuous Bag of Words .................................................... 20

Hình 2. 6. Mô hình CBOW chi tiết ...................................................................... 21

Hình 2. 7. Mô hình Skip gram trong Word2vec .................................................. 22

Hình 2. 8. Mô hình mạng nơ ron 1 lớp ẩn của Word2vec ................................... 23

Hình 2. 9. Ma trận trọng số của lớp ẩn của mô hình Word2vec .......................... 23

Hình 2. 10. Lớp ẩn của mô hình hoạt động như một bảng tra cứu...................... 24

Hình 2. 11. Mối tương quan giữa từ “ants” và từ “car” ....................................... 24

Hình 2. 12. Lược sử học sâu Deep Learning ....................................................... 26

Hình 2. 13. Một nơ ron sinh học ......................................................................... 27

Hình 2. 14. Một perceptron .................................................................................. 27

Hình 2. 15. Mô hình nơ ron .................................................................................. 28

Hình 2. 16. Mô hình mạng nơ ron ANN .............................................................. 29

Hình 2. 17. xây dựng mô hình neural network .................................................... 30

Hình 2. 18. xây dựng mô hình neural network ................................................... 32

Hình 2. 19. Quá trình xử lý thông tin trong mạng RNN ...................................... 33

Hình 2. 20. RNN phụ thuộc short-term ................................................................ 34

Hình 2. 21. RNN phụ thuộc long-term ................................................................. 34

Hình 2. 22. Các mô-đun lặp của mạng RNN chứa một layer .............................. 35

Hình 2. 23. Các mô-đun lặp của mạng LSTM chứa bốn layer ............................ 36

VII

Hình 2. 24. Các kí hiệu sử dụng trong mạng LSTM ............................................ 36

Hình 2. 25. Tế bào trạng thái LSTM giống như một băng truyền ....................... 37

Hình 2. 26. Cổng trạng thái LSTM ...................................................................... 37

Hình 2. 27. LSTM focus f .................................................................................... 38

Hình 2. 28. LSTM focus i .................................................................................... 38

Hình 2. 29. LSTM focus c .................................................................................... 39

Hình 2. 30. Mô hình Bidirectional LSTM sử dụng 2 mạng nơ-ron LSTM ......... 40

Hình 2. 31. Mạng Bi-LSTM cho NER ................................................................. 40

Hình 2. 32. Mô hình học có giám sát ................................................................... 41

Hình 2. 33. Thuật toán học có giám sát ............................................................... 42

Hình 3. 1. Mô hình đề xuất cơ bản cho trích chọn tên sản phẩm (điện thoại di động)

.............................................................................................................................. 49

Hình 3. 2. Mô hình xây dựng vector Word embedding ....................................... 50

Hình 3. 3. Hệ thống trích chọn tên điện thoại di động chi tiết ViNER ................ 54

Hình 3. 4. Mô hình học sâu 2 lớp BiLSTM cho hệ thống ViNER ...................... 55

Hình 3. 5. Precision và Recall .............................................................................. 57

Hình 4. 1. Mô hình của pha tiền xử lí .................................................................. 60

Hình 4. 2. Sơ đồ thiết kế ứng dụng Web ............................................................. 67

Hình 4. 3. Giao diện chính của trang web ............................................................ 67

Hình 4. 4. Giao diện phân tích dữ liệu ................................................................. 68

Hình 4. 5. Giao diện phân tích kết quả ................................................................. 68

Hình 4. 6. Các đặc trưng được tạo tự động bởi công cụ Underthesea ................. 69

Hình 4. 7. So sánh nhãn tên điện thoại di độngcủa ViNER và Underthesea ....... 70

Hình 4. 8. Giao diện Demo thực tế ...................................................................... 70

VIII

CHƯƠNG I

GIỚI THIỆU CHUNG

Trong chương này, chúng tôi sẽ giới thiệu tổng quan về các vấn đề được nghiên cứu của đề tài, đồng thời xác định mục tiêu, phạm vi nghiên cứu cũng như

những ý nghĩa mà kết quả của đề tài này mang lại cả về ý nghĩa khoa học và áp

dụng thực tiễn.

1.1. Lí do thực hiện đề tài

Dữ liệu lớn (Big data), trí tuệ nhân tạo (AI) và internet vạn vật (IOT) là ba

nhân tố quan trọng trong cuộc cách mạng công nghiệp 4.0 đang bùng nổ và phát

triển mạnh mẽ trên toàn thế giới. Thành phần cốt lõi của ba nhân tố trên chính là

các phương pháp học máy (machine learning - ML) và xử lí ngôn ngữ tự nhiên

(nhiên Natural Language Processing - NLP) trong số những bài toán về Trí tuệ

nhân tạo. Những ứng dụng trên có chức năng xử lý tiêu biểu như trích xuất thông

tin, tóm tắt văn bản, máy tìm kiếm, dịch máy. Trong đó việc trích chọn ra tên điện

thoại di động, tên nhà sản xuất, tên địa danh, tên người nổi tiếng và nhiều tên khác

trong các văn bản mang lại nhiều ý nghĩa quan trọng cho các bài toán NLP - Natural

Language Processing.

Hiện nay trên thế giới, có rất nhiều hệ thống trích chọn tên nhưng chủ yếu

phục vụ cho văn bản tiếng Anh, tiếng Trung, tiếng Nhật. Trích chọn thực thể là bài

toán cơ bản nhất trong các bài toán trích chọn thông tin và đóng vai trò khá quan

trọng. Thực thể tên ngày càng được ứng dụng trong nhiều bài toán trong khai phá

dữ liệu web cũng như nhiều các bài toán trong xử lý ngôn ngữ tự nhiên. Do đó việc

xây dựng các giải thuật trích chọn các thực thể tên này từ web là bài toán có ý

nghĩa quan trọng.

Ở Việt Nam, số lượng các loại điện thoại mới ra đời được bán ngày càng

nhiều, người tiêu dùng đang bắt đầu có xu hướng thay thế những chiếc điện thoại

đã cũ của mình. Nhiều người thậm chí còn mua những chiếc điện thoại thứ hai, thứ

ba cho cá nhân. Tuy nhiên thông tin trên mạng internet có rất nhiều tin quảng cáo

về sản phẩm điện thoại nên người dùng sẽ bị nhiễu loạn thông tin và không thể

chọn lựa được những thông tin mình mong muốn. Điều này đòi hỏi mỗi khi muốn

1

mua một cái điện thoại mới người dùng phải cập nhật thông tin chính xác liên quan

đến các loại điện thoại mới để đưa ra các quyết định phù hợp. Tuy nhiên các thông

tin trên mạng rất nhiều và chưa có sự phân loại, dẫn đến người dùng gặp phải khó

khăn trong việc lấy ra các thông tin cần thiết cho nhu cầu sử dụng. Một trong những

nhu cầu đó, chính xác là xác định được tên điện thoại.

Một ứng dụng khác của việc trích chọn tên điện thoại di động là tìm thêm

các thông số kỹ thuật liên quan đến từng loại điện thoại để so sánh, đánh giá sản

phẩm giữa các nhà sản xuất hoặc có thể ứng dụng vào bài toán khai phá quan điểm.

Từ những nhu cầu bức thiết trên chúng tôi mạnh dạn chọn đề tài “Phương pháp

học bán giám sát cho bài toán trích chọn thông tin và ứng dụng trích chọn thực

thể tên điện thoại di động” làm luận văn nghiên cứu.

1.2. Mục tiêu nghiên cứu

Để quá trình nghiên cứu luận văn đạt được những kết quả tốt chúng tôi cần

thực hiện các công việc sau:

Thu thập dữ liệu từ các website, các trang báo, các trang quảng cáo trên

mạng internet của các hãng điện thoại di động trong và ngoài nước.

Xây dựng một hệ thống trích chọn tên điện thoại di động sử dụng phương

pháp học sâu mạng nơ ron ngắn, dài, song song BiLSTM của kiến trúc học sâu

Deep learning với sự hỗ trợ của ma trận Pretrain Word Embedding tiếng Việt và

các công cụ trích xuất đặc trưng.

Ngoài ra, chúng tôi còn xây dựng một ứng dụng Web để trực quan hóa việc

phân tích dữ liệu, phân tích kết quả và trích chọn tên điện thoại di động nhập vào

từ trang web.

1.3. Đối tượng, phạm vi nghiên cứu

Đối tượng nghiên cứu: khảo sát trên bộ dữ liệu thông tin về điện thoại di

động có nhiều tham số khác nhau dựa trên nền tảng học sâu Deep Neural Networks

để tìm ra mô hình học sâu với tham số tối ưu cho hệ thống trích chọn tên điện thoại

di động.

2

Phạm vi nghiên cứu: xây dựng mô hình trích chọn được các tên điện thoại

di động từ các văn bản tiếng Việt nhập vào từ giao diện Web. Mô hình được huấn

luyện từ nguồn dữ liệu thu thập trên một số trang báo thương mại điện tử như:

thegioididong.com, cellphone.com, Viettelstore.vn, Vnreview.vn. Trong bộ dữ

liệu này, hệ thống chỉ trích chọn 2 loại thực thể hay còn gọi là tên điện thoại di

động (gồm tên điện thoại di động, model sản xuất).

1.4. Phương pháp nghiên cứu

Vận dụng kiến thức đã học, các bài báo nghiên cứu khoa học và các nghiên

cứu trước đây của các tác giả, cùng với sự hướng dẫn của giảng viên để thu thập,

lựa chọn nguồn dữ liệu, chọn mô hình đề xuất phù hợp.

Phương pháp nghiên cứu lý thuyết: Dựa trên các môn học như Big data, học

máy, khai phá dữ liệu, lập trình hướng đối tượng và phân tích hệ thống thông tin…

Phương pháp tổng hợp, phân tích: trên nền tảng tổng hợp kết quả đã có được

ta phân tính từng thành phần nhỏ của kết quả đó.

Phương pháp học sâu mạng nơ ron ngắn dài song song BiLSTM: Có nghĩa

là LSTM hai chiều, là tín hiệu truyền ngược cũng như chuyển tiếp theo thời gian

và nó được sử dụng trong các trường hợp vấn đề học tập tuần tự.

1.5. Ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài

1.5.1. Ý nghĩa khoa học

Luân văn đã tìm ra phương pháp học sâu trích chọn tên thực thể trong văn

bản tiếng việt kết hợp từ “nhúng” phù hợp, hiệu quả cho bài toán trích chọn thực

thể tên điện thoại di động, luận văn này cũng sẽ làm tài liệu tham khảo và nghiên

cứu cho các hướng phát triển tiếp theo sau này.

Luận văn cũng đánh giá được hiệu suất của phương pháp bằng cách thực

nghiệm hệ thống trên các khía cạnh khác nhau dựa trên bộ dữ liệu cho sẵn.

Đã xây dựng được một ứng dụng web để trực quan hóa các nhu cầu người

dùng khi người dùng nhập văn bản cần nhận dạng các tên thực thể và phân tích

trực quan các dữ liệu dựa trên các biểu đồ so sánh và kết quả.

3

1.5.2. Ý nghĩa thực tiễn

Luận văn tìm ra phương pháp học sâu để trích chọn thực thể tên là bài toán

cơ bản nhất trong các bài toán trích chọn thông tin nó đóng vai trò quan trọng.

Thực thể tên ngày càng được ứng dụng trong nhiều trong bài toán trong xử lý ngôn

ngữ tự nhiên cũng như khai phá dữ liệu web. Vì vậy việc trích chọn các thực thể

tên này từ web là bài toán có ý nghĩa quan trọng. Luận văn dựa vào phương pháp

học sâu, xây dựng một mô hình trích chọn thực thể tên điện thoại di động giúp cho

người sử dụng tìm được thông tin về sản phẩm điện thoại một cách chính xác và

xây dựng ứng dụng web để trích chọn thực thể tên điện thoại di động.

1.6. Bố cục luận văn

Luận văn được chia thành 5 phần với các nội dung như sau:

 Chương 1 – Giới thiệu chung

Trình bày lý do chọn đề tài, mục tiêu, đối tượng - phạm vi và phương

pháp nghiên cứu, ý nghĩa của đề tài.

 Chương 2 – Cơ sở lý thuyết

Giới thiệu tổng quan về xử lí ngôn ngữ tự nhiên, các phương pháp, công

cụ để tách từ, gán nhãn từ loại, gán nhãn cụm từ, phân tích cú pháp; Giới

thiệu về các cách biểu diễn từ thành vector, mạng nơ ron nhân tạo, kỹ thuật

lan truyền ngược; Phương pháp học sâu để sử dụng cho bài toán, Trình bày

tổng quan hệ thống trích chọn tên điện thoại di động, hướng tiếp cận và các

nghiên cứu liên quan; Đề xuất hướng nghiên cứu.

 Chương 3 – Mô hình đề xuất

Trình bày tổng quan mô hình đề xuất, các đặc trưng trong mô hình; Chi

tiết hệ thống trích chọn thực thể tên điện thoại di động.

 Chương 4 – Thực nghiệm

Giới thiệu bộ dữ liệu, quá trình xử lí dữ liệu, phương pháp đánh giá,

phần thực nghiệm và đánh giá thực nghiệm theo các khía cạnh khác nhau

để chọn mô hình tối ưu cho hệ thống trích chọn thực thể tên điện thoại di

động.

 Chương 5 – Kết luận và hướng phát triển

4

CHƯƠNG II

CƠ SỞ LÝ THUYẾT

Trong chương này, chúng tôi sẽ giới thiệu tổng quan về cách xử lý ngôn ngữ tự nhiên như tách từ (Tokenizer), cách xác định loại từ, cụm từ và phân tích

cú pháp trong câu. Đồng thời giới thiệu các phương pháp biểu diễn và xác định

được phương pháp học sâu được sử dụng trong luận văn để xác định thực thể tên

điện thoại di động và đề xuất hướng nghiên cứu sau này.

2.1. Xử lý ngôn ngữ tự nhiên

Trong thời đại hiện nay, cuộc cách mạng công nghiệp 4.0, việc xử lý các

ngôn ngữ tự nhiên đang được nghiên cứu và phát triển mạnh mẽ. Xử lý ngôn ngữ

tự nhiên có tên tiếng Anh là: Natural Language Processing. Đây là các kĩ thuật,

phương pháp nhằm hỗ trợ cho các hệ thống máy tính hiểu, xử lý, nhận dạng ngôn

ngữ tự nhiên như: tiếng Việt, tiếng Anh. Có rất nhiều nghiên cứu về NLP nhưng

có thể phân thành các nhánh nghiên cứu như: Phân tích cảm xúc (Sentiment), phân

loại tài liệu (Classification), dịch máy (Translation), tóm tắt văn bản (Topic

Modelling), trích xuất thông tin (Information Extraction), …

Các trợ lý thông minh như Siri của Apple, alexa của Amazon và ok google

của Google bắt đầu xác định các mẫu trong giọng nói, nhận dạng giọng nói, suy ra

ý nghĩa và đưa ra phản hồi.

Hình 2. 1. Mô hình xử lý ngôn ngữ tự nhiên1

1 https://ichi.pro/vi/xu-ly-ngon-ngu-tu-nhien-bang-python-nltk-101258229749293

5

Trích xuất thông tin bài toán lấy ra những thành phần thông tin cụ thể của

một văn bản, những thành phần này chính là hạt nhân tạo nên nội dung ngữ nghĩa

của văn bản đó. Có nhiều mức độ trích chọn thông tin từ văn bản như xác định các

thực thể (Element Extraction), xác định quan hệ giữa các thực thể (Relation

Extraction), xác định và theo dõi các sự kiện và các kịch bản (Event and Scenario

Extraction and Tracking), xác định đồng tham chiếu (Co-reference Resolution) ...

Các kĩ thuật được sử dụng trong trích chọn thông tin gồm có: phân đoạn, phân lớp,

kết hợp và phân cụm.16 Từ đây sẽ có nhiều ứng dụng cho nhiều domain như Text

and Web mining (rút trích tên người nổi tiếng, sản phẩm đang hot, so sánh giá sản

phẩm, nghiên cứu đối thủ cạnh tranh, phân tích tâm lý khách hàng), Biomedical,

Business intelligent, Financial professional (đánh giá thị trường từ các nguồn khác

nhau: giá xăng dầu tăng giảm, thông tin chiến tranh - chính trị giữa các nước, điều

luật mới trong thị trường kinh doanh), Terrism event (sử dụng vũ khí gì, đối tượng

tấn công là ai).

Sau các bước tiền xử lý thiên về từ vựng và cú pháp như tách câu, tách từ,

phân tích cú pháp, gán nhãn từ loại. Từ IE ta sẽ đơn giản hóa thành các bài toán

con gồm: Rút trích tên thực thể (Named entity recognition – NER: people,

organization, location), phân giải đồng tham chiếu (Coreference resolution) và

rút trích quan hệ giữa hai thực thể (Relation extraction). Bài toán nhận dạng ra

các thực thể có tên trong văn bản là một nhiệm vụ cốt lõi trong trích xuất thông tin.

6

Hình 2. 2. Trích xuất (trích chọn) các thực thể trong văn bản2

2.1.1. Tách từ (ViTokenizer)

Để có thể trích chọn được các thực thể tên điện thoại di động trong các văn

bản dữ liệu ban đầu cần phải qua bước tiền xử lý để tách câu, phân đoạn từ (tách

từ), chuẩn bị dữ liệu đầu vào cho bước tiếp theo. Từ là một đơn vị nhỏ nhất có

nghĩa độc lập, có thể giữ một chức năng ngữ pháp nhất định và có thể quy về một

từ loại nhất định, có khả năng tách biệt khỏi những từ bên cạnh để có thể phân biệt

được với những bộ phận tạo thành từ. Tính hoàn chỉnh trong nội bộ của từ là cần

thiết cho nó, với tư cách một từ riêng biệt, phân biệt với cụm từ. Tính hoàn chỉnh

và tính tách biệt về ý nghĩa là bắt buộc với mỗi từ.

Từ được cấu tạo nhờ các từ tố (hình vị), một từ có thể có một, hai hoặc nhiều

âm tiết tạo nên, nên có rất nhiều cách phân chia các âm tiết thành các từ, gây ra

nhập nhằng. Việc phân giải nhập nhằng này gọi là bài toán tách từ. Nói cách khác,

từ được tạo ra nhờ một hoặc một số hình vị kết hợp với nhau theo những nguyên

tắc nhất định. Từ tố (hình vị) là đơn vị nhỏ nhất có ý nghĩa của ngôn ngữ. Tách từ

là gom nhóm các từ đơn liền kề thành một cụm từ có ý nghĩa, các từ đơn được gom

nhóm với nhau bằng cách nối với nhau bằng ký tự gạch dưới ("_").

Sau khi thực hiện tách từ thì mỗi từ (token) trong câu được cách nhau bởi

một khoảng trắng. Đây là quy ước chung cho tất cả các ngôn ngữ của bài toán tách

từ trong xử lý ngôn ngữ tự nhiên. Mục tiêu của việc tách từ văn bản đầu vào là để

khử tính nhập nhằng về ngữ nghĩa của văn bản. Với ngôn ngữ tiếng Anh, việc tách

từ khá đơn giản vì ranh giới từ được trích chọn bằng khoảng trắng và dấu câu. Với

ngôn ngữ tiếng việt, ranh giới từ không được xác định mặc nhiên bằng khoảng

trắng. Tiếng việt có đặc điểm là ý nghĩa ngữ pháp nằm ở ngoài từ, phương thức

ngữ pháp chủ yếu là trật tự từ và từ hư. Cho nên có trường hợp một câu có thể có

nhiều ngữ nghĩa khác nhau tuỳ vào cách tách từ như thế nào, gây nhập nhằng về

ngữ nghĩa của câu.

2 https://ongxuanhong.wordpress.com/2016/02/05/cac-thuat-ngu-trong-xu-ly-ngon-ngu-tu-nhien/named-

entity-recognition/

Ví dụ về tách từ trong tiếng anh và tiếng việt:

7

Dữ liệu tiếng Anh Dữ liệu tiếng Việt

Văn bản đầu vào Oppo Find X3 Neo

phone is a new breeze in the high-end phone segment, when copying almost every high-end technology from the elder Oppo Find X3 Pro but at a more affordable price for users.

Điện thoại Oppo Find X3 Neo là một làn gió mới trong phân khúc điện thoại cận cao cấp, khi sao chép gần như mọi công nghệ cao cấp từ đàn anh Oppo Find X3 Pro nhưng với mức giá phải chăng hơn cho người dùng.3 Điện thoại Find_X3_Neo, Văn bản sau khi tách từ

Oppo Find X3 Neo phone is a new breeze in the high-end phone segment, when copying high-end every almost technology the elder from Oppo Find X3 Pro but at a more affordable price for users. là một làn gió mới trong phân khúc điện thoại cận cao cấp, khi sao chép gần như mọi công nghệ cao cấp từ đàn anh Oppo_Find_X3_Pro nhưng với mức giá phải chăng hơn cho người dùng.

Bảng 2. 1. Minh họa ví dụ tách từ

2.1.2. Xác định loại từ trong câu (Part-of-Speech tagging - POS tagging)

Công việc gán nhãn từ cũng được gọi là gắn thẻ ngữ pháp, cho một văn

bản là xác định từ loại của mỗi từ trong phạm vi văn bản đó. Tức là phân loại các

từ thành các lớp từ loại dựa trên thực tiễn hoạt động ngôn ngữ trong đó. Mỗi từ

trong một ngôn ngữ nói chung có thể gắn với nhiều từ loại. Mỗi từ loại tương ứng

với một hình thái và một vai trò ngữ pháp nhất định.

Gán nhãn từ loại là một trong những bước quan trọng và cơ bản trong xử lý

và khai phá dữ liệu trước khi phân tích văn phạm, ngữ nghĩa sâu hơn hay các vấn

đề xử lý ngôn ngữ phức tạp khác. Nó xác định các chức năng ngữ pháp của từ

trong câu. Khi văn bản đã được gán nhãn thì nó sẽ được ứng dụng trong các hệ

thống tìm kiếm thông tin, gán nhãn tên thực thể, trong các hệ thống nhận dạng

tiếng nói cũng như trong các hệ thống dịch máy.

Gán nhãn từ loại là bài toán nhận được quan tâm sớm nhất trong chuyên

ngành xử lý ngôn ngữ tự nhiên và được nghiên cứu nhiều cũng như có nhiều

phương pháp giải quyết.

3 https://cellphones.com.vn/oppo-find-x3-neo.html

8

Có thể kể đến một số bộ công cụ POS tagging cho hai loại ngôn ngữ:

 Tiếng Anh: POS tagger của NLTK, Stanford Log-linear Part-OfSpeech

Tagger…

Ví dụ 1 (tiếng Anh). Văn bản đầu vào là: “And now for

Samsung Galaxy Note 21.”

Sau khi tách từ và POS tagging sẽ thu được kết quả:

[('And', 'CC'), ('now', 'RB'), ('for', 'IN'), ('something', 'NN'), (‘Samsung’, ‘Np’), (‘Galaxy’, ‘Np’), ( ‘Note’, ‘Np’), (’21’, ‘M’)]

 Tiếng Việt: JVnTagger, JH-POS-TAG, vnTagger, ViTokenizer…

Ví dụ 2 (tiếng Việt). Văn bản đầu vào là: “Samsung Galaxy M52 sử

dụng màn hình kích thước 6.5 inches, cùng với tấmc nền AMOLED cho khả

năng hiển thị rực rỡ hơn nhiều so với màn FullHD. Bên cạnh đó, màn hình

đã vận dụng màn dạng đục lỗ, giúp mở rộng được kích thước không gian

trải nghiệm và độ phân giải đạt chuẩn FullHD cho khả năng hiển thị sắc

nét, góc nhìn tốt.

Cấu hình mạnh mẽ bởi Snapdragon 730, 6GB RAM, bộ nhớ trong

128GB.”

Sau khi tách từ và POS tagging sẽ thu được kết quả:

Samsung/N Galaxy/Np M52/M sử/N dụng/N màn/N hình/N kích/N

thước/N 6.5/M inches,/N cùng/A với/E tấm/Nc nền/N AMOLED/Np cho/V khả/N

năng/N hiển/N thị/N rực/N rỡ/A hơn/A nhiều/A so/V với/E màn/N FullHD./N

Bên/N cạnh/N đó,/N màn/N hình/N đã/R vận/V dụng/N màn/N dạng/N đục/N

lỗ,/V giúp/V mở/V rộng/A được/V kích/V thước/N không/R gian/N trải/V

nghiệm/N và/Np độ/N phân/N giải/N đạt/N chuẩn/N FullHD/N cho/V khả/N

năng/N hiển/N thị/N sắc/N nét,/N góc/N nhìn/V tốt./N

Cấu/N hình/N mạnh/A mẽ/N bởi/E Snapdragon/Np 730,/V 6GB/N RAM,/N

bộ/N nhớ/V trong/N 128GB/M.

2.1.3. Xác định cụm từ (Chunking)

Trong nội dung xác định cụm từ thì phân cụm từ được nghiên cứu và được

sử dụng trong nhiều ứng dụng thực tế như các hệ thống chích trọn thông tin, dịch

9

máy, và tóm tắt văn bản. Bài toán phân cụm có thể hiểu là việc gộp một dãy liên

tiếp các từ trong câu để gán nhãn cú pháp. Việc nghiên cứu bài toán phân cụm trên

thế giới đã được thực hiện khá kỹ lưỡng cho nhiều ngôn ngữ bao gồm: Tiếng Anh,

Tiếng Trung, Tiếng Nhật, Tiếng Pháp.

Gần đây, tổ chức xử lý tiếng nói và ngôn ngữ tiếng việt (VLSP) đã xây dựng

một bộ công cụ phân cụm từ tiếng Việt sử dụng hai phương pháp học máy cấu trúc

bao gồm CRFs và MIRA. Công cụ này đã được huấn luyện trên một tập dữ liệu

VietTreeBank gồm khoảng 260 câu. Quá trình thử nghiệm cho thấy mô hình đề ra

hoàn toàn tương thích với dữ liệu VTB. Mặc dầu với số lượng dữ liệu ban đầu

không nhiều nhưng kết quả thể hiện mô hình CRFs và Online Learning là các lựa

chọn đúng đắn. Đây là hai phương pháp kinh tế, đảm bảo cả về mặt thời gian lẫn

độ chính xác. Các kết quả thu được đối với hệ thống phân cụm từ tiếng Việt dùng

dữ liệu chuẩn VTB cho kết quả khả quan 65.27%. 4

Cell phone ở trên VN Sentence

CRFs Online- learning

Decoding

Chunking models

Chunks

NP [Cell phone] VP [ở trên bàn ] Hình 2. 3. Mô hình hoạt động của bộ phân cụm từ Việt

Data

Bài toán phân cụm tiếng Việt được phát biểu như sau: Gọi X là câu đầu vào

tiếng việt bao gồm một dãy các từ tố kí hiệu X=(X1, X2,…, Xn). Chúng ta cần xác

định Y=(Y1, Y2, ..., Yn) là một dãy các nhãn cụm từ (cụm danh từ, cụm động từ).

Những tập nhãn chuẩn và xuất hiện nhiều trong câu văn tiếng việt như sau:

4 http://www.jaist.ac.jp/~bao/VLSP-text/ICTrda08/ICT08-VLSP-SP84-2.pdf

10

Tên Chú thích

ADJP Cụm tính từ

ADVP Cụm phó từ

NP Cụm danh từ

PP Cụm giới từ

QP Cụm từ chỉ số lượng

VP Cụm động từ

WHNP Cụm danh từ nghi vấn (ai, cái gì, con gì, vv.)

WHADJP Cụm tính từ nghi vấn (lạnh thế nào, đẹp ra sao, vv.)

WHADVP Cụm từ nghi vấn dùng khi hỏi thời gian, nơi chốn, vv.

WHPP Cụm giới từ nghi vấn (với ai, bằng cách nào, vv.)

Bảng 2. 2. Nhãn cụm từ cho hệ phân cụm từ Việt

Chú ý rằng bộ nhãn này đã được phối hợp chặt chẽ với nhóm VTB và sẽ còn

được hiệu chỉnh trong tương lai. Cấu trúc cơ bản của một cụm danh từ như sau:

Ví dụ: “Cái điện thoại đẹp” thì danh từ “điện thoại” là phần trung tâm, định

từ “cái” là phần phụ trước, còn tính từ “đẹp” là phần phụ sau.

(NP (D cái) (N điện thoại) (J đẹp))

Một cụm danh từ có thể thiếu phần phụ trước hay phần phụ sau nhưng không

thể thiếu phần trung tâm.

Ký hiệu: VP (Cụm động từ)

Cấu trúc chung: Giống như cụm danh từ, cấu tạo một cụm động từ về cơ bản

như sau: <động từ trung tâm>; Bổ ngữ trước

thường là phụ từ.

Ví dụ: “đang chơi game” (VP (R đang) (V chơi) (NP game))

Ký hiệu: ADJP (Cụm tính từ)

Cấu trúc chung: ;

Bổ ngữ trước: Bổ ngữ trước của cụm tính từ thường là phụ từ chỉ mức độ.

11

Ví dụ: rất đẹp (ADJP (R rất) (J đẹp))

Ký hiệu: PP (Cụm giới từ)

Cấu trúc chung :

Ví dụ : vào thế giới di động (PP (S vào) (NP thế giới di động))

Ký hiệu : QP (Cụm từ chỉ số lượng)

Cấu trúc chung: Thành phần chính của QP là các số từ. Có thể là số từ xác

định, số từ không xác định, hay phân số. Ngoài ra còn có thể có phụ từ như

"khoảng", "hơn", v.v. QP đóng vai trò là thành phần phụ trước trong cụm danh từ

(vị trí -2). 3

Ví dụ 1: năm trăm (QP (M năm) (M trăm))

Ví dụ 2: hơn 200 (QP (R hơn) (M 200))

2.1.4. Phân tích cú pháp (Parsing)

Trong phân tích cú pháp thì văn phạm trong ngôn ngữ tự nhiên là quy tắc

chủ yếu trong cấu trúc ngôn ngữ. Các từ trong một câu đuợc ghép nối với nhau

dựa trên văn phạm để hình thành nên câu có nghĩa và thông qua đó thể hiện vai trò

của từ trong ngữ nghĩa của câu. Câu có thể chia làm hai phần chính là chủ ngữ và

vị ngữ. Trong chủ ngữ có thể bao gồm danh từ, cụm danh từ, đại từ, mệnh đề… và

trong vị ngữ có thể có động từ chính, trạng từ, bổ túc từ… Xét nhỏ hơn nữa có thể

chia tiếp cụm danh từ, mệnh đề thành các thành phần nhỏ hơn và cho đến khi chỉ

còn lại từ và từ loại của nó. Dựa vào cách phân tích cú pháp trong ngôn ngữ tự

nhiên này ta nhận thấy cấu trúc cây phù hợp để biểu diễn cú pháp văn phạm cho

một câu. 5 Phân tích cú pháp đưa ra mô tả về quan hệ và vai trò ngữ pháp của các

từ, các cụm từ trong câu, đồng thời đưa ra hình thái của câu. Cây phân tích cú pháp

đại diện cho cấu trúc cú pháp của một chuỗi theo ngữ pháp ngữ cảnh.

Một số bộ công cụ phân tích cây cú pháp như Stanford Parser (tiếng Anh),

vn.vitk (tiếng Việt)…

Ví dụ văn bản đầu vào là: “When I was involved in a traffic accident.”

Sau khi tách từ và phân tích cú pháp sẽ thu kết quả:

(ROOT 5 http://nhiethuyettre.net/phan-tich-cu-phap-van-pham-grammar-parse/

12

(WHADVP (WRB When)) (S (NP (PRP I)) (VP (VBD was) (VP (VBN involved) (PP (IN in) (NP (DT a) (NN trafic) (NN accident))))))) (FRAG (SBAR (. .)))

2.2. Các phương pháp biểu diễn từ dưới dạng vector

Sau khi tiền xử lý ngôn ngữ bằng các phương pháp tách từ, gán nhãn từ loại,

phân cụm từ ta có được các đặc trưng. Để máy tính có thể hiểu được các đặc trưng

thì nó phải được biểu diễn dưới dạng ma trận số hay còn gọi là vector. Trong xử

lý ngôn ngữ tự nhiên, việc biểu diễn một từ thành một vector đóng một vai trò cực

kỳ quan trọng. Nó lợi ích rất nhiều trong việc thể hiện sự tương đồng, đối lập về

ngữ nghĩa giữa các từ, giúp mô hình hóa vector cho 1 câu hay đoạn văn, tìm các

câu có nghĩa tương đồng,... có nhiều phương pháp để tạo ra các vector từ như Biểu

1

2

3

4

5

6

7

……

50

1 Apple

0.9898

0.7865

0.5645

0.7509

0.4534

0.5467

0.6498

0.7613

0.8363

2 Banana

0.4533

0.8644

0.1538

0.4313

0.3511

0.2422

0.2422

0.3553

0.2422

3 Cat

0.8734

0.8363

0.4821

0.1378

0.2341

0.2122

0.6775

0.3432

0.1113

4 Dog

0.9873

0.4836

0.1342

0.1956

0.2131

0.3433

0.2244

0.7453

0.5432

5 Eag

0.9473

0.4836

0.4343

0.9211

0.1221

0.4634

0.7464

0.2424

0.5322

6 Google

0.7634

0.4836

0.1313

0.1344

0.1232

0.6222

0.6564

0.3522

0.3242

7 Home

0.8463

0.9732

0.4411

0.1333

0.6453

0.3435

0.3535

0.2442

0.3432

…… …

0.8653

0.4835

0.1343

0.4421

0.7567

0.2424

0.5241

0.3221

0.3434

10000 Zoo

0.4736

0.9473

0.1453

0.1134

0.6564

0.1749

0.1892

0.1344

0.3543

diễn túi từ - Bag of words, One-hot-vector, Túi từ liên tục – CBOW, Skip gram.

Bảng 2. 3. Biểu diễn từ thành ma trận vector 50 chiều

2.2.1. Biểu diễn túi từ - Bag of words

Mô hình “Bag of Words” là mô hình thường dùng trong các tác vụ phân lớp

văn bản. Thông tin sẽ được biểu diễn thành tập các từ kèm với tần suất xuất hiện

của mỗi từ này trong văn bản. Cơ bản là thực hiện bằng cách đếm số lần xuất hiện

của mỗi từ trong văn bản.

13

Ví dụ, với hai câu sau:

(1) Iphone chụp hình rất đẹp, Samsung cũng chụp hình rất đẹp.

(2) Samsung còn hợp thời trang

Dựa trên hai câu trên thì tập từ điển được xây dựng là [“Iphone”, “chụp”,

“hình”,, “rất”, “đẹp”, “Samsung”, “cũng”, “còn”, “hợp”, “thời”, “trang”]

Dựa trên tập từ điển xây dựng được, 2 câu ban đầu được kết quả như sau:

(1) [1,2,2,2,1,1,0,0,0,0]

(2) [0,1,0,0,0,0,0,1,1,1]

Với cách mô hình hóa bằng Bag of words tần suất xuất hiện sẽ được quan

tâm đến và không quan tâm đến thứ tự xuất hiện của từ. Do đó, hai câu như “cá ăn

kiến” và “kiến ăn cá” được vector hóa là như nhau nhưng nghĩa lại khác nhau.

2.2.2 Biểu diễn One-hot-vector

Trong các ứng dụng về xử lý ngôn ngữ tự nhiên, học máy,... các thuật toán

không thể nhận được đầu vào là chữ với dạng biểu diễn thông thường. Để máy tính

có thể hiểu được, thì cần chuyển các từ trong ngôn ngữ tự nhiên về dạng mà các

thuật toán có thể hiểu được. Một kỹ thuật đơn giản nhất được sử dụng là One hot

vector (1-of-N).

Để chuyển đổi ngôn ngữ tự nhiên về dạng 1-of-N, ta thực hiện các bước như

 Xây dựng một bộ từ vựng.

sau:

Mỗi vector đại diện cho một từ có số chiều bằng số từ trong bộ từ vựng.

Trong đó, mỗi vector chỉ có một phần tử duy nhất khác 0 (bằng 1) tại vị trí tương

ứng với vị trí từ đó trong bộ từ vựng.

Ví dụ:

Giả sử chúng ta có tập từ:

[“Điện”, “thoại”, “Oppo”, “Find”, “X3”, “Neo”, “là”, “một”, “làn”, “gió”,

“mới”, “trong”, “phân”, “khúc”, “smartphone”, “cận”, “cao”, “cấp”].

Biễu diễn tập từ: “Điện thoại Oppo Find X3 Neo là một làn gió mới trong

phân khúc smartphone cận cao cấp”. Như sau:

[0, 1, 2, 3,4,5,6,7,8,9,10,11,12,13,14,15,16,17]

14

Điện: trong tập từ là 0 gió: trong tập từ là 9

thoại: trong tập từ là 1 mới: trong tập từ là 10

Oppo: trong tập từ là 2 trong: trong tập từ là 11

Find: trong tập từ là 3 phân: trong tập từ là 12

X3: trong tập từ là 4 khúc: trong tập từ là 13

Neo: trong tập từ là 5 smartphnoe: trong tập từ là 14

là: trong tập từ là 6 cận: trong tập từ là 15

một: trong tập từ là 7 cao: trong tập từ là 16

làn: trong tập từ là 8 cấp: trong tập từ là 17

0: biểu diễn [1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

1: biểu diễn [0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

2: biểu diễn [0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

3: biểu diễn [0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

4: biểu diễn [0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

5: biểu diễn [0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

6: biểu diễn [0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

7: biểu diễn [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

8: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

9: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]

10: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0]

11: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0]

12: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0]

13: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0]

14: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]

15: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0]

16: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0]

17: biểu diễn [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]

Biễu diễn:

Điện thoại Oppo Find X3 Neo là một làn gió mới trong phân khúc điện thoại

cận cao cấp.

15

[[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]

[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1]]

 Thứ nhất là độ dài của vector là quá lớn (vietwiki: Corpus Size(74M),

Tuy nhiên, phương pháp này lại để lộ ra những điểm hạn chế vô cùng lớn.

 Đặc biệt phương pháp này không xác định được sự tương quan ý nghĩa giữa

Vocabulary size(10K))

các từ do tích vô hướng của 2 từ bất kì đều bằng 0 dẫn đến độ tương đồng

cosin giữa 2 từ bất kì luôn bằng 0.

Do đó, việc tìm một phương pháp biểu diễn từ mà vẫn thể hiện được một

cách tốt nhất ngữ nghĩa của từ là một vấn đề cực kỳ quan trọng. Vấn đề ở đây là

làm thế nào để thể hiện mối quan hệ giữa các từ và tính tương đồng giữa chúng

trong văn bản, Word embedding (nhúng từ) là giải pháp để giải quyết vấn đề này.6

6 https://viblo.asia/p/xay-dung-mo-hinh-khong-gian-vector-cho-tieng-viet-GrLZDXr2Zk0

16

Word embedding (Nhúng từ) là tên của một tập hợp các mô hình ngôn ngữ

và các kỹ năng học tập tính năng trong xử lý ngôn ngữ tự nhiên (NLP), được xem

là một cách biểu diễn tốt nhất cho các token trong văn bản, nơi các từ có cùng ý

nghĩa có một cách biểu diễn tương tự nhau, được ánh xạ tới vectơ của số thực

Word embedding là kết quả của việc biểu diễn một từ như một vectơ của các số

thực.

Ngoài ra, các từ có thể được biểu diễn dưới dạng vectơ trong không gian

ngữ nghĩa. Cách tiếp cận này cũng được gọi là đại diện phân phối của các từ hoặc

các từ nhúng. Mỗi chiều của vectơ từ đại diện cho một ngữ nghĩa tiềm ẩn và chiều

không gian của chúng thường thấp (so với one-hot-vector). Word embedding như

là một phương pháp đại diện cho văn bản trong các ứng dụng học tập sâu. Kỹ thuật

này không những biểu diễn mỗi token bằng một vector với số chiều thấp mà còn

cho thấy được sự liên hệ ngữ nghĩa giữa các vector đó. Những vector gần giống

nhau sẽ biểu thị những từ với ý nghĩa gần giống nhau. Điều này cho phép tính toán

sự giống nhau giữa các từ bằng cách áp dụng các biện pháp tương tự vectơ điển

hình.

Trong thực tế Word embedding là một lớp các kỹ thuật mà các từ riêng lẻ

được biểu diễn dưới dạng vector có giá trị thực trong một không gian vector được

xác định trước. Mỗi từ được ánh xạ tới một vector và các giá trị vector được học

theo một cách giống với mạng thần kinh, và do đó kỹ thuật này thường được gộp

vào trong lĩnh vực học tập sâu. Chìa khóa để tiếp cận là ý tưởng sử dụng một đại

diện phân phối dày đặc cho mỗi từ, mỗi từ được đại diện bởi một vector có giá trị

thực, thường là hàng chục hoặc hàng trăm kích thước. Việc nhúng từ và cụm từ,

được sử dụng làm biểu diễn đầu vào cơ bản, đã được hiển thị để tăng hiệu năng

trong các nhiệm vụ NLP như phân tích cú pháp và phân tích tình cảm. Các thuật

toán Word embedding được sử dụng phổ biến như Embedding Layer, Word2Vec

và GloVe. Bằng việc sử dụng các vector này như là input cho mô hình Deep

Learning, mô hình sẽ có khả năng học tốt hơn và khả năng nhận dạng cũng tăng

lên. Có rất nhiều nhóm nghiên cứu làm việc trên các từ nhúng. Vào năm 2013, một

nhóm tại Google do Tomas Mikolov [17] sáng tạo đã tạo ra Word2Vec, một bộ

17

công cụ nhúng từ có thể đào tạo các mô hình không gian vector nhanh hơn các

Tokenizer

Văn bản tiếng việt rất lớn

Văn bản tiếng việt tách từ

RNN

phương pháp trước đó.

Model Word2Vector

Hình 2. 4. Mô hình Word2vector

Để xây dựng được vector mô tả phân bố quan hệ với tập từ điển, bản chất

mô hình Word2vec sử dụng một mạng neural đơn giản với một lớp ẩn. Sau khi

được huấn luyện trên toàn bộ tập văn bản, toàn bộ lớp ẩn sẽ có giá trị mô hình hóa

quan hệ của từ trong tập văn bản được huấn luyện ở mức trừu tượng. Trong ngữ

cảnh, từ sẽ được huấn luyện bằng việc sử dụng thuật toán Continuous Bag of

Words (CBOW) hoặc Skip gram.

2.2.3. Túi từ liên tục - CBOW

Không giống như các mô hình language model thông thường chỉ có thể dự

đoán từ tiếp theo dựa trên thông tin của các từ xuất hiện trước nó, mô hình Word

Embedding không bị giới hạn như vậy. Với một mô hình lý tưởng, chúng ta có thể

hình dung Word Embedding không chỉ có khả năng dự đoán tốt các từ tiếp theo

trong một đoạn văn mà thậm chí có thể hiểu được nghĩa của từ, các từ đồng nghĩa

hay trái nghĩa với nhau, hay thậm chí là nội dung tổng thể của cả đoạn văn nếu

chúng ta biết cách kết hợp ý nghĩa của các từ cấu thành đoạn văn.

Trong paper của Tomas Mikolov năm 2013, ông đã sử dụng các từ nằm ở

phía trước và các từ ở phía sau của từ cần đoán (target word) để đào tạo mô hình

Word Embedding. Nó được gọi với cái tên là Continuous Bag of Words đơn giản

vì ông cho rằng, các từ có thể biển diễn một cách liên tục mà thứ tự của các từ

trong một đoạn văn không phải là vấn đề.

Một ví dụ cho các bạn dễ hình dung: Cái cellphones để trên bàn

18

Cùng cắt nhỏ câu trên thành các từ có nghĩa trong từ điển tiếng việt. Bước

này có thể dùng các tool tokenizer để làm. Kết quả có thể như sau:

“Cái” “cellphones” “để” “trên” “bàn”

Trong ví dụ đầu tiên, giả sử từ đầu vào (input word) trong mô hình là “Cái”

và “trên” để dự đoán từ tiếp theo là “cellphones” với Window size là 1. Ở đây xin

nhấn mạnh lại là chúng ta đang cố dự đoán target word là “để” dựa vào ngữ cảnh

context input word là “cái” và “trên”

Vậy các nhà nghiên cứu trước đã làm cụ thể như thế nào?

Đầu tiên, chúng ta sẽ chuyển toàn bộ các từ xuất hiện trong ví dụ thành dạng

one-hot vector có kiểu như sau. Vì tổng số các từ có trong ví dụ là 5 (tạm gọi là V),

vì thế nên one-hot vector có số chiều (dimensions) là 5. Chúng sẽ có dạng như sau:

# V = 5

:[1, 0, 0, 0, 0] :[0, 1, 0, 0, 0] :[0, 0, 1, 0, 0] :[0, 0, 0, 1, 0] :[0, 0, 0, 0, 1] vectors = { "cái" "cellphones" "để" "trên" "bàn" } One-hot vector là nguyên liệu cần để áp dụng CBOW. Cùng xem sâu hơn

tới kiến trúc của CBOW. Mô hình Continuous Bag of Words (CBOW): Mô hình

này sử dụng ngữ cảnh để dự đoán mục tiêu (CBOW), một ngữ cảnh sẽ được xác

định bằng một window size, tức là số từ đứng trước hoặc đứng sau từ cần xét. Ví

dụ với widow size =1 thì từ ngữ cảnh “Cellphones, trên” mô hình CBOW dự đoán

được từ đầu ra là “để”.

19

INPUT

PROJECTION

OUTPUT

Cái

W(t-2)

SUM

Cellphones

W(t-1)

W (t) Để

Trên

W(t+1)

W(t+2)

Bàn

Hình 2. 5. Mô hình Continuous Bag of Words

Input hay còn gọi là context word là 2 one-hot vector có size là V. Hidden

layer trong kiến trúc CBOW chứa N neutrals và output lại quay trở lại là một

vector có kích thước bằng V.

Diễn giải theo ví dụ ở phía trên theo một cách đơn giản như sau:

 input layer: đưa vào 2 vector [0, 1, 0, 0, 0]  và [0, 0, 0, 1, 0]  -  đại

diện cho từ “mèo” và “trên”. Với một corpus thật lớn, chúng ta sẽ cho mạng

CBOW học lần lượt từng từ trong corpus với context tương ứng như minh họa trên.

Khi hiện thực, 2 vector one-hot của 2 từ trong context sẽ được cộng lại thành một

vector input duy nhất (có 2 giá trị 1) và đưa vào hệ thống như một input duy nhất.

 hidden layer: từ mà được truyền vào ở input layer sẽ được embed

𝑇 . số 𝑊𝑉𝑥𝑁

vào một không gian N chiều bằng cách nhân input vector X với ma trận trọng

 output layer: kết quả của hidden layer sẽ được map với đầu ra chính

là trọng số của từng từ có trong vocab V, trọng số càng cao thì có nghĩa là xác suất

từ đó là từ tiếp theo (positive prediction) càng cao. Lưu ý: do trọng số ở output

layer có biên độ không cố định nên thường thì người ta dùng softmax ở đoạn này

nhằm convert trọng số của output layer thành xác suất probability.

Nếu chỉ quan tâm đến input và output có thể hiểu đơn giản rằng, xây dựng

một mô hình sao cho khi input vào một từ (word) thì mô hình sẽ đưa ra tập hợp

xác suất cho tất cả các từ có trong từ điển (vocab). Từ mà có xác suất cao thì tỉ lệ

20

cao là từ đó sẽ là từ tiếp theo (target word) của từ mà mình đã input (context word).

Để máy tính biết được mục tiêu để tối ưu mô hình của mình theo đúng như kỳ vọng

trên, theo như bài báo của Mikolov, mục tiêu của CBOW là tối ưu trung bình xác

𝑇

(2.1)

suất [18]:

𝐽𝜃 = (𝑤𝑡|𝑤𝑡−𝑛, … , 𝑤𝑡−1, 𝑤𝑡+1, … , 𝑤𝑡+𝑛) 1 𝑇 ∑ 𝑙𝑜𝑔𝑝 𝑡=1

Input layer

Hidden layer

Output layer

N is size of vector

Với w1, w2, w3,…,wT là một chuỗi các từ huấn luyện

Hình 2. 6. Mô hình CBOW chi tiết

Tuy nhiên, đối với tập dữ liệu lớn thì mô hình huấn luyện Word2vec phương

pháp Skip gram cho kết quả tốt hơn.

2.2.4. Skip gram

Ngược lại với mô hình CBOW ở trên, trong mô hình Skip gram, đầu vào

(input) là từ cần tìm mối quan hệ, đầu ra (output) là các từ có quan hệ gần nhất với

từ được đưa ở đầu vào. Lấy ví dụ như trên, với input đầu vào là one-hot vector của

từ “ngồi” và context ngữ cảnh với window size =1. Sau khi huấn luyện, chúng ta

sẽ có được 1 ma trận W và 2 ma trận chuyển vị W’. Ma trận W sẽ được dùng để

tạo ra các embedding vector từ một one-hot vectors.

21

OUTPUT

INPUT

W(t+2)

cái

W(t+1)

Cellphone

W(t)

Để

W(t+1)

trên

W(t+2)

Bàn

PROJECTION

Hình 2. 7. Mô hình Skip gram trong Word2vec

Mục tiêu đào tạo của mô hình Skip-gram là từ đầu vào input để dự đoán các

từ xung quanh trong câu hoặc tài liệu. Đơn giản hơn, đưa ra một chuỗi các từ huấn

luyện w1, w2, w3 ,. . . , wT, mục tiêu của mô hình Skip-gram là tối đa hóa mức trung

𝑇

𝑛

(2.2)

bình xác suất: [19]

𝑡=1

−𝑐≤=𝑗≤𝑐,𝑗≠0

∑ ∑ 𝑙𝑜𝑔𝑝 𝐽𝜃 = (𝑤𝑡+𝑗|𝑤𝑡)𝐴 = 𝜋𝑟2 1 𝑇

Với c là kích cỡ ngữ cảnh huấn luyện, như ví dụ trên thì c=1

Chi tiết cách thực hiện

Trước hết, tôi phải đưa từ vào mạng neural một lớp ẩn. Để có thể huấn luyện

được, từ được vector hóa để cho vào mạng. tôi có thể xây dựng kho từ điển từ tập

dữ liệu văn bản sau đó sử dụng one-hot-vector để diễn tả từng từ trong kho từ điển.

Giả sử, tôi có từ điển gồm 10.000 từ riêng biệt. Vector one-hot sẽ gồm 10.000

thành phần đại diện cho mỗi từ trong từ điển. Vector one-hot có dạng bao gồm

toàn bộ giá trị bằng 0, chỉ có chỉ số tương ứng với vị trí của từ trong từ điển có giá

trị bằng 1. Ví dụ từ “ants” sẽ biểu diễn bằng vector 10.000 phần tử gồm toàn số 0,

duy nhất số 1 tại vị trí tương ứng với từ “ants” trong từ điển. [1]

22

Hình 2. 8. Mô hình mạng nơ ron 1 lớp ẩn của Word2vec

Lớp ẩn giả sử gồm 300 neuron, thường không sử dụng hàm activation,

nhưng đầu ra thì sử dụng hàm softmax. Đầu ra sẽ là vector cũng là một vector có

độ lớn 10.000 và giá trị tương ứng với mỗi vị trí là xác suất xuất hiện gần từ đã

chọn của từ gần vị trí đó. Kích thước 300 nơ ron ở lớp ẩn là một hyperparameter

của mô hình, nó được gọi là số chiều hay số đặc trưng của word2vec. Con số 300

được Google sử dụng trong mô hình huấn luyện từ tập ngữ liệu Google News [12].

Giá trị hyperparameter có thể được thay đổi sao cho phù hợp với mô hình, dữ liệu

của người nghiên cứu.

Hình 2. 9. Ma trận trọng số của lớp ẩn của mô hình Word2vec

23

Vậy mục đích cuối cùng của việc huấn luyện trên toàn tập ngữ liệu là tìm

ra ma trận trọng số tại lớp ẩn. Nhận thấy đầu vào của mô hình là 1 từ được biểu

diễn dưới dạng one-hot vector tức là một vector có các giá trị toàn bằng 0, chỉ có

một vị trí bằng 1 tương ứng với vị trí của từ đầu vào theo thứ tự từ điển. Việc nhân

vector one-hot đầu vào với ma trận trọng số bản chất là việc tìm kiếm trên ma trận

trọng số một vector đặc trưng có chiều dài bằng số chiều bằng số chiều của ma

trận trọng số.

[0 0 0 1 0] x

[ 17 24 1 23 5 7 = [10 12 19] 4 6 13 10 12 19 11 18 25]

Hình 2. 10. Lớp ẩn của mô hình hoạt động như một bảng tra cứu

Đầu ra của mô hình Word2vec là một bộ phân loại sử dụng hàm softmax để

tính xác suất. Ưu điểm của hàm softmax là luôn tạo giá trị xác suất dương và tổng

tất cả các xác suất thành phần là bằng 1. Giả sử tính mối tương quan giữa từ “ants”

và từ “car”, hai từ này sẽ được vector hóa dựa vào ma trận trọng số của lớp ẩn đã

huấn luyện. Đầu ra qua hàm softmax sẽ có ý nghĩa là xác suất từ “car” xuất hiện

gần từ được chọn “ants”

Hình 2. 11. Mối tương quan giữa từ “ants” và từ “car”

Mục đích của việc biểu diễn từ thành các vector là để tạo ra các đầu vào cho

các mô hình học máy xử lí ngôn ngữ tự nhiên, việc số hóa từ thành vector có nhiều

cách thực hiện nhưng phương pháp tối ưu hơn cả là Word2vec, Fasttext và GloVe

do nó thể hiện được mối tương quan của các từ với nhau trong không gian vector.

Có nhiều mô hình học máy để xử lí ngôn ngữ tự nhiên và học sâu Deep learning

24

hiện là hướng tiếp cận tối ưu nhất đặc biệt với dữ liệu huấn luyện lớn. Luận văn

của tôi nghiên cứu sử dụng Word2vec được huấn luyện sẵn dùng mô hình

Skipgram như trên.

2.3. Học sâu - Deep Learning

Những năm gần đây, AI - Artificial Intelligence (Trí Tuệ Nhân Tạo), và cụ

thể hơn là Machine Learning (Học Máy hoặc Máy Học) nổi lên như một bằng

chứng của cuộc cách mạng công nghiệp lần thứ tư (1 - động cơ hơi nước, 2 - năng

lượng điện, 3 - công nghệ thông tin). Trí tuệ nhân tạo đang len lỏi vào mọi lĩnh

vực trong đời sống mà có thể chúng ta không nhận ra. Xe tự hành của Google và

Tesla, hệ thống tự tag khuôn mặt trong ảnh của Facebook, trợ lý ảo Siri của Apple,

hệ thống gợi ý sản phẩm của Amazon, hệ thống gợi ý phim của Netflix, máy chơi

cờ vây AlphaGo của Google DeepMind, …, chỉ là một vài trong vô vàn những ứng

dụng của AI/Machine Learning.

Machine learning là một tập con của AI. Nói đơn giản, machine learning là

một lĩnh vực nhỏ của khoa học máy tính, nó có khả năng tự học hỏi dựa trên dữ

liệu đưa vào mà không cần phải được lập trình cụ thể.

Trong nhiều thập kỷ, với một lượng dữ liệu ngày càng nhiều, để làm cho

máy tính đáp ứng yêu cầu cần cung cấp thông tin của chúng ta, chúng ta đã phải

học cách nói chuyện với nó theo cách nó sẽ hiểu, machine learning đã tiến lên một

bước dài và deep learning (DL) là một lĩnh vực mới được ra đời. Deep learning là

tập hợp con của machine learning và nó có tác dụng hỗ trợ cho máy tính tự huấn

luyện chính nó để có thể thực hiện mọi tác vụ tương tự như con người. Điều này

chính là giúp máy tính bắt chước con người cách học hỏi và suy nghĩ.

Các hệ thống của deep learning có khả năng cải thiện được những hiệu

suất của chúng với quyền truy cập vào dữ liệu sẽ được nhiều hơn.

Deep learning hoạt động dựa vào mạng lưới thần kinh nhân tạo và nó bao

gồm nhiều lớp chứa các dữ liệu mô phỏng cách thức vận hành của não người.

Bộ phận mạng thần kinh nhân tạo này giống với não người bao gồm: Các

node (nó là đơn vị thần kinh trong mạng thần kinh nhân tạo) là những nơ ron thần

25

kinh. Hầu hết các node bản thân thường chỉ có khả năng trả lời cho những câu

hỏi đơn giản và cơ bản nhất; với những tác vụ khó thì chúng sẽ tiến hành liên kết

với nhau để trả lời, đồng thời nâng cấp các công nghệ như trích chọn giọng nói,

dịch tự động (machine translation), xử lý ngôn ngữ tự nhiên…

Machine Learning, and Deep Learning?

Hình 2. 12. Nguồn ảnh: What’s the Difference Between Artificial Intelligence,

Trong các thuật toán học máy hiện nay đã được sử dụng và phát triển,

phương pháp học sâu đã học được nhiều dữ liệu nhất và có thể thay thế con người

trong một số nhiệm vụ và nhận thức. Do đó, phương pháp học sâu đã trở thành

phương pháp tiếp cận có tiềm năng lớn trong lĩnh vực trí tuệ nhân tạo.

2.3.1. Mạng nơ ron nhân tạo (ANN)

Thành phần cơ bản nhất của mạng học sâu deep learning đó chính là các

perceptron, một perceptron có cơ chế hoạt động giống như một nơ ron sinh học

26

Hình 2. 13. Một nơ ron sinh học 7

Như hình trên, ta có thể thấy một nơ-ron có thể nhận nhiều đầu vào và cho

X1

Output

X2

X

1

X3

ra một kết quả duy nhất. Mô hình của perceptron cũng tương tự như vậy:

Hình 2. 14. Một perceptron

Một perceptron sẽ nhận một hoặc nhiều đầu X vào dạng nhị phân và cho ra

một kết quả o dạng nhị phân duy nhất. Các đầu vào được điều phối tầm ảnh hưởng

bởi các tham số trọng lượng tương ứng w của nó, còn kết quả đầu ra được quyết

định dựa vào một ngưỡng quyết định b (bias) nào đó:

(2.3)

𝑖

𝑥𝑖 ≤ 𝑡ℎ𝑟𝑒𝑠ℎ𝑜𝑙𝑑 0 𝑖𝑓 ∑ 𝑤𝑖 0 =

𝑥𝑖 > 𝑡ℎ𝑟𝑒𝑠ℎ𝑜𝑙𝑑 1 𝑖𝑓 ∑ 𝑤𝑖 𝑖 { }

Đặt , ta có thể viết lại thành:

7 https://dominhhai.github.io/vi/2018/04/nn-intro/

27

𝑖

( 2.4)

𝑥𝑖 + 𝑏 ≤ 0 0 𝑖𝑓 ∑ 𝑤𝑖 0 =

𝑥𝑖 + 𝑏 > 0 1 𝑖𝑓 ∑ 𝑤𝑖 𝑖 { }

( 2.5)

Nếu gắn và , ta còn có thể viết gọn lại thành:

} 0 = {0 if WTX ≤ 0 1 if WTX > 0

Với đầu vào và đầu ra dạng nhị phân, ta rất khó có thể điều chỉnh một lượng

nhỏ đầu vào để đầu ra thay đổi chút ít, nên để linh động, ta có thể mở rộng chúng

(2.6)

ra cả khoảng [0,1]. Lúc này đầu ra được quyết định bởi một hàm .

Hàm sigmoid có công thức:

Thực ra thì ngoài hàm sigmoid ra, ta còn có thể một số hàm khác

như tanh, ReLU để thay thế hàm sigmoid bởi dạng đồ thị của nó cũng tương tự

như sigmoid. Một cách tổng quát, hàm perceptron được biểu diễn qua một hàm

(2.7)

kích hoạt (activation function) f(z) như sau:

Hình 2. 15. Mô hình nơ ron

Mạng nơ ron nhân tạo (ANN)

Mạng ANN là sự kết hợp của của các tầng perceptron hay còn được gọi là

perceptron đa tầng (multilayer perceptron). Mạng ANN có thể coi là một phương

thức để miêu tả cách hoạt động trong bộ não của con người. Nói một cách đơn giản

28

hơn, mạng ANN là một hàm nhận một đầu vào x, xử lý nó và đưa ra một đầu ra y

tương ứng. Mạng ANN gồm những thành phần sau:

 Một lớp biểu diễn đầu vào x

 Một số lượng các lớp ẩn - hidden layers

 Một lớp biểu diễn đầu ra y

 Một bộ các chỉ số weights (W) và bias (b) giữa các lớp

 Một hàm kích hoạt - activation function giữa các lớp

Hình dưới đây miêu tả một kiến trúc mạng ANN gồm 2 lớp (lớp đầu vào x

thường không được tính vào số lượng lớp của mạng)

Hình 2. 16. Mô hình mạng nơ ron ANN

Trong mạng ANN, mỗi nút mạng là một sigmoid nơ-ron nhưng hàm kích

hoạt của chúng có thể khác nhau. Tuy nhiên trong thực tế người ta thường để chúng

cùng dạng với nhau để tính toán cho thuận lợi.

Ở mỗi tầng, số lượng các nút mạng (nơ-ron) có thể khác nhau tuỳ thuộc vào

bài toán và cách giải quyết. Nhưng thường khi làm việc người ta để các tầng ẩn có

số lượng nơ-ron bằng nhau. Ngoài ra, các nơ-ron ở các tầng thường được liên kết

đôi một với nhau tạo thành mạng kết nối đầy đủ (full-connected network). Khi đó

ta có thể tính được kích cỡ của mạng dựa vào số tầng và số nơ-ron. Ví dụ ở hình

trên ta có:

29

 2 tầng mạng, trong đó có 1 tầng ẩn (Input đầu vào không tính là 1

tầng)

 3+4+1=8 nút mạng

 (3*4+4*1)+(4+1) = 21 tham số

Huấn luyện mạng ANN

Với kiến trúc trên, biến ŷ thể hiển đầu ra của mạng sẽ được tính theo công

( 2.8)

thức:

ŷ

Theo công thức trên, có thể thấy được rằng các biến weights W và bias b

đóng vai trò quyết định đầu ra ŷ. Giá trị của các biến này cần được tinh chỉnh để

tăng độ chính xác trong những dự đoán của mạng ANN. Quá trình tinh chỉnh các

biến này được gọi là quá trình huấn luyện mạng. Quá trình này là một vòng lặp

gồm các bước:

 Feedforward: Tính toán đầu ra ŷ

 Backpropagation: Cập nhật các giá trị W và b

Mỗi vòng lặp trong quá trình huấn luyện diễn ra như sau:8

ŷ = σ(𝑤2𝑧 + 𝑏2)

𝑧 = 𝜎(𝑤1𝑥 + 𝑏1)

Loss(ŷ, y)

𝑤2𝑧 + 𝑏2

𝑤1𝑥 + 𝑏1

𝑥

𝑊

Feedforward

Backprogation

𝑏

Hình 2. 17. xây dựng mô hình neural network

( 2.9)

Feedforward: Là quá trình tính toán đầu ra ŷ theo công thức

ŷ

Sau bước feedforward, ta đã tính được đầu ra ŷ của mạng ANN. Tuy nhiên

ta vẫn chưa xây dựng một cách thức để đánh giá mức độ đúng đắn của dự đoán

8 https://trituenhantao.io/kien-thuc/xay-dung-mo-hinh-neural-network/

30

này. Phương thức phổ biến nhất dùng để đánh giá mức độ chênh lệch giữa dự

đoán ŷ với kết quả mong muốn y là sử dụng hàm mất mát.

Hàm mất mát - Loss function

Là một hàm để tính toán mức độ chênh lệch giữa ŷ và y. Vì giá trị độ chênh

lệch này biểu diễn sự sai sót trong quá trình dự đoán của mạng nên giá trị này còn

được gọi là giá trị lỗi. Giá trị lỗi càng nhỏ thì dự đoán của mạng neural càng chính

xác. Có rất nhiều biến thể của hàm mất mát phù hợp cho từng bài toán khác nhau,

𝑛

( 2.10)

trong bài viết này ta sẽ sử dụng hàm tổng bình phương lỗi (Sum of square error):

𝑖=0

𝑆𝑢𝑚_𝑜𝑓_𝑆𝑞𝑢𝑎𝑟𝑒_𝐸𝑟𝑟𝑜𝑟 = ∑(𝑦 − 𝑦̂)2

Giống như cái tên hàm tổng bình phương lỗi, giá trị lỗi được tính theo tổng

bình phương của độ chệnh lệch của từng dự đoán ŷ với mong muốn y tương ứng.

Mục tiêu của việc huấn luyện mạng là giảm giá trị lỗi này đến mức tối thiểu và quá

trình backpropagation sẽ thực hiện điều đó.

Sau khi đã tính được giá trị lỗi, ta cần phải cập nhật các biến W và b sao

cho các dự đoán ŷ về sau có giá trị lỗi nhỏ nhất có thể. Nhắc lại kiến thức về giải

tích, để tìm cực tiểu của một hàm số ta phải tính đạo hàm của hàm số đó theo từng

biến. Các giá trị đạo hàm nói cho ta biết về các "hướng" cần di chuyển các biến để

hàm số đi về cực tiểu. Vì vậy, một khi ta đã có đạo hàm của hàm mất mát theo

từng biến W và b, ta sẽ cập nhật các giá trị của chúng theo giá trị các đạo hàm

tương ứng. Phương pháp này được gọi là gradient descent. 9

9 https://trituenhantao.io/kien-thuc/xay-dung-mo-hinh-neural-network/

31

Hình 2. 18. xây dựng mô hình neural network

Để tính toán các đạo hàm của hàm mất mát theo từng biến W và b, ta sử

dụng quy tắc tính đạo hàm của hàm số hợp như sau:

𝑛 𝑖=1

𝜕 𝐿𝑜𝑠𝑠(𝑦,𝑦̂ )

𝜕 𝐿𝑜𝑠𝑠(𝑦,𝑦̂ )

𝜕𝑦̂

𝜕𝑧

𝐿𝑜𝑠𝑠(𝑦, ŷ) = ∑ (𝑦 − 𝑦̂ )2

𝜕𝑤

𝜕𝑦̂

𝜕𝑧

𝜕𝑤

= ∗ ∗ where 𝑧 = 𝑊𝑥 + 𝑏 ( 2.11)

= 2(𝑦 − 𝑦̂) ∗ derivative of sigmoid funtion ∗ 𝑥

= 2(𝑦 − 𝑦̂) ∗ 𝑧(1 − 𝑧) ∗ 𝑥

2.3.2. Mạng nơ-ron hồi quy RNN (Recurrent Neural Network)

Mạng nơ-ron hồi quy RNN (Recurrent Neural Network) được giới thiệu bởi

John Hopfield năm 1982 [3], là một trong những mô hình học sâu - Deep learning.

Recurrent là thực hiện lặp lại cùng một tác vụ cho mỗi thành phần trong chuỗi.

Trong đó, kết quả đầu ra tại thời điểm hiện tại phụ thuộc vào kết quả tính toán của

các thành phần ở những thời điểm trước đó.

RNN được ứng dụng và thành công ở rất nhiều bài toán, đặc biệt là ở lĩnh

vực NLP(xử lý ngôn ngữ tự nhiên). Trên lý thuyết thì đúng là RNN có khả năng

nhớ được những tính toán (thông tin) ở trước nó, nhưng mô hình RNN truyền thống

không thể nhớ được những bước ở xa do bị mất mát đạo hàm, nên những thành

công của mô hình này chủ yếu đến từ một mô hình cải tiến khác là LSTM (Long

Short-Term Memory).

32

Hình 2. 19. Quá trình xử lý thông tin trong mạng RNN

RNN có khả năng biểu diễn mối quan hệ phụ thuộc giữa các thành phần

trong chuỗi (nếu chuỗi đầu vào có 6 từ thì RNN sẽ dàn ra thành 6 layer, mỗi layer

ứng với mỗi từ, chỉ số mỗi từ được đánh từ 0 đến 5. Trong hình 2.18 ở trên, xt là

input tại thời điểm thứ t, st là hidden state (memory) tại thời điểm thứ t, được tính

dựa trên các hidden state trước đó kết hợp với input của thời điểm hiện tại với công

thức:

𝑆𝑡 = tanh (𝑈𝑥𝑡 + 𝑊𝑠𝑡−1) (2.12)

St-1 là hidden state được khởi tạo là 1 vector 0. Ot là output tại thời điểm thứ

t, là một vector chứa xác xuất của toàn bộ các từ trong từ điển.

𝑂𝑡 = softmax(𝑉𝑠𝑡) (2.13)

Không như ANN truyền thống, tại mỗi layer cần phải sử dụng một tham số

khác, RNNs chỉ sử dụng một bộ parameters (U, V,W) cho toàn bộ các bước.

RNN cho phép ta dự đoán xác suất của một từ mới nhờ vào các từ đã biết

liền trước nó. Cơ chế này hoạt động giống với ví dụ bên trên, với các đầu ra của

cụm này sẽ là đầu vào của cụm tiếp theo cho đến khi ta được một câu hoàn chỉnh.

Các input thường được encode dưới dạng 1 vector one hot encoding. Đôi khi ta chỉ

cần xem lại thông tin vừa có thôi là đủ để biết được tình huống hiện tại. Ví dụ, ta

có câu: “chiếc điện thoại để trên bàn” thì ta chỉ cần đọc tới “chiếc điện thoại để

trên” là đủ biết được chữ tiếp theo là “bàn” rồi. Trong tình huống này, khoảng

cách tới thông tin có được cần để dự đoán là nhỏ, nên RNN hoàn toàn có thể học

được.

33

Hình 2. 20. RNN phụ thuộc short-term

Trường hợp có nhiều thông tin hơn trong một câu, nghĩa là phụ thuộc vào

ngữ cảnh. Ví dụ như khi dự đoán từ cuối cùng trong đoạn văn bản “Apple là công

ty công nghệ sản xuất điện thoại thông minh tại Mỹ… Những chiếc Iphone có_thể

xuất đi trên toàn thế_giới.” Từ thông tin gần nhất cho thấy rằng từ tiếp theo là tên

một ngôn ngữ, nhưng khi chúng ta muốn biết cụ thể ngôn ngữ nào, thì cần quay về

quá khứ xa hơn, để tìm được ngữ cảnh Mỹ. Như vậy, RNN sẽ phải tìm những

thông tin có liên quan và số lượng các điểm vô cùng lớn. Cho nên RNN không thể

học để kết nối các thông tin lại với nhau như mong muốn của chúng ta.

Hình 2. 21. RNN phụ thuộc long-term

Về lý thuyết, RNN có thể nhớ được thông tin của chuỗi có chiều dài bất kì,

nhưng trong thực tế mô hình này chỉ nhớ được thông tin ở vài bước trước đó[3].

RNN có các phiên bản mở rộng như: Bidirectional RNN (RNN hai chiều),

Deep (Bidirectional) RNN, Long short-term memory networks (LSTM)

Bidirectional Long short-term memory networks (BiLSTM) [3][4][7][8].

2.3.3. Bộ nhớ dài-ngắn LSTM (Long-short term memory)

Mạng bộ nhớ dài-ngắn (Long Short Term Memory networks), thường được

gọi là LSTM - là một dạng đặc biệt của RNN, nó có khả năng học được các phụ thuộc

34

xa. LSTM được giới thiệu bởi Hochreiter & Schmidhuber (1997), và sau đó đã được

cải tiến và phổ biến bởi rất nhiều người trong ngành. Chúng hoạt động cực kì hiệu quả

trên nhiều bài toán khác nhau nên dần đã trở nên phổ biến như hiện nay. [3].

LSTM có các thành phần cơ bản sau:

+ Tế bào trạng thái (cell state)

+ Cổng (gates)

+ Sigmoid

+ Tanh

LSTM được thiết kế để tránh được vấn đề phụ thuộc xa (long-term dependency).

Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của chúng, chứ ta

không cần phải huấn luyện nó để có thể nhớ được. Tức là ngay nội tại của nó đã có thể

ghi nhớ được mà không cần bất kì can thiệp nào.

Mọi mạng hồi quy đều có dạng là một chuỗi các mô-đun lặp đi lặp lại của mạng

nơ-ron. Với mạng RNN chuẩn, các mô-dun này có cấu trúc rất đơn giản, thường là

một tầng tanhtanh.

Hình 2. 22. Các mô-đun lặp của mạng RNN chứa một layer

LSTM cũng có kiến trúc dạng chuỗi như vậy, nhưng các mô-đun trong nó có

cấu trúc khác với mạng RNN chuẩn. Thay vì chỉ có một tầng mạng nơ-ron, chúng có

tới 4 tầng tương tác với nhau một cách rất đặc biệt.

35

Hình 2. 23. Các mô-đun lặp của mạng LSTM chứa bốn layer

Trong đó, các ký hiệu sử dụng trong mạng LSTM được giải nghĩa như sau:

• Hình chữ nhật là các lớp ẩn của mạng nơ-ron

• Hình tròn biểu diễn toán tử Pointwise

• Đường kẻ gộp lại với nhau biểu thị phép nối các toán hạng

• Và đường rẽ nhánh biểu thị cho sự sao chép từ vị trí này sang vị trí khác

Hình 2. 24. Các kí hiệu sử dụng trong mạng LSTM

Cho một chuỗi các vectơ (x1, x2, …,xn), σ là hàm sigmoid logistic, trạng thái

ẩn ht, của LSTM tại thời điểm t được tính như sau:

(1) ht = ot ∗ tanh(ct)

(2) ot = tanh(Wx0xt + Wh0ht-1 + Wc0ct + bo)

ct = ft ∗ ct-1 + it ∗ tanh(Wxcxt + Whcht-1 + bc) (3) (2.14)

(4) ft = σ(Wxfxt + Whfht-1 + Wcfct-1 + bf)

(5) it = σ(Wxixt + Whiht-1 + Wcict-1 + bi)

Phân tích mô hình LSTM:

+ Chìa khóa của LSTM là trạng thái tế bào (cell state) - chính đường chạy thông

ngang phía trên của sơ đồ hình vẽ.

+ Trạng thái tế bào là một dạng giống như băng truyền. Nó chạy xuyên suốt tất

cả các mắt xích (các nút mạng) và chỉ tương tác tuyến tính đôi chút. Vì vậy mà các

thông tin có thể dễ dàng truyền đi thông suốt mà không sợ bị thay đổi.

36

Hình 2. 25. Tế bào trạng thái LSTM giống như một băng truyền

+ LSTM có khả năng bỏ đi hoặc thêm vào các thông tin cần thiết cho trạng thái

tế báo, chúng được điều chỉnh cẩn thận bởi các nhóm được gọi là cổng (gate).

+ Các cổng là nơi sàng lọc thông tin đi qua nó, chúng được kết hợp bởi một

tầng mạng sigmoid và một phép nhân.

Hình 2. 26. Cổng trạng thái LSTM

+ Tầng sigmoid sẽ cho đầu ra là một số trong khoản [0, 1][0,1], mô tả có bao

nhiêu thông tin có thể được thông qua. Khi đầu ra là 00 thì có nghĩa là không cho thông

tin nào qua cả, còn khi là 11 thì có nghĩa là cho tất cả các thông tin đi qua nó. Một

LSTM gồm có 3 cổng như vậy để duy trì và điều hành trạng thái của tế bào.

Quá trình hoạt động của LSTM được thông qua các bước cơ bản sau:

+ Bước đầu tiên của LSTM là quyết định xem thông tin nào cần bỏ đi từ trạng

thái tế bào. Quyết định này được đưa ra bởi tầng sigmoid - gọi là “tầng cổng quên”

(forget gate layer). Nó sẽ lấy đầu vào là h_{t-1}ht−1 và x_txt rồi đưa ra kết quả là một

số trong khoảng [0, 1][0,1] cho mỗi số trong trạng thái tế bào C_{t-1}Ct−1. Đầu ra

là 11 thể hiện rằng nó giữ toàn bộ thông tin lại, còn 00 chỉ rằng toàn bộ thông tin sẽ bị

bỏ đi.

37

𝑓𝑡 = 𝜎 (𝑊𝑓. [ℎ𝑡−1 , 𝑥𝑡] + 𝑏𝑓 (2.15)

Hình 2. 27. LSTM focus f

+ Bước tiếp theo là quyết định xem thông tin mới nào ta sẽ lưu vào trạng thái

tế bào. Việc này gồm 2 phần. Đầu tiên là sử dụng một tầng sigmoid được gọi là “tầng

cổng vào” (input gate layer) để quyết định giá trị nào ta sẽ cập nhập. Tiếp theo là một

tầng tanhtanh tạo ra một véc-tơ cho giá trị mới. thêm vào cho trạng thái.

Trong bước tiếp theo, ta sẽ kết hợp 2 giá trị đó lại để tạo ra một cập nhập cho trạng thái.

𝑖𝑡 = 𝜎 (𝑊𝑖 . [ℎ𝑡−1 , 𝑥𝑡] + 𝑏𝑖 (2.16) 𝐶̃𝑡 = tanh (𝑊𝑐 . [ℎ𝑡−1 , 𝑥𝑡] + 𝑏𝑐 (2.17)

Hình 2. 28. LSTM focus i

+ Kế tiếp, là lúc cập nhật cell state cũ Ct-1 vào cell state mới Ct. Ta sẽ đưa

state cũ vào hàm ft , để bỏ những thông tin ta quyết định quên đi những gì trước

đó. Sau đó, ta sẽ thêm it*Ct. Đây là giá trị mới thu được này phụ thuộc vào việc ta

quyết định cập nhật cho mỗi state ra sao.

38

𝐶𝑡 = 𝑓𝑡 ∗ 𝐶𝑡−1 + 𝑖𝑡 ∗ 𝐶̃𝑡 (2.18)

Hình 2. 29. LSTM focus c

+ Cuối cùng, ta cần quyết định xem ta muốn đầu ra là gì. Giá trị đầu ra sẽ dựa

vào trạng thái tế bào, nhưng sẽ được tiếp tục sàng lọc. Đầu tiên, ta chạy một tầng

sigmoid để quyết định phần nào của trạng thái tế bào ta muốn xuất ra. Sau đó, ta đưa

nó trạng thái tế bảo qua một hàm tanh để co giá trị nó về khoảng [-1, 1][−1,1], và nhân

nó với đầu ra của cổng sigmoid để được giá trị đầu ra ta mong muốn.

Mô hình LSTM là một bước đột phá từ mô hình RNN. Mô hình đã giải

quyết được vấn đề không xử lý câu dài trong mô hình RNN.

2.3.4. Mạng nơ ron ngắn dài song song LSTM (Bidirectional Long-short term

memory)

Bidirectional LSTM là một mở rộng của mạng nơ ron hồi quy hai chiều

(Bidirectional RNN) và LSTM nhằm giải quyết những hạn chế và tăng tính hiệu

quả của mạng RNN (Recurrent Neural Network) trong các bài toán phức tạp.

Bidirectional LSTM bao gồm 2 lớp mạng LSTM, trong đó một để xứ lý chuỗi theo

chiều thuận và một để xử lý chuỗi theo chiều ngược lại. Với việc hai lớp mạng này

cùng được kết nối với một lớp đầu ra, mạng Bidirectional LSTM có thể thu được

thông tin về sự phụ thuộc của đầu ra tại một thời điểm t với những thành phần

trước đó và cả các thành phần trong tương lai trong một chuỗi sự kiện phụ thuộc

lẫn nhau. [22]

39

Hình 2. 30. Mô hình Bidirectional LSTM sử dụng 2 mạng nơ-ron LSTM

Đối với một văn bản tạo thành bởi một chuỗi các ký tự, BiLSTM sẽ giúp ta

mô hình được mối quan hệ của một từ trong chuỗi văn bản với các từ bên trái và

bên phải xung quanh từ đó, thay vì chỉ là mối quan hệ một chiều như mạng LSTM

truyền thống. Hình 2.30 cho thấy một ví dụ về mạng LSTM hai chiều cho một

nhiệm vụ phân loại NER.

I-LOC B-LOC O O

Của Iphone 6 Apple Ra mắt

Hình 2. 31. Mạng Bi-LSTM cho NER

2.4. Phương pháp học bán giám sát

Phương pháp học bán giám sát, một hệ thống có thể học từ việc pha trộn

giữa dữ liệu có gán nhãn và dữ liệu không được gán nhãn. Trong nhiều ứng dụng

thì đó là một tập nhỏ dữ liệu được gán nhãn cùng với tập lớn dữ liệu không được

gán nhãn. Không tốt khi sử dụng chỉ một tập nhỏ dữ liệu được gán nhãn để huấn

luyện hệ thống bởi tỉ lệ giữa số lượng các ví dụ huấn huận với số lượng các đặc

trưng là nhỏ, kết quả huấn luyện sẽ không chính xác. Vì thế, hệ thống cần kết hợp

40

giữa dữ liệu có gán nhãn và dữ liệu không gán nhãn trong suốt quá trình huấn luyện

để cải thiện việc thực hiện.

Hệ thống có thể trích chọn các mẫu từ dữ liệu đã được gán nhãn, và gán

nhãn các dữ liệu chưa được chú thích một cách tự động bằng việc sử dụng các mẫu.

Và kết quả, tất cả các dữ liệu sẽ được gán nhãn trong khi huấn luyện.

2.5. Học có giám sát 10

Học có giám sát (supervised learning) là một kỹ thuật của ngành học máy nhằm mục đích xây dựng một hàm f từ dữ tập dữ liệu huấn luyện (Training data). Dữ liệu huấn luyện bao gồm các cặp đối tượng đầu vào và đầu ra mong muốn. Đầu ra của hàm f có thể là một giá trị liên tục hoặc có thể là dự đoán một nhãn phân lớp cho một đối tượng đầu vào.

Thuật toán học Mô hình Dữ liệu gán nhãn

Hình 2. 32. Mô hình học có giám sát

Nhiệm vụ của chương trình học có giám sát là dự đoán giá trị của hàm f cho

một đối tượng đầu vào hợp lệ bất kì, sau khi đã xét một số mẫu dữ liệu huấn luyện

(nghĩa là các cặp đầu vào và đầu ra tương ứng). Để đạt được điều này, chương

trình học phải tổng quát hóa từ các dữ liệu sẵn có để dự đoán được những tình

huống chưa gặp phải theo một cách hợp lý.

Cách giải một bài toán học có giám sát

Để giải một bài toán học có giám sát ta thực hiện theo các bước sau:

Bước 1: Xác định loại của các dữ liệu huấn luyện: Trước tiên ta cần phải quyết

định xem loại dữ liệu nào sẽ được sử dụng làm dữ liệu huấn luyện. Ta có thể chọn

dữ liệu một kí tự viết tay đơn lẻ, toàn bộ một từ viết tay, hay toàn bộ một dòng chữ

viết tay, …

Bước 2: Thu thập tập dữ liệu huấn luyện. Khi thu thập tập dữ liệu huấn luyện cần

phải đảm bảo được sự đặc trưng cho thực tế sử dụng của hàm chức năng. Do đó

10 https://nguyenvanhieu.vn/hoc-co-giam-sat-la-gi/

41

tập các dữ liệu đầu vào và đầu ra tương ứng phải được thu thập từ các chuyên gia

hoặc từ việc đo đạc tính toán.

Bước 3: Xác định việc biễu diễn các đặc trưng đầu vào cho hàm mục tiêu cần tìm.

Độ chính xác của mục tiêu phụ thuộc rất lớn vào các đối tượng đầu vào được biểu

diễn như thế nào. Đa số các đối tượng đầu vào được chuyển đổi thành một véc tơ

đặc trưng chứa các đặc trưng cơ bản của đối tượng đó. Chú ý số lượng các đặc

trưng không được lớn quá, để tránh sự bùng nổ tổ hợp tuy nhiên nó phải đủ lớn để

đảm bảo dự đoán chính xác đầu ra.

Bước 4: Xác định cấu trúc của hàm mục tiêu cần tìm và giải thuật học tương

ứng. Ví dụ, ta có thể sử dụng mạng nơ-ron nhân tạo, cây quyết định, …

Bước 5: Hoàn thiện và thiết kế chương trình.

Tiến hành chạy giải thuật học với tập dữ liệu huấn luyện thu thập được. Ta có thể

điều chỉnh các tham số của giải thuật học bằng cách tối ưu hóa hiệu năng trên một

tập con của tập huấn luyện, (gọi là tập kiểm chứng -validation set) của tập huấn

luyện hay thông qua kiểm chứng chéo (cross-validation). Sau đó ta tiến hành đo

đạc hiệu năng của giải thuật trên một tập dữ liệu kiểm tra độc lập với tập huấn

luyện.

Ví dụ về học giám sát

Hình 2. 33. Thuật toán học có giám sát

42

2.6. Học không giám sát 11

Các bài toán khi chúng ta có một lượng lớn dữ liệu XX nhưng chỉ một phần

trong chúng được gán nhãn được gọi là Semi-Supervised Learning. Những bài toán

thuộc nhóm này nằm giữa hai nhóm được nêu bên trên.

Một ví dụ điển hình của nhóm này là chỉ có một phần ảnh hoặc văn bản được

gán nhãn (ví dụ bức ảnh về người, động vật hoặc các văn bản khoa học, chính trị)

và phần lớn các bức ảnh/văn bản khác chưa được gán nhãn được thu thập từ

internet. Thực tế cho thấy rất nhiều các bài toán machine learning thuộc vào nhóm

này vì việc thu thập dữ liệu có nhãn tốn rất nhiều thời gian và có chi phí cao. Rất

nhiều loại dữ liệu thậm chí cần phải có chuyên gia mới gán nhãn được (ảnh y học

chẳng hạn). Ngược lại, dữ liệu chưa có nhãn có thể được thu thập với chi phí thấp

từ internet.

Trong thuật toán này, chúng ta không biết được outcome hay nhãn mà chỉ có

dữ liệu đầu vào. Thuật toán unsupervised learning sẽ dựa vào cấu trúc của dữ liệu

để thực hiện một công việc nào đó, ví dụ như phân nhóm (clustering) hoặc giảm

số chiều của dữ liệu (dimension reduction) để thuận tiện trong việc lưu trữ và tính

toán.

Một cách toán học, Unsupervised learning là khi chúng ta chỉ có dữ liệu

vào XX mà không biết nhãn YY tương ứng.

Những thuật toán loại này được gọi là Unsupervised learning vì không giống

như Supervised learning, chúng ta không biết câu trả lời chính xác cho mỗi dữ liệu

đầu vào. Giống như khi ta học, không có thầy cô giáo nào chỉ cho ta biết đó là chữ

A hay chữ B. Cụm không giám sát được đặt tên theo nghĩa này.

Các bài toán Unsupervised learning được tiếp tục chia nhỏ thành hai loại:

Clustering (phân nhóm)

Một bài toán phân nhóm toàn bộ dữ liệu XX thành các nhóm nhỏ dựa trên sự

liên quan giữa các dữ liệu trong mỗi nhóm. Ví dụ: phân nhóm khách hàng dựa trên

hành vi mua hàng. Điều này cũng giống như việc ta đưa cho một đứa trẻ rất nhiều

11 https://machinelearningcoban.com/2016/12/27/categories/

43

mảnh ghép với các hình thù và màu sắc khác nhau, ví dụ tam giác, vuông, tròn với

màu xanh và đỏ, sau đó yêu cầu trẻ phân chúng thành từng nhóm. Mặc dù không

cho trẻ biết mảnh nào tương ứng với hình nào hoặc màu nào, nhiều khả năng chúng

vẫn có thể phân loại các mảnh ghép theo màu hoặc hình dạng.

Association

Là bài toán khi chúng ta muốn khám phá ra một quy luật dựa trên nhiều dữ

liệu cho trước. Ví dụ: những khách hàng nam mua quần áo thường có xu hướng

mua thêm đồng hồ hoặc thắt lưng; những khán giả xem phim Spider Man thường

có xu hướng xem thêm phim Bat Man, dựa vào đó tạo ra một hệ thống gợi ý khách

hàng (Recommendation System), thúc đẩy nhu cầu mua sắm.

2.7. Xác định thực thể tên điện thoại di động

2.7.1. Tổng quan về bài toán Trích chọn thực thể tên điện thoại di động

Trích chọn thực thể có tên (Named Entity Recognition—NER), là tác vụ

cơ bản trong lĩnh vực xử lý ngôn ngữ tự nhiên. Vai trò chính của tác vụ này là nhận

dạng các cụm danh từ trong văn bản và phân loại chúng vào trong các nhóm đã

được định trước như tên sản phẩm, tên nhà sản xuất, địa điểm, thời gian và giá trị

tiền tệ. Với mục tiêu như vậy, nhận diện tên thực thể điện thoại di động có thể cung

cấp thông tin hữu ích cho các ứng dụng xử lý ngôn ngữ tự nhiên khác như tóm tắt

văn bản, máy tìm kiếm, dịch máy, trích xuất thông tin và trả lời câu hỏi tự

động, …[10]. Trích chọn tên riêng đã được nghiên cứu và áp dụng nhiều cho các

ngôn ngữ Tiếng Anh, Tiếng Nhật,… Gần đây, một cuộc thi so sánh một cách có

hệ thống các hệ thống nhận diện tên riêng cho ngôn ngữ tiếng Việt đã được đưa ra

bởi cộng đồng Xử lý ngôn ngữ tự nhiên và xử lý tiếng nói tiếng Việt (VLSP). Họ

đã thu thập dữ liệu từ các tờ báo điện tử trên web và chú thích các thực thể có tên

trong kho văn bản này. Tương tự như nhiệm vụ chia sẻ CoNLL 2003 12, có bốn

loại thực thể được đặt tên trong bộ dữ liệu: tên người (PER), tổ chức (ORG), địa

điểm (LOC) và thực thể còn lại (MISC).

12 http://www.cnts.ua.ac.be/conll2003/ner 11 https://machinelearningcoban.com/2016/12/27/categories/

44

2.7.2. Hướng tiếp cận nghiên cứu

Bài toán trích chọn thực thể tên điện thoại di động được giải quyết theo ba

hướng tiếp cận học máy có giám sát, bán giám sát và không giám sát. Hầu hết các

hệ thống nhận diện tên thực thể tập trung vào việc áp dụng các phương pháp học

máy có giám sát và không đòi hỏi nhiều kiến thức chuyên sâu về mặt ngôn ngữ.

2.7.3. Các nghiên cứu gần đây

Trên thế giới và tại Việt Nam hiện nay có nhiều nghiên cứu về nhận diện tên

thực thể - nhận diện tên riêng nhưng chủ yếu dùng một trong hai phương pháp đó

là:

a) Phương pháp trích xuất đặc trưng ngôn ngữ kết hợp với thuật toán gán nhãn

theo chuỗi (HMM, MEMM, SVM, CRF). Một số nghiên cứu áp dụng phương pháp

này như Conditional Random Field (CRF), Máy hỗ trợ Vector (SVM), Hidden

Markov Model (HMM), hoặc Maximum Entropy Markov Model (MEMM)

(Florian et al., 2003 [11]; Lin and Wu, 2009 [26]; Durrett and Klein, 2014 [31];

Luo and Xiaojiang Huang, 2015 [33]). Các phương pháp này đã nghiên cứu kỹ

lượng trong thời gian dài và đặc biệt thích hợp với các ngôn ngữ có nguồn dữ liệu

ít như Tiếng Việt. Trong vài năm trở lại đây, cùng với quá trình phát triển của Deep

Learning một vài kiến trúc Neural Network đã được đề xuất để giải quyết các bài

toán gán nhãn chuỗi.

b) Phương pháp trích xuất đặc trưng ngôn ngữ kết hợp với các đặc trưng từ

nhúng sử dụng mô hình học sâu Deep learning như LSTM, BiLSTM, CNN, ….

Ưu điểm của phương pháp này đó là khả năng End-to-end Learning, tức là khả

năng học được các quy luật gán nhãn chuỗi từ tập dữ liệu gán nhãn trước mà không

cần có bất cứ sự can thiệp của con người. Điều này đã loại bỏ đi nhược điểm của

nhóm phương pháp 1 phải dựa trên kiến thức ngôn ngữ để lựa chọn các đặc trưng.

Tuy nhiên, phương pháp này cũng tồn tại nhược điểm liên quan đến kích cỡ tập dữ

liệu huấn luyện. Thông thường, các kiến trúc Deep Neural Network yêu cầu tập dữ

liệu khá lớn để có thể đạt được độ chính xác cao. Đối với ngôn ngữ có ít dữ liệu

có nhãn như Tiếng Việt, giải pháp hữu hiệu nhất chính là sử dụng một ma trận

Word Embedding tốt đã được huấn luyện từ một tập dữ liệu không nhãn lớn (ví dụ

45

như tin tức online, diễn đàn, …). Các nghiên cứu gần đây sử dụng phương pháp

này trên ngôn ngữ Tiếng Việt như:

Nghiên cứu của Thai-Hoang Pham and Phuong Le-Hong, 2017 sử dụng mô

hình mạng RNN;[45]

Nghiên cứu của Nguyen Anh Dung, nhận diện tên riêng tiếng việt bằng

phương pháp học sâu, năm 2019 sử dụng mô hình NER, dùng phương pháp học

sâu BiLSTM kết hợp LSTM, CNN, CRF ; kết hợp thêm các đặc trưng cú pháp tự

động phù hợp với ngôn ngữ tiếng việt như POS, Chunk cộng thêm sự hỗ trợ của

Word2vector được huấn luyện sẵn cho tiếng việt. tỉ lệ chính xác đạt 92.06% trên

bộ dữ liệu VLSP 2016. Ưu điểm đã cho thấy được sự hiệu quả trong nhận diện tên

riêng Tiếng Việt.[46]

Nghiên cứu Của nhóm tác giả: Vũ Anh và Bùi Nhật Anh, nhận dạng thực thể

tên riêng tiếng Việt, 2018 sử phương pháp xử lý ngôn ngữ tự nhiên tiếng việt

- underthesea. Chứa mã nguồn các thử nghiệm cho việc xử lý dữ liệu, huấn luyện

và đánh giá mô hình, cũng như cho phép dễ dàng tùy chỉnh mô hình đối với những

tập dữ liệu mới.[49]

2.7.4. Đề xuất hướng nghiên cứu

Dựa trên những nghiên cứu trước đây, luận văn này cũng sử dụng phương

pháp trích xuất đặc trưng ngôn ngữ kết hợp với các đặc trưng sử dụng mô hình học

sâu Deep learning để đề xuất mô hình kiến trúc Neural network phù hợp nhất cho

bài toán trích chọn thực thể tên điện thoại di động. Mô hình này dựa trên sự kết

hợp giữa Mô hình mạng nơ ron ngắn dài song song (BiLSTM), ma trận Word

Embedding được huấn luyện sẵn cho Tiếng Việt bằng mô hình Skip-gram và các

nhãn từ loại, cụm từ được sinh ra tự động (POS, Chunking)

Luận văn khảo sát, đánh giá Mô hình đề xuất trên các khía cạnh, các tham

số huấn luyện khác nhau từ đó lựa chọn ra mô hình có các tham số tối ưu nhất cho

bài toán trích chọn tên thực thể điện thoại di động.

Tôi cũng xây dựng được ứng dụng web để trực quan hóa với người dùng

khi người dùng nhập văn bản cần nhận dạng các tên sản phẩm và phân tích trực

quan các dữ liệu dự trên sự so sánh các biểu đồ và kết quả.

46

Luận văn ban đầu chúng tôi cũng dự định làm theo phương pháp học bán

giám sát và giai đoạn đầu chúng tôi tiếp cận với phương pháp học có giám sát

trước, sau khi thực nghiệm chúng tôi thấy phương pháp học có giám sát này cho

kết quả tốt nên chúng tôi đã chọn và tiếp cận theo hướng này, phương pháp học

bán giám sát chúng tôi sẽ phát triển dựa trên kết quả của phương pháp học có giám

sát trong thời gian tới.

47

CHƯƠNG III

MÔ HÌNH ĐỀ XUẤT

Trên cơ sở phân tích ưu và nhược điểm của các phương pháp trích chọn

thực thể, luận văn đã lựa chọn phương pháp học sâu để giải quyết bài toán. Trong

chương này luận văn đề xuất một mô hình trích chọn thực thể tên mới sau đó áp

vào trích chọn thực thể tên điện thoại di động. Cụ thể luận văn sẽ đề xuất một mô

hình mới dựa trên thuật toán trích chọn Bi-LSTM.

3.1. Tổng quan mô hình đề xuất

Cho một tập dữ liệu là các văn bản dạng thô, trích chọn ra các cặp quan hệ

, trong đó một bộ trong bảng chỉ

ra điện thoại di động “Cell phone” do hãng “producer” sản xuất. Chẳng hạn, với

cặp có trong bảng danh sách, nghĩa là loại điện thoại di

động Samsung Galaxy A20 do hãng Samsung tạo ra.

Cụ thể, bài toán được phát biểu như sau:

 Đầu vào:

- Tập dữ liệu D: gồm các tệp văn bản được lấy từ tập dữ liệu đã được thu thập

về liên quan đến điện thoại di động.

- Tập quan hệ đích R: mỗi phần tử là một quan hệ gồm một cặp

producer>. Mỗi quan hệ r ∈ R xuất hiện một hoặc nhiều lần trong tập tài liệu D.

- Tập quan hệ hạt giống R’: một tập nhỏ của quan hệ đích

 Đầu ra: Tập quan hệ đích R gồm tất cả các cặp

xuất hiện trong tập dữ liệu D.

Ví dụ, có câu “Điện thoại Oppo Find X3 sở hữu thiết kế với 2 mặt lưng kính

cường lực, đi kèm đó là khung viền hợp kim nhôm chắc chắn. Mua ngay điện thoại

Samsung Galaxy S20 Ultra trắng thiên vân tại Cellphones.” ta trích ra được một

cặp quan hệ < Oppo Find X3, Oppo >.

Đối với nhận dạng thực thể có tên sản phẩm, tôi sử dụng Bi-LSTM 2 lớp

với lớp softmax ở trên cùng để phát hiện các thực thể được đặt tên theo chuỗi câu.

Các đầu vào là sự kết hợp của các đặc trưng từ và cú pháp, và đầu ra là phân phối

48

xác suất trên các thẻ thực thể được đặt tên. Hình 3.1 mô tả chi tiết về mô hình học

NER (Per, Log,Org)

Output

Các tài liệu Tiếng Việt

LSTM

LSTM

LSTM forward

LSTM backward

tập sâu của tôi.

Input

Word, Pos Tag, Chunk tag

Véc tơ đặc trưng

Tool trích xuất đặc Trưng tự động

Hình 3. 1. Mô hình đề xuất cơ bản cho trích chọn tên thực thể điện thoại di động

3.2. Các đặc trưng của mô hình đề xuất

3.2.1. Từ nhúng – Word embeddings

Từ nhúng (Word Embeddings). Các phương pháp máy học đều luôn yêu

cầu đầu vào là một tập các giá trị số được thể hiện dưới dạng vector. Tuy nhiên,

với các bài toán xử lý ngôn ngữ tự nhiên, dữ liệu đầu vào luôn là các chuỗi ký tự.

Để áp dụng được các mô hình máy học, chúng ta cần phải chuyển đổi các chuỗi

ký tự này thành dạng số mà vẫn giữ được các yếu tố về hình thái (chữ hoa, chữ

thường, nguyên âm, hợp âm, …), ngữ nghĩa và ngữ pháp.

Đối với các thuật toán máy học dự đoán chuỗi như CRF, chúng ta làm bước

chuyển đổi này bằng cách rút ra các đặc trưng và hiển hiện bằng các giá trị nhị

phân, 0 thể hiện chuỗi đang xét không có tính chất f_i và 1 trong trường hợp ngược

lại hoặc các giá trị số thực bằng cách tính tần số xuất hiện (Tf-idf).

Với các kiến trúc neural network, chúng ta sử dụng ma trận word

embedding để ánh xạ các từ thành các vector số thực. Ma trận word embedding có

số cột tương đương với số từ nằm trong bộ từ điển từ vựng, số dòng là số chiều

49

của vector đại diện cho từ. Như vậy, khi chuyển đổi một từ thành vector số thực,

chúng ta chỉ cần truy cập vào ma trận word embedding và lấy ra cột tương ứng.

Các giá trị trong ma trận đạt được bằng cách áp dụng các thuật toán như word2vec

(CBOW, Skip-gram), GloVe hoặc FastText trên tập dữ liệu văn bản không có nhãn.

Ngoài ra, chúng ta cũng có thể khởi tạo các giá trị này ngẫu nhiên và được cập

nhật chung trong quá trình huấn luyện mô hình gán nhãn.

Tuy ma trận word embedding có thể chứa đựng ngữ nghĩa của một từ ở một

vài cấp độ, nhưng vẫn có thể gặp phải vấn đề về dữ liệu thưa (data sparity problem).

Ví dụ, các từ có tần số xuất hiện rất thấp được đại diện bởi vector có đa số thành

phần có giá trị gần 0, các từ không có trong danh sách từ điển, từ sai lỗi chính tả,

giải quyết vấn đề này bằng cách gia tăng các thông tin cho word embedding từ cấp

độ ký tự. Sau đó kết hợp vector này với vector từ ma trận word embedding để tạo

nên một vector duy nhất đại diện cho một từ. Hình 3.2 mô tả quá trình tạo ra vector

word embedding cho mỗi từ trong từ điển [10].

Luận văn này tôi sử dụng ma trận word embedding được train sẵn bằng

phương pháp Skipgram từ hơn 1 triệu bài báo được thu thập từ nhiều website với

dung lượng khoảng 1,3 GB.

Hình 3. 2. Mô hình xây dựng vector Word embedding13

conditional-random-field-CJO

13 https://zalo.careers/blog/nhan-dien-ten-rieng-ner-voi-bidirectional-long-short-term-memory-va-

50

3.2.2. Các đặc trưng cú pháp

Để cải thiện hiệu suất của hệ thống, tôi kết hợp một số đặc trưng cú pháp

với các từ nhúng (Word embeddings) làm đầu vào cho mô hình Bi-LSTM. Các đặc

trưng cú pháp này được tạo tự động bởi một số công cụ, vì vậy đầu vào thực tế của

hệ thống của tôi chỉ là văn bản thô. Các đặc trưng bổ sung này bao gồm các thẻ

POS, CHUNK có trong tập dữ liệu và các biểu thức chính quy. Bảng 3.1 trình bày

các đặc trưng được sinh tự động.

Word Pos Chunk Ner

Ở O O E

Iphone B-ORG B-LOC N

N Phiên_bản I-ORG I-LOC

Quốc_tế NP I-NP I-LOC

, CH O O

người NC B-NP O

Sử_dụng N B-NP O

Điện_thoại FW B-NP O

Bảng 3. 1. Các đặc trưng được sinh tự động

3.3. Trích chọn tên thực thể điện thoại di động

Cùng với sự phát triển của lĩnh vực xử lý ngôn ngữ tự nhiên cho tiếng việt,

bài toán nhận dạng thực thể trong văn bản tiếng việt đã hình thành và bắt đầu thu

được những kết quả khả quan. Một số hệ thống tiêu biểu như: hệ thống nhận dạng

thực thể trong văn bản dựa trên mô hình Conditional Random Fields (CRF)

(Nguyễn 2005) [27], hệ thống nhận dạng thực thể sử dụng phương pháp máy vector

hỗ trợ (SVM) (Phạm 2007) [15], hệ thống VN-KIM NE, nhận biết và chú thích tự

động cho các thực thể (Cao 2007) [28], Nhận diện tên riêng bằng phương pháp học

sâu (Nguyễn Anh Dũng 2019)[46]. Mỗi hệ thống nhận biết loại thực thể trong tiếng

việt nếu ra đời sẽ góp phần quan trọng trong xử lý và hiểu các văn bản tiếng việt.

Tuy nhận biết loại thực thể là một bài toán cơ bản trong trích chọn thông tin và xử

lý ngôn ngữ tự nhiên nhưng đối với tiếng việt thì đây lại là một bài toán tương đối

51

mới. Mặc dù có những khó khăn do đặc thù của tiếng việt, những thử nghiệm ban

đầu của tôi cho cũng đã đạt được những kết quả rất rất khả quan.

Kế thừa và cải tiến những nghiên cứu trước đây cùng với sự phát triển mạnh

mẽ của lĩnh vực học sâu Deep learning, tôi đã mạnh dạn xây dựng một hệ thống

dùng để trích chọn thực thể tên điện thoại di động. Hệ thống của tôi sử dụng các

phương pháp học sâu để huấn luyện và đánh giá mô hình với sự hỗ trợ của một ma

trận Word embedding rất tốt. Từ quá trình thực nghiệm tôi sẽ chọn được mô hình

với tham số tối ưu nhất cho hệ thống bài toán trích chọn thông tin và trích chọn

thực thể tên điện thoại di động.

Hệ thống trích chọn thực thể tên điện thoại di động sẽ nhận đầu vào là các

văn bản thô tiếng Việt, các văn bản này sẽ được xử lí, trích xuất các đặc trưng, tạo

vector đặc trưng để đưa vào mô hình học sâu. Mô hình học sâu sẽ xử lí dự đoán

và đưa ra các nhãn tên điện thoại di động. Ví dụ khi ta đưa vào 1 câu là

“ Apple thông báo sự kiện ra mắt sản phẩm mới sẽ diễn ra vào 10h sáng 20/6 (giờ

Mỹ), tức 0h ngày 21/6 (giờ Việt Nam vào ngày 21/6/2021) Với tên gọi "Spring

Loaded". Người dùng có thể theo dõi trực tiếp trên website Apple, ứng dụng Apple

TV và kênh YouTube của Apple.”. Hệ thống trích chọn thực thể tên điện thoại di

động sẽ trích chọn và đưa ra được các tên điện thoại di độngnhư “Spring Loaded”

(Tên sản phẩm_Person), “Apple” (Hãng sản xuất_Location).

Hệ thống của tôi sẽ trích chọn thực thể là tên điện thoại di động, nhà sản xuất.

Thực thể có tên được xác định tương thích với các loại thực thể mô tả. Cụ thể:

Tên tổ chức (Organization) bao gồm các loại tên sau:

 Các cơ quan chính phủ (các bộ ngành, uỷ ban nhân dân, hội đồng

nhân dân, toà án, cơ quan báo chí, hội nghề nghiệp, đoàn thể chính trị, phòng

ban, ...)

Công ty (ngân hàng, thị trường chứng khoán, hãng phim, nhà sản 

xuất, hợp tác xã, phòng ban, ....)

Các thương hiệu 

Các tổ chức chính trị (các đảng phái chính trị, các tổ chức khủng 

bố, ...)

52

 Các ấn phẩm (các tạp chí, báo)

 Các công ty âm nhạc (ban nhạc, dàn nhạc, đội hợp xướng ...)

 Các tổ chức công cộng (trường học, tổ chức từ thiện)

 Các tổ chức khác của con người (câu lạc bộ thể thao, các hiệp hội,

nhà hát, công ty, tôn giáo, tổ chức thanh niên...)

Tên điện thoại di động (Cellphone) bao hàm các loại tên sau:

 Tên điện thoại và đời sản xuất

Ví dụ:

 Tên điện thoại di động: Samsung galaxy A20, Iphone X, Nokia lumia

95…

 Tên tổ chức: Công ty Samsung, công ty Nokia, công ty Apple, công

ty Huawei, công ty Oppo, công ty Sony mobile comunications, công ty …

Với hệ thống nhận dạng thực thể trong văn bản sử dụng các phương pháp

học máy như hệ thống của tôi, vấn đề nhận dạng thực thể (NER – Named Entities

Recognition) được chuyển đối thành bài toán phân lớp. Đầu tiên sử dụng mô hình

IOB (Krishnan 2005) [16] để gán nhãn (label) cho các từ theo tiêu chí:

 I: nếu từ nằm trong cụm thực thể đang xét.

 O: nếu từ nằm ngoài cụm thực thể đang xét.

 B: nếu từ là vị trí bắt đầu cụm thực thể đang xét.

Sau đó dựa trên những thông tin về nhãn của từ thu được qua mô hình IOB,

cùng với từ loại và loại thực thể (named entity) v.v… để trích chọn đặc trưng làm

đầu vào cho các mô hình phân lớp sử dụng các phương pháp học máy cụ thể như

phương pháp học sâu Bi-LSTM chẳng hạn.

3.3.1 Mô hình học sâu trong bài toán trích chọn tên điện thoại di động

Từ mô hình đề xuất cơ bản ở trên, tôi xây dựng một hệ thống trích chọn tên

điện thoại di động bằng phương pháp học sâu BiLSTM chi tiết như hình 3.3.

53

Web và dự đoán kết

Dữ liệu Web

Tool trích xuất đặc trưng tự động

Lưu file mô hình

Các tài liệu tiếng việt

Word, pos,tag, chunk tag

Véc tơ đặc

Tool trích xuất tự trưng đặc động

trưng

Huấn luyện mô hình

Word, pos,tag, chunk tag

Dự đoán

Véc tơ đặc

trưng

Kết quả

Xây dựng mô hình hệ thống NER tiếng

Hình 3. 3. Hệ thống trích chọn thực thể tên điện thoại di động chi tiết

Trong hệ thống này mô hình được xây dựng như sau:

a) Giai đoạn 1 (Huấn luyện mô hình)

Đầu tiên, ta sẽ lấy ra các đặc trưng được trích xuất tự động bằng các công

cụ trích xuất gồm các từ, nhãn POS và nhãn Chunk để làm đầu vào cho mô hình

huấn luyện học sâu BiLSTM. Nhưng để đưa vào mô hình học sâu BiLSTM trước

hết các đặc trưng này phải được vector hóa.

Word - Ta truy xuất vào ma trận word embedding để lấy ra vector của từ

tương ứng. Vector này gồm có 300 chiều là các số thực.

POS (Part-of-Speech) – Nhã Từ loại của từ, gồm có các loại như P, V, Nc,

N, A, E, Np, CH, R, M, L, C, Ny, T, FW, Nu, I, X, Z, Vy. Mỗi từ loại sẽ là một

vector Onehot 21 chiều. Ví dụ Nc sẽ là vector (0, 0, 1, 0,…,0).

Chunk – Nhãn loại cụm từ gồm có các loại cụm (nhãn) như BNP, BVP,

BAP, BPP, O, INP, IAP, IVP với B, I là vị trí của từ trong cụm (B – bắt đầu cụm,

I – từ tiếp theo trong cụm). Ví dụ cụm danh từ “Iphone_X (BNP) quốc_tế (INP)

American (INP)”. Mỗi loại nhãn trên sẽ được biểu diễn bằng một vector Onehot 9

chiều. Như vậy, đặc trưng đầu vào mô hình sẽ là một vector tổng hợp 330 chiều

54

tổng hợp của ba đặc trưng riêng biệt trên. Ví dụ một đặc trưng đầu vào được mô tả

ở Bảng 3.2.

300 chiều Iphone_X 21 chiều Np 9 chiều BNp

[-0.062681 0.213957 -0.120765 ... 0 0 0 0 0 0 1 0 0 …0 0 1 0 0 0 … 0 0

Bảng 3. 2. Một đặc trưng vector đầu vào cho mô hình

Các đặc trưng này và các nhãn tên điện thoại di động(cũng được vector hóa

Onehot) sẽ được đưa vào mô hình học sâu BiLSTM huấn luyện. Sau khi huấn

luyện xong, ta tiến hành lưu lại mô hình để sử dụng cho giai đoạn kế tiếp trong hệ

thống trích chọn thực thể tên điện thoại di động. Hình 3.4 dưới đây là mô hình học

sâu cốt lõi trong hệ thống trích chọn thực thể tên điện thoại di động.

B-LOC

O

I-LO

Softmax Layer

LSTM

LSTM

LSTM

Backward Layer

LSTM

LSTM

LSTM

Forward Layer

LSTM

LSTM

LSTM

Backward Layer

LSTM

LSTM

LSTM

Forward Layer

Word Embedding

Additional Features

Word Embedding

Additional Features

Word Embedding

Additional Features

Input Layer

Sam_Sung_galaxy

Của_hãng

Sam_Sung

Hình 3. 4. Mô hình học sâu 2 lớp BiLSTM cho hệ thống trích chọn thực thể tên điện thoại di động

b) Giai đoạn 2 (Sử dụng mô hình)

Tôi tiến hành xây dựng một ứng dụng Web, người dùng sẽ nhập một văn

bản cần trích chọn các tên điện thoại di động có trong đó. Đoạn văn bản này sẽ

được trích xuất tự động thành các đặc trưng từ, POS, Chunk và được vector hóa

55

đưa vào mô hình đã được lưu ở giai đoạn 1 để dự đoán ra các nhãn tên điện thoại

di độngcó trong văn bản đầu vào.

Các nhãn tên điện thoại di động này sẽ được trả về Web và được in ra trực

tiếp tên điện thoại di động trong đoạn văn bản để người dùng dễ quan sát trực quan.

3.3.2. Trích chọn tên điện thoại di động

Trích chọn tên điện thoại di động chính là bài toán phân lớp, với vectơ văn

bản học được từ mô hình Bi-LSTM, lớp đầu ra được định nghĩa là:

y=(𝑊𝑑𝑋𝑡 + 𝑏𝑑) (3.1)

với 𝑋𝑡: vector văn bản học được từ các mô hình Bi-LSTM

y: các lớp tên điện thoại di độngcủa văn bản mục tiêu, 𝑊𝑑 , 𝑏𝑑: trọng số

và độ lệch liên quan đến mô hình Bi-LSTM. Bằng cách giảm thiểu lỗi bình phương

trung bình giữa lớp tên điện thoại di động dự đoán và lớp tên điện thoại di động

thực tế, mô hình LSTM hai chiều được huấn luyện. Hàm mất mát được định nghĩa

1

như sau:

𝑡)‖ℎ(𝑥𝑡) − 𝑦𝑡‖2

2𝑛

𝑛 ∑ (𝑛 𝑡=1

( 3.2) 𝐿(𝑋, 𝑦) =

X = {𝒙𝟏 , 𝒙𝟏 , 𝒙𝟐 ,…, 𝒙𝒎 }: ma trận lớp tên điện thoại di động huấn luyện

y = {𝒚𝟏 , 𝒚𝟐 ,…, 𝒚𝒎 }: bộ lớp tên điện thoại di động xếp hạng lớp huấn

luyện

3.4. Cách đánh giá:

- Đánh giá bài toán xác định khía cạnh.

- Đánh giá bài toán trích chọn thông tin và ứng dụng trích chọn thực thể tên

điện thoại di động theo khía cạnh

- Để đánh giá mô hình xây dựng đã tối ưu hay chưa ta cần có các phương

pháp đánh giá chuẩn xác. Đối với đề tài này thì dùng độ đo F1 score để đánh giá.

Độ đo F1 score để đánh giá hiệu quả của hệ thống.14

(3.3)

14 https://caihuuthuc.wordpress.com/2020/02/23/precision-recall-va-f1-score-la-gi/

56

Hình 3. 5. Precision và Recall

Trong đó, precision là độ chính xác, recall là độ bao phủ được tính theo

𝑁𝐸_𝑡𝑟𝑢𝑒

công thức sau:

𝑁𝐸_𝑠𝑦𝑠

𝑁𝐸_𝑡𝑟𝑢𝑒

( 3.4) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =

𝑁𝐸_𝑟𝑒𝑓

( 3.5) 𝑅𝑒𝑐𝑎𝑙𝑙 =

Trong đó:

NE_ref: Là số thực thể trong dữ liệu gốc

NE_sys: Là số thực thể được đưa ra bởi hệ thống

NE_true: Là số thực thể được hệ thống gán nhãn đúng

Hay nói cách khác, Precision và Recall là tỷ lệ phần trăm của các thực thể

được đặt tên chính xác, được xác định bởi hệ thống và tỷ lệ phần trăm của các thực

thể được xác định có tên tương ứng có trong bộ dữ liệu. Để tính điểm F1 của hệ

thống trích chọn tên thực thể điện thoại di động, chúng tôi sử dụng công cụ đánh

giá đã sử dụng cho các hệ thống trước đó. Hệ thống trích chọn thông tin thực thể

tên điện thoại di động của tôi đánh giá trên từng thực thể tên điện thoại di

động(Org, All) và trên tất cả với nhiều khía cạnh khác nhau. Chi tiết hệ thống

chúng tôi sẽ trình bày trong phần thực nghiệm sau đây.

57

CHƯƠNG IV

THỰC NGHIỆM

Trong chương này luận văn sẽ giới thiệu bộ dữ liệu, quá trình xử lí dữ liệu,

phần thực nghiệm và đánh giá thực nghiệm theo các khía cạnh khác nhau để chọn

mô hình tối ưu cho hệ thống, đồng thời xây dựng hệ thống web trích chọn thực thể

tên điện thoại di động và các kết quả đạt được trong quá trình thực nghiệm.

4.1. Môi trường thực nghiệm

Thực nghiệm được tiến hành trên máy PC có cấu hình phần cứng như bảng

4.1. Công cụ phát triển là ngôn ngữ lập trình Python, cụ thể được liệt kê trong bảng

. Ngoài ra còn sử dụng một số thư viện thư viện truy cập, công cụ truy vấn Google

như liệt kê trong bảng 9.

Thành phần

Bộ vi xử lý MacBook Pro 2018 Touch Bar Vi xử lý 6 nhân Core i7

với xung nhịp 2.9 GHz

Bộ nhớ trong RAM DDR4 32GB

Ổ cứng SSD 2TB

Hệ điều hành Mac OS

Bảng 4. 1: cấu hình máy PC dùng trong thực nghiệm

Tên phần mềm Tác giả Nguồn

ST T 1 Python 3.7 Guido Van Rossum

2 Anaconda

3 4 5 https://quantrimang.com/url?q=aHR0c HM6Ly93d3cucHl0aG9uLm9yZy9kb3 dubG9hZHMv https://www.anaconda.com/products/in dividual Tensorflow, Keras Pyvi, Underthesea Flask, HTML, CSS, Bootstrap, Javascript

Bảng 4. 2: Các công cụ sử dụng trong thực nghiệm

58

4.2. Dữ liệu thực nghiệm

4.2.1. Thu thập dữ liệu

Dữ liệu dùng trong thực nghiệm lấy từ các địa chỉ được tôi thu thập về từ

ngày 20/7/2020 đến ngày 21/6/2021 và có trên một ngàn sản phẩm của những hãng

sản xuất khác nhau như: Apple, Samsung, Nokia, Oppo, Sony, Huawei, .v.v. Nơi

chứa nhiều thông tin liên quan đến điện thoại di động, đó là:

1. https://www.thegioididong.com/dtdd

2. https://cellphones.com.vn/mobile.html

3. https://viettelstore.vn/

4. https://home.vnreview.vn/tu-van-di-dong/-/view_content/điện thoại.

Tập dữ liệu 2186 (tập kiểm thử) bao gồm 1263 trang web, chuyển các trang

này thành các tài liệu, sau đó sẽ sử dụng các thư viện trong python: ViTokenizer

tiền xử lý chứa một văn bản để tách từ được bổ sung thêm thông tin nhãn từ loại,

nhãn phân cụm bằng các phần mềm có sẵn và đã được gán nhãn tên riêng. Hoặc

từ tập tài liệu HTML, sau pha tiền xử lí, sẽ thu được tập các câu chứa tên các hãng

sản xuất và thực thể tên điện thoại di động, việc trích chọn sẽ sử dụng tập các câu

này. Dựa vào 5 quan hệ hạt giống ban đầu, hệ thống sẽ tiến hành kiểm tra và tìm

kiếm, Mỗi từ, nhãn từ loại, nhãn cụm từ và nhãn tên điện thoại di động được đặt

trên một dòng riêng biệt và sau đó so sánh với cột model điện thoại và những từ

không phải tên điện thoại sẽ được ghi là 0 trong bộ dữ liệu. Bảng quan hệ đích này

lại trở thành bảng bộ dữ liệu hạt giống mới, và quá trình trích chọn lại bắt đầu ở

vòng lặp mới. Mỗi vòng lặp luôn có sự đánh giá các mẫu được sinh ra để việc trích

chọn ra các bộ dữ liệu mới càng nhiều càng tốt và phải bảo đảm sự chính xác.

Tuy nhiên, để việc trích chọn hiệu quả, hệ thống sẽ được tích hợp thêm tập

các tri thức của con người, bao gồm 2 bộ từ điển:

- Tập tên các hãng sản xuất điện thoại di động: B-ORG ={Apple, Samsung,

Huawei, Nokia, OPPO, Vsmart, Realme, Vivo, Panasonic, Sony, …}

- Tập các thuộc tính liên quan đến tên các nhà sản xuất điện thoại di động:

I-ORG { Redmi, Galaxy A02s, A12, Joy 3, Y12s, Iphone x, Mi, Star 5}

59

Tiến hành thử nghiệm trên bộ dữ liệu ngôn ngữ tự nhiên mà tôi thu thập về

được trên các bài báo. Gồm Bộ dữ liệu: cellphones_phones.csv, tgdd_phones.csv,

viettelstore_phones.csv.

4.2.2. Xử lý dữ liệu

B1: Tách từ

B2: Loại bỏ các câu không liên quan

Hình 4. 1. Mô hình của pha tiền xử lí

a. Tách từ

Để có thể trích chọn được các thực thể tên điện thoại di động trong các văn

bản dữ liệu ban đầu cần phải qua bước tiền xử lý để tách câu, phân đoạn từ (tách

từ)

Đầu vào: Dữ liệu văn bản dạng thô

Đầu ra: ta dùng ViTokenizer để tách từ

Ví dụ:

Ta văn bản đầu vào là : Samsung S20 Ultra trắng thiên vân sở hữu camera

trước 40MP cho khả năng selfie sắc nét. S20 Ultra với khả năng tự động chuyển

sang độ phân giải 10MP trong điều kiệu thiếu sáng giúp chi tiết trên hình rõ hơn.

Thì văn bản đầu ra sau khi tách từ : Samsung/N S20/N Ultra/Np trắng/A

thiên/N vân/N sở/N hữu/N camera/N trước/N 40MP/M cho/N khả/N năng/N

selfie/N sắc/N nét./N S20/M Ultra/Np với/E khả/N năng/N tự/N động/V chuyển/V

sang/V độ/N phân/N giải/N 10MP/M trong/E điều/N kiệu/N thiếu/A sáng/N

giúp/V chi/N tiết/N trên/N hình/N rõ/N hơn./N

b. Loại bỏ các câu không liên quan

Công việc tiếp theo là tìm các câu tiềm năng, những câu có khả năng chứa

các cặp quan hệ cần trích chọn. Vì số lượng tập tài liệu là khá lớn, số lượng câu

60

sau khi tách cũng rất nhiều, trong các câu có những câu không giúp ích gì trong

quá trình trích chọn. Luận văn dùng Ner của Underthesea để tạo các nhãn Pos,

chunk, nhãn tên điện thoại di động (nhãn tên điện thoại di động này tôi sẽ dùng để

đánh giá mô hình hệ thống và của Underthesea).

Hệ thống tiến hành quét trên tất cả các câu, nếu chúng chứa một trong các

tên các hãng điện thoại di động có trong tập P, giữ lại các câu đó, loại bỏ các câu

không thỏa mãn.

Đầu vào: Dữ liệu văn bản dạng thô

Đầu ra: dùng Ner của Underthesea để loại bỏ các câu không liên quan

Ví dụ:

Đầu vào: Điện thoại Oppo Find X3 sở hữu thiết kế với 2 mặt lưng kính

cường lực, đi kèm theo đó là khung viền hợp kim nhôm chắc chắn. Mua ngay điện

thoại Samsung Galaxy S20 Ultra trắng thiên vân tại Cellphones.

Đầu ra sẽ là: Oppo_Find_X3, Samsung_Galaxy_S20_Ultra

Để giải quyết bài toán trích chọn thự thể tên điện thoại di động các yếu tố

ảnh hưởng đến dữ liệu trên các trang web bằng phương pháp học sâu, chúng tôi

lập trình bằng ngôn ngữ lập trình Python (3.7), trên Google Colab và IDE Pycharm.

Sử dụng các thư viện sklearn, codect, numpy, codecs, kera, underthesea, pyvi cho

các mô hình học máy, pandas để xử lý dữ liệu… Ngoài ra, đề tài còn sử dụng thư

viện Flask để tạo ứng dụng Web.

Thực nghiệm trên bộ dữ liệu ngôn ngữ tự nhiên mà tôi đã thu thập về, đây

là bộ dữ liệu chưa được tiền xử lí trước đó nên tiến hành (Tách từ, gán nhãn tên

riêng). Tôi chia bộ dữ liệu thành 3 phần với thống kê chi tiết như bảng 4.1 (Huấn

luyện_train data là 17629, Kiểm thử_develop data là 2186, Kiểm tra_test data là

2601).

61

Tập huấn luyện Tập kiểm thử 4629 111 từ

2186 109 từ 1 từ 21 từ 1133 488950 Tập kiểm tra 2601 132 từ 1 từ 21 từ 704 457500

Tổng số câu Độ dài câu dài nhất Độ dài câu ngắn nhất 1 từ 20 từ Độ dài trung bình 1899 Tên điện thoại 399512 Khác Bảng 4. 3. Thống kê chi tiết dữ liệu

Huấn luyện và kiểm thử đưa vào để huấn luyện mô hình của hệ thống

ViNER. Các bước huấn luyện mô hình của tôi như sau:

Bước 1: Đọc file dữ liệu train.txt và dev.txt để lấy ra các đặc trưng từ, nhãn

từ loại, nhãn cụm từ và nhãn tên thực thể.

Bước 2: Tiến hành vector hóa các đặc trưng và nhãn thực thể tên riêng.

Với đặc trưng từ, truy cập vào ma trận word embedding để lấy ra

vector tương ứng cho từ, đây là vector từ 300 chiều số thực. Word embedding có

dung lượng khoảng 1,3 GB này được train sẵn từ 1 triệu bài báo điện tử 15. Nếu từ

3

3

không có trong từ điển thì tôi sẽ lấy ngẫu nhiên giá trị của các phần tử vector của

300

300

]. từ đó trong khoảng [−√ ,+√

Với đặc trưng nhãn từ loại POS, tôi sẽ tạo thành các onehot vector

21 chiều. Từ điển sẽ là (P, V, Nc, N, A, E, Np, CH, R, M, L, C, Ny, T, FW, Nu, I,

X, Z, Vy). Mỗi nhãn từ loại sẽ có 1 vector onehot tương ứng 21 chiều (20 chiều

giá trị toàn 0 và một chiều có giá trị 1 tương ứng với vị trí của nhãn trong từ điển.

Với đặc trưng nhãn cụm từ CHUNK, tôi cũng tạo thành các vector

onehot 9 chiều. Từ điển là (BNP, INP, BVP, IVP, BAP, IAP, BPP, IPP, O). Mỗi

nhãn từ loại sẽ có 1 vector onehot tương ứng 9 chiều (8 chiều giá trị toàn 0 và một

chiều có giá trị 1 tương ứng với vị trí của nhãn trong từ điển.

Bước này tôi sẽ tổng hợp các đặc trưng ở trên thành một đặc trưng

duy nhất (X vector) để đưa vào mô hình học. Vậy đặc trưng này sẽ có

300 + 21 + 9 = 330 chiều.

15 https://www.thegioididong.com/dtdd

62

Đối với nhãn thực thể tên điện thoại di động(B-ORG, I-ORG, B-

LOC, I-LOC, B-IMSC, I- IMSC, B-LOC, I-LOC O), tôi cũng tiến hành tạo one

hot vector 10 chiều (Y vector) cho mỗi nhãn. Ví dụ nhãn B-ORG là vector (1 0 0

0 0 0 0 0 0 0 )

Bước 3: Sau khi vector hóa đặc trưng và nhãn tên thực thể, tôi đưa các

vector này vào mô hình học sâu để học (training).

Bước 4: Sau khi trainning xong, tôi lưu mô hình thành file và dùng nó để

đánh giá mô hình trên tập dữ liệu kiểm tra.

Bước 5: Đánh giá mô hình: Luận văn dùng bộ dữ liệu kiểm tra để đánh giá

mô hình. Sau đó, đưa các đặc trưng vào mô hình đã lưu ở bước 4 để dự đoán các

nhãn tên riêng. Các nhãn tên điện thoại di động này sẽ được đánh giá với nhãn tên

tổ chức (ORG) trong dữ liệu ban đầu. sử dụng độ đo F1 score để đánh giá.

Sau đây là chi tiết và kết quả thực nghiệm trên nhiều khía cạnh khác nhau để

tìm ra được mô hình và tham số tối ưu nhất cho hệ thống ViNER của tôi.

4.3. Kết quả Thực nghiệm

4.3.1 Trích xuất đặc trưng

Cho một tập dữ liệu là các văn bản dạng thô, trích chọn ra các cặp quan hệ

< cell phone, producer >, trong đó một bộ < cell phone, producer > trong bảng

chỉ ra điện thoại di động “Cell phone” do hãng “producer” sản xuất. Chẳng hạn,

với < Samsung Galaxy A02s > có trong bảng danh sách, nghĩa là loại điện thoại di

động Galaxy A02s do hãng Samsung tạo ra.

Cụ thể, bài toán được phát biểu như sau:

 Đầu vào:

- Tập dữ liệu D: gồm các tệp văn bản được lấy từ các trang web liên quan đến

điện thoại di động.

- Tập quan hệ đích R: mỗi phần tử là một quan hệ gồm một cặp < cell phone,

Producer >. Mỗi quan hệ r ∈ R xuất hiện một hoặc nhiều lần trong tập tài liệu D.

- Tập quan hệ hạt giống R’: một tập nhỏ của quan hệ đích

 Đầu ra: Tập quan hệ đích R gồm tất cả các cặp xuất hiện

trong tập dữ liệu D.

63

Ví dụ, có câu “ngày 15 tháng 10 năm 2019 Samsung Galaxy A02s ra mắt tại

thị trường Việt Nam” ta trích ra được một thực thể tên điện thoại di động là <

Samsung Galaxy A02s >.

4.3.2 Thực nghiệm giữa phương pháp LSTM và BiLSTM với đặc trưng từ

Trong lần thực nghiệm này, tiến hành huấn luyện mô hình bằng 2 phương

pháp LSTM và BiLSTM, không thực nghiệm bằng phương pháp RNN vì vấn đề

không nhớ được những bước ở xa, mà trong mô hình này time steps = 132 (do độ

dài tối đa của các câu trong tập dữ liệu cả train, dev, test là 132 từ). Tham số huấn

luyện LSTM trong lần thực nghiệm này được trình bày ở bảng 4.4.

Tham số huấn luyện Số bước huấn luyện_time steps Số vòng huấn luyện_Epoch Số đơn vị_Batch size Số tầng Số nút ẩn Tỉ lệ Dropout Đơn vị đánh giá Giá trị 234 298 512 2 10 0.2 F1 score

Bảng 4. 4. Tham số của mô hình huấn luyện

Sau quá trình huấn luyện và đánh giá, kết quả cho thấy phương pháp học

sâu BiLSTM cho kết quả tốt hơn nhiều do LSTM chỉ học theo một chiều, còn

BiLSTM học theo hai chiều của dữ liệu vào, do đó chọn phương pháp BiLSTM

cho các lần thực nghiệm tiếp theo. Kết quả ở bảng 4.5

ENTITY ORG ALL Pre 67.95 66.61 LSTM Pre 60.73 65.04 F1 64.12 65.80 Pre 71.85 76.05 Bi-LTSM Rec 61.94 64.87 F1 65.77 66.65

Bảng 4. 5. Độ chính xác của hệ thống khi sử dụng các phương pháp học sâu

64

4.3.3 Thực nghiệm BiLSTM với đặc trưng từ và số vòng huấn luyện khác

nhau

Lần thực nghiệm này, sử dụng phương pháp BiLSTM với đặc trưng từ

nhưng số vòng huấn luyện (Epoch) mô hình khác nhau: 100, 200, 300. Kết quả

cho thấy với Epoch 300 cho độ chính xác tốt hơn.

ENTITY Epoch 300 Epoch 200 Epoch 100

F1 Pre Rec Pre Pre F1 F1

ORG ALL Pre Pre 82.74 83.95 82.75 82.95 82.95 82.00 81.75 83.75 81.45 75.65 76.00 75.95 71.85 71.85 73.98 74.85 71.94 73.75

Bảng 4. 6. Độ chính xác hệ thống huấn luyện với các Epoch khác nhau

4.3.4 Thực nghiệm phương pháp sử dụng các lớp BiLSTM với đặc trưng từ

Lần thực nghiệm này, tiến hành thử nghiệm hệ thống với số lớp BiLSTM

khác nhau và nhận thấy việc dùng 2 lớp BiLSTM cho kết quả tốt.

Entity 1 lớp 2 lớp F1

ORG ALL Pre 51.22 70.99 Pre 51.59 68.97 Pre 61.02 75.88 Rec 62.87 61.94 72.30 74.04

F1 53.9 71.71 Bảng 4. 7. Kết quả so sánh giữa các lớp

4.3.5 Thực nghiệm phương pháp BiLSTM với đặc trưng từ và tỉ lệ Dropout

khác nhau

Dropout giúp giảm tình trạng “quá khớp” (Overfitting) 16 trong huấn luyện

mô hình. Bảng 4.6 trình bày kết quả thực nghiệm mô hình với các tỉ lệ Dropout

khác nhau, chọn Dropout là 0.2 cho kết quả tốt nhất.

Entity

Dropout =0.0 F1 Rec Dropout =0.2 F1 Rec Pre Pre Dropout =0.5 F1

ORG ALL Rec Pre 51.22 48.01 49.27 61.02 62.87 61.94 60.85 61.51 61.17 70.99 70.89 71.05 75.88 72.30 74.04 75.82 72.27 73.61

Bảng 4. 8. Kết quả của các Dropout khác nhau

Các thực nghiệm trên cho thấy, mô hình tối ưu là sử dụng 2 lớp BiLSTM

với dropout = 0.2, số vòng huấn luyện Epoch = 300. Tuy nhiên, nếu chỉ sử dụng

đặc trưng từ làm dữ liệu vào cho mô hình thì kết quả tối ưu chỉ đạt 74.04%. Để

16 https://trantheanh.github.io/2017/06/26/ML-17/

65

tăng độ chính xác cho mô hình, thêm các đặc trưng nhãn cú pháp như POS, Chunk

làm dữ liệu vào cho mô hình ViNER. Bảng 4.9 là kết quả của quá trình thực

nghiệm.

Word Word + POS Word + Chunk Word + POS +

60.15 58.27 59.29 63.61 66.19 64.19 65.76 66.19 64.19 Chunk 75.82 76.29 77.54 Các đặc trưng Pre Rec F1

Bảng 4. 9. Kết quả so sánh giữa các đặc trưng

Việc thêm mỗi đặc trưng cú pháp cải thiện hiệu quả của mô hình. Mô hình

kết hợp đầy đủ các đặc trưng cú pháp POS, Chunk, Regex cho độ chính xác F1 cao

nhất 77.54%. Bảng 4.10 dưới đây trình bày các tham số và đặc trưng đầy đủ nhất

đạt kết quả tối ưu cho hệ thống trích chọn thực thể tên điện thoại di động của tôi.

Tham số, đặc trưng Giá trị

Phương pháp huấn luyện BiLSTM

Số lớp BiLSTM 2

Số bước huấn luyện_time steps 142

Số vòng huấn luyện_Epoch 290

Số đơn vị_Batch size 452

Số nút ẩn 10

Tỉ lệ Dropout 0.2

Đơn vị đánh giá F1 score

Đặc trưng Word + POS + Chunk

Bảng 4. 10. Các tham số và đặc trưng tối ưu cho mô hình huấn luyện_đánh giá hệ thống trích chọn thực thể tên điện thoại di động

4.4. Xây dựng ứng dụng Web trực quan hóa kết quả

4.4.1 Thiết kế Xây dựng Web:

Ứng dụng web của chúng tôi gồm có sơ đồ thiết kế như dưới đây:

66

NHẬN DIỆN TÊN ĐIỆN THOẠI DI ĐỘNG BẰNG PHƯƠNG PHÁP HỌC SÂU

Dữ liệu nhập vào

Thực nghiệm

Phương pháp BiLSTM

Demo

Trình bày và xuất

biểu đồ ra màn hình

Dự đoán

Tạo các vector đặc trưng

Kết quả

Trả kết quả lên Web

WEB VÀ TRÍCH XUẤT KẾT QUẢ

Hình 4. 2. Sơ đồ thiết kế ứng dụng Web

Chúng tôi xây dựng ứng dụng web bằng ngôn ngữ lập trình Python(3.7)

Phần 1: Demo, dưới đây là giao diện và kết quả được trình bày ở (hình 4.3).

Để có thể trực quan hóa được các phân tích dữ liệu, phân tích kết quả và

trích chọn được tên điện thoại di động cho một văn bản, người sử dụng có thể nhập

vào một văn bản, hay 1 file, sau khi lựa chọn và nhập liệu, click vào kết quả để

ứng dụng dự đoán và trích xuất ra kết quả. Dưới đây là kết quả của 1 ví dụ demo.

Hình 4. 3. Giao diện chính của trang web

67

Phần 2: Phân tích dữ liệu. Ứng dụng web trình bày các biểu đồ phân tích dữ

liệu có trong cở dữ liệu, phần chia tỷ lệ dữ liệu như các biểu đồ (hình 4.4, hình 4.5)

Hình 4. 4. Giao diện thống kê dữ liệu

Hình 4. 5. Giao diện thống kê kết quả

Để demo thực tế, tôi chuyển qua menu, nhập vào một đoạn văn bản ví dụ

“Điện thoại Oppo Find X3 Neo là một làn gió mới trong phân khúc điện thoại cận

68

cao cấp, khi sao chép gần như mọi công nghệ cao cấp từ đàn anh Oppo Find X3

Pro nhưng với mức giá phải chăng hơn cho người dùng.”. Sau đó tôi chọn lệnh

“Kết quả” thì đoạn văn bản này sẽ được tiền xử lí trước khi đưa vào mô hình để

dự đoán nhãn tên riêng. Các bước xử lí như sau:

Bước 1: Dùng ViTokenizer để tách từ

Bước 2: Tôi dùng ner của underthesea để tạo các nhãn pos, chunk, nhãn tên

điện thoại di động (nhãn tên điện thoại di động này tôi sẽ dùng để đánh giá mô

hình của tôi và của underthesea) như hình 4.6

Hình 4. 6. Các đặc trưng được tạo tự động bởi công cụ Underthesea

Bước 3: Tạo vector đặc trưng (word + Pos + Chunk), sau đó đưa các vector

này vào mô hình đã được lưu trước đó để dự đoán ra các nhãn tên riêng. Nhìn vào

hình 4.7 file out.txt có 3 cột, cột đầu là từ được tách từ, cột thứ 2 là nhãn tên điện

thoại di động do hệ thống ViNER dự đoán được, cột thứ 3 là nhãn tên điện thoại

di động do Underthesea đưa ra. Mô hình ViNER của tôi cho kết quả chính xác hơn,

như với “Xiaomi redmi” hệ thống ViNER trích chọn là Tổ chức nhưng công cụ

của Underthesea dự đoán là tổ chức, …

69

Hình 4. 7. So sánh nhãn tên điện thoại di động và Underthesea

Sau khi dự đoán được nhãn tên điện thoại di động từ mô hình, hệ thống sẽ

Loại bỏ những tên dự đoán có chứa ký tự Unicode (Vì tên hãng điện thoại tên tiếng

Anh) và trả về kết quả trích chọn qua giao diện web và được trích ra những tên

điện thoại di động (hình 4.8).

Hình 4. 8. Giao diện Demo thực tế

70

CHƯƠNG V

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Trong chương này chúng ta sẽ nói lên kết quả đạt được của luận văn và hướng

phát triển sau này của luận văn.

5.1. Kết quả đạt được

Luận văn trích chọn tên điện thoại di động của tôi có thể cung cấp thông tin

hữu ích cho các ứng dụng xử lý ngôn ngữ tự nhiên khác như trích xuất thông tin

và trả lời câu hỏi tự động, tóm tắt văn bản, máy tìm kiếm, dịch máy, …Để hoàn

thành luận văn này, tôi đã kế thừa, tổng hợp và phát triển dựa trên các nghiên cứu

trước đây. Kết quả đã đạt của luận văn gồm:

Tôi đã thử nghiệm mô hình học sâu trên nhiều khía cạnh khác nhau để từ

đó so sánh, đánh giá, tìm ra mô hình tối ưu cho bài toán nhận diện tên điện thoại

di động.

Mô hình Trích chọn thực thể tên điện thoại di động dùng phương pháp học

sâu BiLSTM có quy mô đơn giản hơn các mô hình trước đó (như mô hình kết hợp

LSTM, CNN, CRF; Mô hình SVM, …) và kết hợp thêm các đặc trưng cú pháp tự

động phù hợp như POS, Chunk cộng thêm sự hỗ trợ của Word2vector được huấn

luyện sẵn đã cho thấy được sự hiệu quả trong nhận diện tên điện thoại di động, tỉ

lệ chính xác đạt 74.04% trên bộ dữ liệu.

Xây dựng ứng dụng dựa trên nền tảng Web-based: Luận văn cũng đã xây

dựng một giao diện dựa trên nền tảng Web-based nhằm trực quan hóa phân tích

dữ liệu, phân tích kết quả và trích chọn được tên điện thoại di động cho một văn

bản thực tế được nhập vào.

5.2. Hướng phát triển

Luận văn tiếp tục kế thừa những nghiên cứu trước đây và phát triển mô hình

trích chọn thông tin và trích chọn tên thực thể điện thoại di động chính xác hơn, hệ

thống có khả năng học để trích chọn thêm được những loại tên khác.

Thu thập dữ liệu trong lĩnh vực giáo dục nghề nghiệp mà tôi công tác, thu

thập bộ dữ liệu tối ưu nhất nhằm gia tăng tốc độ huấn luyện cho hệ thống.

71

Tôi cũng sẽ thử nghiệm trên các mô hình học bán giám sát, học sâu khác

nhau để từ đó so sánh, đánh giá, tìm ra mô hình tối ưu cho bài toán trích chọn tên

thực thể điện thoại di động.

72

TÀI LIỆU THAM KHẢO

[1] [Cowie 1996] Cowie and W.Lehnert, Information Extraction, In

Communications of the ACM.

[2] Ellen Riloff (1996), Automatically Generating Extraction Patterns from

Untagged text, In Proceedings of the Thirteenth National Conference on

Artificial Intelligence.

[3] S. Hochreiter and J. Schmidhuber, “Long Short-Term Memory”, Neural

Computation, vol. 9.

[4] Ralph Grishman (1997), Information extraction: Techniques and challenges,

In Information Extraction (International Summer School SCIE-97).

[5] Sergey Brin (1998), Extraction Patterns and Relation from the World Wide

Web, Proceedings of the 6th International Conference on Extending

Database Technology.

[6] Mary E. Calif and Raymond J. Mooney (1998), Relational learning of

Pattern – Match Rules for Information Extraction, Proceedings of AAAI

Spring Symposium on Applying Machine Learning.

[7] Christiane Fellbaum (1998), WordNet: An Electronic Lexical Database and

Some of Its Applications, MIT Press.

[8] Douglas E.Appelt, David J.Israel (1999), Introduction to Information

Extraction, A Tutorial Prepared for IJCAI-99.

[9] Eugene Agichtein and Luis Gravano (2000), Snowball: Extracting

Relations from Large Plain text Collections, Proceedings of the 5th ACM

International Conference on Digital Libraries.

https://nguyenvanhieu.vn/hoc-co-giam-sat-la-gi [10]

https://machinelearningcoban.com/2016/12/27/categories [11]

http://www.cnts.ua.ac.be/conll2003/ner [12]

[13] Mizutani, Eiji; Dreyfus, Stuart; Nishio, Kenichi (July 2000). "On derivation

of MLP backpropagation from the Kelley-Bryson optimal-control gradient

formula and its application" (PDF). Proceedings of the IEEE International

Joint Conference on Neural Networks.

73

[14] [Florian et al.2003] R. Florian, A. Ittycheriah, H. Jing, and T. Zhang. 2003.

Named entity recognition through classifier combination. Proceedings of

NAACL-HLT.

[15] Giridhar Kumaran and James Allan (2004), Text Classification and Named

Entities for New Event Detection, Proceedings of the 27PthP Annual

International ACM SIGIR Conference.

[16] M. Hassel (2003), Exploitation of Named Entities in Automatic Text

Summarization for Swedish, In Proceedings of NODALIDA 03 - 14 th

Nordic Conference on Computational Linguistics.

[17] Marius Pasca (2004), Acquisition of Categorized Named Entities for Web

Search, ACM Press.

[18] [Nguyễn 2005] T. Nguyễn, T. Oanh, P. Hieu, H. Thuy, Named Entity

Recognition in Vietnamese Free-Text and Web Documents Using

Conditional Ramdom Fields, The 8th Conference on Some selection

problems of Information Technology and Telecommunication, Hai Phong,

Viet Nam 2005.

[19] [Krishnan 2005], Named Entity Recognition, cs.Standford.edu

[20] Diego Molla, Mennovan Zaanen and Daniel Smith (2006), Named Entity

Recognition for Question Answering, Proceedings ALTW.

[21] Claudio Giuliano, Albert Olavelli and Lorenza Romano (2007), Relation

Extraction and the Influence of Automatic Named-Entity Recognition,

ACM Trans. Speech Lang. Process. 5.

[22] [Phạm 2007] T. Pham, A. Kawazoe; D. Dinh; N. Collier, Construction of

Vietnamese corpora for named entity recognition, In Conference

RIAO2007, Pittsburgh PA, U.S.A. May 30-June 1, 2007 – Copyright C.I.D.

Paris, France, 2007.

[23] [Cao 2007] T. Cao, Automatic Extraction of Vietnamese Named-Entities

on the Web, New Generation Computing, Ohmsha, Ltd. And Springer.

74

[24] Nozomi Kobayashi, Kentaro Inui and Yuji Matsumoto (2007), Opinion

Mining from Web documents: Extraction and Structurization, Journal of

Japanese Society for Artificial Intelligence.

[25] https://medium.com/longvietthang/nhận diện tên riêng trong văn bản với

Bi-bidirectional-long-short-term-memory-và-conditional-random

[26] [Mansouri 2008] A. Mansouri, L. Affendey, A. Mamat, Named Entity

Recognition Using a New Fuzzy Support Vector Machine.

[27] U. Hermjakob, K. Knight, and H. Daume (2008), Name Translation in

Statistical Machine Translation: Learning When to Transliterate, Proc. ACL.

[28] GuXu, Shuang-HongYang and HangLi (2009), Named Entity Mining from

Click-Through Data Using Weakly Supervised Latent Dirichlet Allocation,

Proceedings of the 15th ACM SIGKDD international conference on

Knowledge discovery and data mining, pp. 1365-1374.

[29] [Lin and Wu2009] Dekang Lin and Xiaoyun Wu. 2009. Phrase clustering

for discriminative learning. In Proceedings of the Joint Conference of the

47th Annual Meeting of the ACL and the 4th International Joint Conference

on Natural Language Processing of the AFNLP, volume 2, pages 1030–

1038. Association for Computational Linguistics.

[30] [truong thi Phuong Thao 2011],Phương pháp học bán giám sát cho bài toán

trích chọn thông tin và ứng dụng trích chọn thực thể tên máy ảnh kỹ thuật

số, đại học quốc gia hà nội, trường đại học công nghệ.

[31] Google (2013), https://code.google.com/archive/p/word2vec/

[32] Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg S.; Dean, Jeff

(2013). Distributed representations of words and phrases and their

compositionality. Advances in Neural Information Processing

Systems. arXiv:1310.4546

[33] Tomas Mikolov; et al. (2013). "Efficient Estimation of Word

Representations in Vector Space". arXiv:1301.3781

75

[34] [Durrett and Klein2014] Greg Durrett and Dan Klein. 2014. A joint model

for entity analysis: Coreference, typing, and linking. Transactions of the

Association for Computational Linguistics, 2:477–490.

[35] Le, Quoc, Tomas Mikolov et al. (2014). "Distributed Representations of

Sentences and Documents". arXiv:1405.4053

[36] [Luo and Xiaojiang Huang2015] Gang Luo and Zaiqing Nie Xiaojiang

Huang, Chin-Yew Lin. 2015. Joint entity recognition and disambiguation.

In Proceedings of the 2015 Conference on Empirical Methods on Natural

Language Processing, pages 879–888. Association for Computational

Linguistics.

[37] Schmidhuber, Jürgen (2015). "Deep learning in neural networks: An

overview". Neural Networks. 61: 85–117. arXiv:1404.7828

[38] Zhiheng Huang, Wei Xu, and Kai Yu. 2015. Bidirectional LSTM-CRF

models for sequence tagging. arXiv preprint arXiv:1508.01991.

[39] Wang P, Qian Y, Soong F K, He L, Zhao H, “Part-of-Speech Tagging with

Bidirectional Long Short-Term Memory Recurrent Neural Network”,

Cornell University, 2015

[40] Sundermeyer M, Ney H and Schluter R, “From Feedforward to Recurrent

LSTM Neural Networks for Language Modelling”, J. IEEE/ACM Trans,

Audio Speech Lang Process, Issue 3, pp 517–29, 2015

[41] McCormick, C. (2016). Word2vec Tutorial - The Skip-Gram Model.

[42] Ma, Xuezhe, and Eduard Hovy. “End-to-end sequence labeling via bi-

directional lstm-cnns-crf.” arXiv preprint arXiv:1603.01354 (2016).

[43] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alex Smola, and

Eduard Hovy, “Hierarchical attention networks for document

classification”, In Proc ACL, 2016

[44] Sumit Chopra, Michael Auli, Alexander M Rush, and SEAS Harvard,

“Abstractive sentence summarization with attentive recurrent neural

networks”, Proceedings of NAACL-HLT16 pages 93–98, 2016.

76

[45] Tom Young, Devamanyu Hazarika, Soujanya Poria, Erik Cambria, “Recent

Trends in Deep Learning Based Natural Language Processing, IEEE

Computational Intelligence Magazine, 2018.

[46] Truong Son Nguyen, Le Minh Nguyen, and Xuan Chien Tran. 2016.

Vietnamese named entity recognition at VLSP 2016 evaluation campaign.

In Proceedings of The Fourth International Workshop on Vietnamese

Language and Speech Processing, Hanoi, Vietnam

[47] Thai-Hoang Pham and Phuong Le-Hong. 2017. End-to-end recurrent neural

network models for vietnamese named entity recognition: Word-level vs.

character-level. arXiv preprint arXiv:1705.04044.

[48] https://mc.ai/nhan-dien-ten-rieng-trong-van-ban-voi-bidirectional-long-

short-term-memory-va-conditional-random/

[49] [Nguyễn Anh Dũng 2019], nhận dạng tên riêng tiếng việt bằng phương pháp

học sâu, trường đại học Thủ Dầu Một.

[50] [Nguyễn Trung Tín – 2019]: Xây dựng hệ thống hỏi đáp tự động hỗ trợ

công tác tư vấn dịch vụ hành chính công tại Sở Thông tin và Truyền thông

tỉnh Bình Dương, trường đại học Thủ Dầu Một.

[51] [Nguyễn Thanh Tùng – 2019]: Ứng dụng phương pháp học sâu để nhận

diện khuôn mặt qua camera giám sát, trường đại học Thủ Dầu Một.

https://github.com/undertheseanlp/ner [52]

[53] [Mai Huy Hoàng – 2020]: Nhận dạng tiếng nói tiếng Việt bằng phương

pháp học sâu, trường đại học Thủ Dầu Một.

[54] [Đào Xuân Thắng- 2021]: Xác định tên riêng tiếng Việt bằng phương pháp

học máy, trường đại học Thủ Dầu Một.

[55] [Phan Anh Tuấn – 2021]: Phân tích, dự báo kết quả doanh thu thuê bao di

dộng Vina tại Tân Biên bằng học máy. trường đại học Thủ Dầu Một.

[56] https://machinelearningmastery.com/how-to-one-hot-encode-sequence-

data-in-python/

[57] https://ichi.pro/vi/xu-ly-ngon-ngu-tu-nhien-bang-python-nltk-

101258229749293

77

[58] http://www.jaist.ac.jp/~bao/VLSP-text/ICTrda08/ICT08-VLSP-SP84-

2.pdf

78

UBND TỈNH BÌNH DƯƠNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT

Độc lập – Tự do – Hạnh phúc

Bình Dương, ngày 23 tháng 12 năm 2021

BIÊN BẢN HỌP HỘI ĐỒNG

ĐÁNH GIÁ LUẬN VĂN THẠC SĨ

Của học viên: Lưu Tuấn Thành

Về đề tài: Phương pháp học bán giám sát cho bài toán trích chọn thông tin và ứng

dụng trích chọn thực thể tên điện thoại di động.

Tại Hội đồng trực tuyến – Trường Đại học Thủ Dầu Một, ngày 23 tháng 12 năm

2021

Hội đồng đánh giá luận văn được thành lập theo Quyết định số, ngày cấp:

1616/QĐ-ĐHTDM, ngày 19/10/2021 trình bày tóm tắt luận văn thạc sĩ.

Nhận xét, đặt câu hỏi của thành viên Hội đồng đánh giá luận văn:

- Trích chọn thực thể có tên giúp cho hệ thống hỗ trợ ra quyết định hỗ trợ tốt

nhất cho người dung, đặc biệt là các hệ thống thương mại điện tử.

- Công việc thực hiện trong luận văn là có ý nghĩa khoa học và giá trị thực tiễn.

Câu hỏi:

- Nguồn thu thập dữ liệu như thế nào? Google cũng ra rất nhiều tên điện thoại,

kể cả điện thoại rất cũ.

- Việc chia dữ liệu để huấn luyện, thẩm định và kiểm tra chia theo tỷ lệ nào?

Việc chia này có ảnh hưởng đến các độ đo?

- Làm rõ hơn về mặt khoa học của luận văn. Luận văn liên kết các công cụ đã

có để tạo nên mô hình cho phép nhận diện tên điện thoại di động, model sản

xuất. Tuy nhiên, cần làm rõ những đóng góp về mặt khoa học?

- r trong công thức (2.2) là gì?

- Thế nào là toán tử Pointwise?

79

Sau khi nghe tác giả trả lời và người hướng dẫn khoa học nhận xét luận văn. Hội

đồng họp riêng và thông qua kết luận. Khi thông qua kết luận, Hội đồng bầu Ban

kiểm phiếu gồm:

1) TS.Hoàng Mạnh Hà Trưởng ban

2) TS.Giang Minh Đức Ủy viên

3) TS.Huỳnh Hữu Nghĩa Ủy viên

Căn cứ vào kết quả bỏ phiếu của Hội đồng đánh giá luận văn là:

- Số thành viên Hội đồng tham gia bỏ phiếu: 5

- Tổng số điểm đánh giá luận văn của Hội đồng: 39.5 điểm

- Điểm bình quân: 7.9 điểm

Hội đồng kết luận:

1) Bản luận văn của học viên Lưu Tuấn Thành đáp ứng yêu cầu của luận

văn thạc sĩ. Cụ thể là:

- Luận văn có ý nghĩa khoa học và thực tiễn

- Nội dung của luận văn phù hợp với chuyên ngành đào tạo hệ thống

thông tin.

- Luận văn có cấu trúc phù hợp với yêu cầu.

- Sử dụng mô hình học sâu cho bài toán nhận diện tên điện thoại di động.

- Tiến hành thực nghiệm trê dữ liệu thu thập.

2) Các nội dung đề nghị chỉnh sửa:

- Nên dịch một số từ thông dụng sang tiếng Việt như “crawl”, training

là huấn luyện, …

- Mục 2.4.1 trình bày về học có giám sát nhưng là mục con của mục 2.4

đang trình bày về học bán giám sát?

- Nhiều tài liệu tham khảo không được trích dẫn dạng thông thường mà

để ở dạng footnote, chưa rõ tại sao?

- Luận văn có nhiều lỗi chính tả: xem lại phần tóm tắt, kết luận đều có

lỗi chính tả…. Mỗi chương cần them phần kết chương.

- Hình 2.12 Lược sử học sâu?

- Viết hoa tùy tiện:

80

Nghiên cứu của Nguyen Anh Dung, nhận diện tên riêng tiếng việt

bằng phương pháp học sâu, năm 2019 sử dụng mô hình NER, dung

phương pháp học

- Các hình vẽ nên ghi chú nguồn (như hình 2.6, hình 2.8. …)

3) Đề nghị công nhận học vị Thạc sĩ cho học viên Lưu Tuấn Thành

THƯ KÝ HỘI ĐỒNG CHỦ TỊCH HỘI ĐỒNG

TS. Giang Minh Đức TS. Hoàng Mạnh Hà

81

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

NHẬN XÉT LUẬN VĂN THẠC SĨ

Tên đề tài: PHƯƠNG PHÁP HỌC BÁN GIÁM SÁT CHO BÀI TOÁN TRÍCH

CHỌN THÔNG TIN VÀ ỨNG DỤNG TRÍCH CHỌN THỰC THỂ TÊN ĐIỆN

THOẠI DI ĐỘNG

Họ và tên học viên: LƯU TUẤN THÀNH

Người viết nhận xét: Võ Đình Bảy

Cơ quan công tác: Đại học Công nghệ Tp.HCM

NỘI DUNG NHẬN XÉT

1. Tính cấp thiết, ý nghĩa khoa học và thực tiễn của luận văn

Trích chọn thực thể có tên giúp cho các hệ thống hỗ trợ ra quyết định hỗ trợ tốt

nhất cho người dùng, đặc biệt là các hệ thống thương mại điện tử.

Luận văn tìm hiểu bài toán trích chọn thông tin ứng dụng trong trích chọn thực thể

tên điện thoại.

2. Sự phù hợp của đề tài với chuyên ngành đào tạo

Đề tài phù hợp với chuyên ngành.

3. Về phương pháp nghiên cứu đã sử dụng

Nghiên cứu lý thuyết, tổng hợp tài liệu và đề xuất mô hình.

Thu thập và xử lý dữ liệu.

Dùng thực nghiệm để đánh giá kết quả.

4. Về cấu trúc, hình thức của luận văn

Luận văn được chia thành 5 chương với 80 trang (Bao gồm tài liệu tham khảo).

Luận văn có cấu trúc hợp lý. Phần trình bày nên xem xét giảm bớt các phần nội

dung ít liên quan đến luận văn trong chương 2.

5. Về kết quả nghiên cứu, những đóng góp của luận văn

 Sử dụng mô hình học sâu cho bài toán nhận diện tên thực thể (Ở đây là tên

điện thoại di động).

82

 Sử dụng biLSTM kết hợp với các đặc trưng cú pháp tự động và Word2vec

để nhận diện.

 Tiến hành thực nghiệm trên dữ liệu thu thập.

6. Góp ý các thiếu sót cần chỉnh sửa, bổ sung

a) Lý do, mục tiêu chưa thể hiện được tên đề tài, cần làm sao nêu được tại sao

phải sử dụng bán giám sát?

b) Nên dịch một số từ thông dụng sang tiếng Việt như “crawl”, training là huấn

luyện, …

c) Mục 2.4.1 trình bày về học có giám sát nhưng là mục con của mục 2.4 đang

trình bày về học bán giám sát?

d) Nhiều tài liệu tham khảo không được trích dẫn dạng thông thường mà để ở

footnote, chưa rõ tại sao?

e) Rà soát, chỉnh sửa các lỗi trình bày.

f) Cần giảm mức độ trùng với các tài liệu khác (Hiện nay trùng 60%).

7. Kết luận chung

Luận văn đáp ứng yêu cầu của một luận văn thạc sỹ.

Câu hỏi:

1. Nguồn thu thập dữ liệu như thế nào? Google cũng ra rất nhiều tên điện thoại,

kể cả điện thoại rất cũ.

2. Phần mô hình chương 3 chưa cho thấy được sự khác nhau giữa học có giám

sát và bán giám sát? Dữ liệu cũng chưa cho thấy phần có nhãn và không có nhãn?

3. Việc chia dữ liệu để huấn luyện, thẩm định và kiểm tra chia theo tỷ lệ nào?

Việc chia này có ảnh hưởng đến các độ đo?

Tp.HCM, ngày 23 tháng 12 năm 2021 Người nhận xét

Võ Đình Bảy

83

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

NHẬN XÉT LUẬN VĂN THẠC SĨ

Tên đề tài:

PHƯƠNG PHÁP HỌC BÁN GIÁM SÁT CHO BÀI TOÁN TRÍCH

CHỌN THÔNG TIN VÀ ỨNG DỤNG TRÍCH CHỌN THỰC THỂ TÊN ĐIỆN THOẠI DI ĐỘNG.

Họ và tên học viên: LƯU TUẤN THÀNH.

Người viết nhận xét: PGS.TS. Lê Hoàng Thái

Cơ quan công tác: Trường Đại học Khoa học tự nhiên - ĐH Quốc gia tp. Hồ

Chí Minh.

NỘI DUNG NHẬN XÉT

1. Tính cấp thiết, ý nghĩa khoa học và thực tiễn của luận văn

Luận văn dựa trên những nghiên cứu trước đây để phát triển một hệ thống

nhận diện tên điện thoại di động trong văn bản tiếng Việt (ViNER) bằng cách kết

hợp các đặc trưng cú pháp tự động với các từ nhúng được huấn luyện sẵn làm đầu

vào cho BiLSTM. Nhận xét: công việc thực hiện trong luận văn là có ý nghĩa

khoa học và giá trị thực tiễn.

2. Sự phù hợp của đề tài với chuyên ngành đào tạo

Đề tài thực hiện phù hợp với chuyên ngành Hệ thống thông tin.

3. Về phương pháp nghiên cứu đã sử dụng

Khảo sát trên bộ dữ liệu thông tin về điện thoại di động có nhiều tham số khác nhau dựa trên nền tảng học sâu Deep Neural Networks để tìm ra mô hình học sâu với tham số tối ưu cho hệ thống trích chọn tên điện thoại di động. Xây dựng mô hình trích chọn được các tên điện thoại di động từ các

văn bản tiếng Việt nhập vào từ giao diện Web. 4. Về cấu trúc, hình thức của luận văn

Luận văn được bố cục thành 5 chương và tài liệu tham khảo. Nhìn chung,

luận văn được trình bày rõ ràng, phản ánh đầy đủ các nghiên cứu của học viên.

84

5. Về kết quả nghiên cứu, những đóng góp của luận văn - Tiến hành thu thập dữ liệu cho thử nghiệm: Dữ liệu dùng trong thực nghiệm

lấy từ các địa chỉ được thu thập về từ ngày 20/7/2020 đến ngày 21/6/2021 và có

trên một ngàn sản phẩm của những hãng sản xuất khác nhau như: Apple, Samsung,

Nokia, Oppo, Sony, Huawei, .v.v.

- Tiến hành thử nghiệm để quyết định chọn lựa mô hình Trích chọn thực thể

tên điện thoại di động dùng phương pháp học sâu BiLSTM, kết hợp thêm các đặc trưng cú pháp tự động phù hợp với ngôn ngữ Tiếng Việt như POS, Chunk cộng

thêm sự hỗ trợ của Word2vector được huấn luyện sẵn cho Tiếng Việt. Mô hình

này đã cho thấy được sự hiệu quả trong nhận diện tên điện thoại di động, tỉ lệ chính

xác đạt 74.04% trên bộ dữ liệu tự thu thập.

- Luận văn cũng đã xây dựng một giao diện dựa trên nền tảng Web-based nhằm trực quan hóa phân tích dữ liệu, phân tích kết quả và trích chọn được tên

điện thoại di động cho một văn bản thực tế được nhập vào.

6. Góp ý các thiếu sót cần chỉnh sửa, bổ sung

Luận văn có nhiều lỗi chính tả: xem lại phần tóm tắt, kết luận đều có lỗi chính

tả…. Mỗi chương cần thêm phần kết chương.

7. Kết luận chung

Luận văn đáp ứng các yêu cầu của luận văn Thạc sĩ chuyên ngành Hệ thống

thông tin. Tôi đồng ý đưa luận văn ra bảo vệ trước hội đồng.

Câu hỏi:

1. Làm rõ hơn về mặt khoa học của luận văn. Luận văn liên kết các công cụ

đã có để tạo nên mô hình cho phép nhận diện tên điện thoại di động, model sản xuất. Tuy nhiên, cần làm rõ hơn những đóng góp về mặt khoa học?

Bình Dương, ngày 23 tháng 12 năm 2021

Người nhận xét

Lê Hoàng Thái

85