480 | KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2024
...................................................................................................................................................................................
ELECTRA-NER-VIETNAMESE-MEDICAL-MÔ HÌNH
NHẬN DIỆN THỰC THỂ TRÊN VĂN BẢN Y TẾ TIẾNG VIỆT
PHẠM TRẦN NHẬT MINH* - NGUYỄN THỊ XUÂN HIỀN**
Tóm tắt: Nhận diện thực thể (NER) là một thành phần quan trọng trong việc xử lý văn
bản y tế, đặc biệt là trong việc trích xuất thông tin lâm sàng từ các báo cáo bệnh lý. Trong bài
báo này, một hệ thống NER chúng tôi trình bày được thiết kế riêng cho văn bản y tế tiếng Việt,
tập trung vào lĩnh vực bệnh học. Hệ thống của chúng tôi xác định và phân loại các thực thể y
học chính như "person", “disease”, “symptom”, “part” and “treatment”. Chúng tôi sử dụng
một mô hình tiền huấn luyện dựa trên Electra được tối ưu hóa cho tiếng Việt, đạt được điểm
F1 là 90% trên tập dữ liệu bệnh lý chuẩn. Kết quả cho thấy tính hiệu quả của phương pháp của
chúng tôi trong việc xử lý các thuật ngữ y tế phức tạp trong tiếng Việt, cung cấp một giải pháp
mạnh mẽ cho việc trích xuất thông tin lâm sàng. Nghiên cứu trong tương lai nhằm mở rộng
khả năng của mô hình để bao phủ thêm các thực thể y tế và cải thiện hiệu suất trên các thuật
ngữ hiếm hoặc mơ hồ.
Từ khóa: NER Vietnamese model, Electra, thực thể y học, rút trích thông tin văn
bản, bệnh học.
* Trường Đại học Khoa học Tự nhiên - ĐHQG TP. Hồ Chí Minh; Email: minhpham@gmail.com
** Trường Đại học Khoa học Tự nhiên - ĐHQG TP. Hồ Chí Minh; Email: ntxhien98@gmail.com
NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 481
...................................................................................................................................................................................
482 | KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2024
...................................................................................................................................................................................
1. GIỚI THIỆU
Nhận dạng thực thể có tên (NER) là một nhiệm vụ cơ bản trong xử lý ngôn ngữ tự
nhiên (NLP) và rất quan trọng cho việc trích xuất thông tin và tổ chức tri thức. NER tập trung
vào việc xác định và phân loại các thực thể có tên - thường thấy như cá nhân, tổ chức, địa điểm
và thời gian… trong các dữ liệu văn bản. Tầm quan trọng của bài toán NER nằm ở khả năng
chuyển đổi văn bản không cấu trúc thành thông tin có cấu trúc, từ đó nâng cao khả năng truy
xuất, phân tích và hiểu biết dữ liệu. NER cực kỳ hữu ích trong nhiều lĩnh vực, bao gồm truy
xuất thông tin, trả lời câu hỏi, tóm tắt tài liệu và hiểu ngôn ngữ, đóng vai trò là thành phần cơ
bản cho các ứng dụng NLP phức tạp hơn.
Trong lĩnh vực tin học y tế và chăm sóc sức khỏe, NER giữ vai trò đặc biệt quan trọng.
Bằng cách xác định chính xác các thực thể như bệnh tật, triệu chứng, phương pháp điều trị,
các tên về bộ phận hay cơ quan cơ thể, NER hỗ trợ quá trình ra quyết định lâm sàng, thúc đẩy
việc phát triển hồ sơ sức khỏe điện tử và hỗ trợ nghiên cứu bằng cách kết nối thông tin bệnh
nhân với tài liệu y khoa liên quan. Cuối cùng, NER hoạt động như một công nghệ thiết yếu
giúp các chuyên gia y tế nâng cao chất lượng chăm sóc bệnh nhân và thúc đẩy nghiên cứu y
học.
Đa số các mô hình về nhận dạng thực thể về y tế hiện nay được nghiên cứu trên các
ngôn ngữ như tiếng Anh, tiếng Trung Quốc, tiếng Pháp,... Tuy nhiên đối với tiếng Việt thì vẫn
còn rất hạn chế và ít được nghiên cứu sâu rộng. Bài báo này giới thiệu một mô hình mới mang
tên Electra-NER-Vietnamese-Medical, được thiết kế đặc biệt cho bài toán NER lĩnh vực y tế
cho văn bản tiếng Việt. Dựa trên một mô hình train sẵn trên tiếng Việt Electra-Vietnamese.
Mô hình này được dào tạo để nhận diện hiệu quả các thực thể cho bài toán NER liên quan đến
khoa học y tế, bao gồm các loại như người, triệu chứng, bệnh, phương pháp điều trị và các bộ
phận cơ thể. Thông qua công trình này, chúng tôi mong muốn đóng góp vào những tiến bộ
liên tục trong lĩnh vực NER y tế, cuối cùng tạo điều kiện cho những kết quả chăm sóc sức
khỏe tốt hơn.
2. NHỮNG NGHIÊN CỨU LIÊN QUAN
Các phương pháp truyền thống trong nhận dng thực thể có tên (NER)
Trong những giai đoạn đầu của Xử lý ngôn ngữ tự nhiên, Nhận dạng thực thể có tên
chủ yếu dựa vào các hệ thống dựa trên quy tắc và khung logic. Những phương pháp này sử
dụng các quy tắc và mẫu được thiết kế thủ công để xác định các thực thể như cá nhân, tổ chức
và địa điểm trong văn bản. Các công trình sớm của Grishman và Sundheim (1996)
[1] đã thiết lập các tập dữ liệu chuẩn như MUC, điều này đã tạo điều kiện cho việc
đánh giá các hệ thống này.
Các phương pháp thống kê và học máy
Khi sức mạnh tính toán gia tăng, các nhà nghiên cứu bắt đầu áp dụng các mô hình
thống kê cho bài toán NER. Các phương pháp như Conditional Random Fields CRFs trở nên
phổ biến vì khả năng mô hình hóa dữ liệu tuần tự và kết hợp ngữ cảnh. Các công trình nổi bật,
NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 483
...................................................................................................................................................................................
như của
Lafferty và c
ộ
ng s
ự
(2001)
[2], đã chứng minh hiệu quả của CRFs trong việc
nắm bắt sự phụ thuộc giữa các từ liền kề, dẫn đến độ chính xác cao hơn trong việc nhận diện
các thực thể. Điều này đánh dấu một bước chuyển từ các hệ thống dựa trên quy tắc cứng nhắc
sang các kỹ thuật linh hoạt và dựa trên dữ liệu hơn.
Bước chuyển đi sang học sâu
Sự xuất hiện của học sâu là cuộc cách mạng cho NER, với các mô hình tận dụng mạng
nơ-ron để học các biểu diễn phân cấp của văn bản. Collobert và cộng sự (2011) [3] đã
chứng minh hiệu quả của mạng nơ-ron cho nhiều nhiệm vụ NLP, bao gồm cả NER, mở đường
cho các nghiên cứu tiếp theo. Việc áp dụng mạng nơ-ron hồi tiếp (RNN) và mạng nhớ dài ngắn
hạn (LSTM) đã tăng cường khả năng nắm bắt thông tin ngữ cảnh giữa các câu, cải thiện đáng
kể khả năng nhận diện thực thể.
Sự xuất hiện ca các mô hình ngôn ng lớn (LLMs)
Việc giới thiệu kiến trúc transformer đã tạo ra một cú bứt phá trong lĩnh vực Xử lý
ngôn ngữ tự nhiên (NLP). Được đề xuất bởi Vaswani và cộng sự (2017) [4], mô hình
transformer đã thay thế các mạng nơ-ron RNN truyền thống bằng một cấu trúc hiệu quả hơn
và có thể thực hiện song song. Điểm trung tâm của kiến trúc này là cơ chế tự chú ý (self-
attention), cho phép mô hình đánh giá tầm quan trọng của từng từ trong một câu so với tất cả
các từ khác. Cơ chế này giúp xử lý tốt hơn các phụ thuộc dài hạn và các sắc thái ngữ cảnh, cải
thiện đáng kể khả năng của mô hình trong việc hiểu các mẫu ngôn ngữ phức tạp.
Sau sự xuất hiện của transformers, các mô hình ngôn ngữ lớn (LLMs) đã nổi lên như
những công cụ mạnh mẽ. Các mô hình như BERT công bố bởi Devlin và cộng sự (2019)
[5] và các phiên bản tinh chỉnh với các kỹ thuật huấn luyện khác như mô hình RoBERTa [6]
và ALBERT [7] đã tận dụng lượng lớn dữ liệu không được gán nhãn để học các embedding
ngữ cảnh. Những embedding này cho phép các mô hình nắm bắt được ý nghĩa ngữ nghĩa của
các từ trong ngữ cảnh của chúng.
ELECTRA: Một Mô Hình Tuyệt Vời
Sau thành công của các mô hình như BERT, sự ra mắt của ELECTRA
(Clark và
c
ộ
ng s
ự
, 2020)
[8] đã đại diện cho một bước đột phá quan trọng trong các phương pháp tiền
đào tạo cho các mô hình ngôn ngữ. ELECTRA sử dụng một phương pháp mới gọi là "phát
hiện token thay thế", trong đó mô hình được đào tạo để phân biệt giữa các token thật và giả
trong một câu, được tạo ra bởi một mô hình sinh nhỏ hơn. Phương pháp này cho phép
ELECTRA sử dụng toàn bộ đầu vào cho việc đào tạo, làm cho nó hiệu quả hơn về mặt mẫu so
với các mô hình ngôn ngữ có mặt nạ truyền thống.
Kiến trúc của ELECTRA cho phép nó đạt được hiệu suất mạnh mẽ trên nhiều nhiệm
vụ NLP, bao gồm cả NER, với chi phí tính toán giảm. Khi so sánh với các mô hình transformer
khác, ELECTRA cho thấy sự cân bằng hấp dẫn giữa tốc độ và độ chính xác. Thiết kế của nó
giảm thiểu một số hạn chế của BERT, chẳng hạn như tính không hiệu quả trong dự đoán token
bị che. Các nghiên cứu chỉ ra rằng ELECTRA thường vượt trội hơn BERT và các mô hình
484 | KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2024
...................................................................................................................................................................................
tương tự trong các nhiệm vụ hạ nguồn, bao gồm cả nhận dạng thực thể, nhờ khả năng học các
biểu diễn phong phú hơn từ dữ liệu đào tạo.
Ở bài toán NER cho ngôn ngữ tiếng Việt, chúng tôi đã sử dụng một phiên bản
pretrained ELECTRA-based-vietnamese bởi NlpHUST trên Huggingface. Đây là một mô hình
được huấn luyện trên 148gb dữ liệu văn bản tiếng Việt và đạt được những kết quả rất đáng tin
cậy.
3. PHƯƠNG PHÁP
Kiến Trúc Mô Hình
Kiến trúc ELECTRA bao gồm hai thành phần chính: bộ sinh (generator) và bộ phân
loại (discriminator). Trong ứng dụng NER của chúng tôi, chúng tôi tập trung chủ yếu vào bộ
phân loại, được thiết kế để xử lý văn bản đầu vào và đưa ra dự đoán về phân loại các token.
1. Lớp nhúng (Embedding Layer): Văn bản đầu vào trước tiên được chuyển đổi thành
các vector nhúng thông qua một lớp nhúng từ. Lớp này kết hợp các nhúng token, nhúng vị trí
và nhúng phân đoạn, cho phép mô hình nắm bắt ngữ cảnh và các mối quan hệ giữa các token
trong chuỗi đầu vào.
2. Các lớp Transformer: Sau lớp nhúng, mô hình bao gồm nhiều lớp mã hóa
transformer. Mỗi lớp sử dụng cơ chế tự chú ý để xử lý các nhúng đầu vào, cho phép mô hình
đánh giá tầm quan trọng của từng token so với các token khác. Cơ chế tự chú ý đa đầu này
giúp mô hình nắm bắt các phụ thuộc phức tạp và thông tin ngữ cảnh cần thiết cho việc nhận
diện thực thể chính xác.