NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 3
...................................................................................................................................................................................
MÔ HÌNH NGÔN NGỮ LỚN VÀ ỨNG DỤNG:
NGHIÊN CỨU ĐIỂN HÌNH VỀ PHÂN TÍCH CẢM XÚC
TRẦN KHẢI THIỆN
*
Tóm tắt: Hiện nay, mô hình ngôn ngữ lớn (LLMs) đã chứng minh tiềm năng vượt trội
trong ngôn ngữ học tính toán. Bài báo này tập trung vào ứng dụng của LLMs trong phân tích
cảm xúc, một lĩnh vực quan trọng với nhiều ứng dụng thực tiễn. Qua nghiên cứu một tình
huống cụ thể, chúng tôi trình bày hiệu quả của các mô hình như GPT-4o trong phân tích và
đánh giá cảm xúc từ văn bản. Bài báo cũng thảo luận về triển vọng, thách thức kỹ thuật và đạo
đức khi triển khai LLMs với mục tiêu thúc đẩy sự thảo luận và trao đổi ý tưởng giữa các nhà
nghiên cứu và chuyên gia trong lĩnh vực này..
Từ khóa: mô hình ngôn ngữ lớn; phân tích cảm xúc; kỹ thuật lời nhắc; tiếng Việt,
prompt engineering; LLMs
I. GIỚI THIỆU
Trong thập kỷ qua, trí tuệ nhân tạo (Artificial Intelligence - AI) đã đạt được những
bước tiến vượt bậc, đặc biệt là trong ngôn ngữ học tính toán, xử lý ngôn ngữ tự nhiên. Sự ra
đời của các mô hình ngôn ngữ lớn (Large Language Models - LLMs) như GPT-4o [1] đã mở
ra một kỷ nguyên mới, nơi mà máy tính không chỉ hiểu được ngôn ngữ của con người mà còn
có khả năng tạo sinh ngôn ngữ với mức độ tinh vi và sáng tạo đáng kinh ngạc. Viễn cảnh máy
tính có thể trò chuyện như con người, hiểu ý nghĩa sâu xa trong lời nói và sáng tạo ra những
tác phẩm văn học không còn là khoa học viễn tưởng mà đang dần trở thành hiện thực.
LLMs đã và đang chứng minh khả năng vượt trội trong nhiều ứng dụng của ngôn ngữ
học tính toán. Chúng hỗ trợ tóm tắt văn bản [2], giúp người dùng nhanh chóng nắm bắt nội
dung chính của các tài liệu dài và phức tạp. Bên cạnh đó, khả năng dịch tự động [3] của LLMs
đã phá vỡ rào cản ngôn ngữ, thúc đẩy giao tiếp và hợp tác hiệu quả trên phạm vi toàn cầu.
Không chỉ dừng lại ở đó, LLMs còn được sử dụng để phát triển chatbot thông minh [4], có thể
tham gia vào các cuộc trò chuyện mượt mà và ý nghĩa với con người, nâng cao trải nghiệm
người dùng trong nhiều lĩnh vực như dịch vụ khách hàng và giáo dục. Đặc biệt hơn, LLMs
còn giúp khơi nguồn sáng tạo, hỗ trợ người dùng trong việc sáng tác thơ ca, âm nhạc, viết kịch
bản và tạo ra nội dung cuốn hút trong nhiều lĩnh vực nghệ thuật [5].
Một trong những lĩnh vực quan trọng và đầy thách thức trong ngôn ngữ học tính toán
là phân tích cảm xúc, liên quan đến việc nhận diện và phân loại cảm xúc, thái độ từ văn bản.
Ứng dụng của phân tích cảm xúc rất đa dạng, từ tiếp thị, dịch vụ khách hàng đến nghiên cứu
xã hội, nơi việc hiểu được cảm xúc và quan điểm của người dùng đóng vai trò then chốt. Việc
*
TS, Trường Đại học Ngoại ngữ - Tin học TP. HCM; Email: thientk@huflit.edu.vn
4 | KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2024
...................................................................................................................................................................................
khai thác LLMs vào bài toán này hứa hẹn mang lại những cải tiến đáng kể, nhờ khả năng hiểu
ngữ cảnh và ý nghĩa sâu sắc trong ngôn ngữ tự nhiên, vượt xa các phương pháp truyền thống.
Trong bài báo này, chúng tôi tập trung vào việc ứng dụng LLMs trong phân tích cảm
xúc thông qua một nghiên cứu điển hình cụ thể. Chúng tôi sẽ trình bày hiệu quả của các mô
hình như GPT-4o trong việc phân tích và đánh giá cảm xúc từ văn bản, minh họa qua các thí
nghiệm và kết quả thực nghiệm chi tiết. Đồng thời, chúng tôi thảo luận về triển vọng, những
thách thức kỹ thuật và đạo đức khi triển khai LLMs trong lĩnh vực này, bao gồm việc xử lý
định kiến ngôn ngữ và bảo mật thông tin người dùng. Mục tiêu của chúng tôi là thúc đẩy sự
thảo luận và trao đổi ý tưởng giữa các nhà nghiên cứu và chuyên gia trong ngôn ngữ học tính
toán, góp phần vào sự phát triển bền vững và ứng dụng hiệu quả của LLMs trong tương lai.
II. TỔNG QUAN VỀ MÔ HÌNH NGÔN NGỮ LỚN
Mô hình ngôn ngữ là một phân phối xác suất trên các chuỗi từ, ước tính xác suất xuất
hiện của một từ trong ngữ cảnh của các từ khác. Với một chuỗi từ có độ dài m, mô hình ngôn
ngữ gán một xác suất cho toàn bộ chuỗi đó. Thuật ngữ "lớn" trong "mô hình ngôn ngữ lớn"
không chỉ ám chỉ đến quy mô từ vựng khổng lồ mà các mô hình này xử lý, mà còn phản ánh
độ phức tạp của các thuật toán dùng để ước tính xác suất này.
Nghiên cứu về mô hình ngôn ngữ đã có những bước phát triển vượt bậc nhờ sự xuất
hiện của kiến trúc Transformer [6]. Các LLMs tiên tiến, như OpenAI’s GPT, Meta's Llama,
Google's Gemini, với khả năng tạo sinh văn bản tự nhiên gần giống con người, đã tạo ra một
cuộc cách mạng trong lĩnh vực AI.
LLMs áp dụng một loạt các quy trình phức tạp bao gồm tiền xử lý văn bản, biểu diễn
văn bản, tiền huấn luyện (pre-training), và sau đó là tinh chỉnh (fine-tuning) hoặc sử dụng kỹ
thuật thiết kế lời nhắc (prompt engineering), tùy thuộc vào mục tiêu và yêu cầu cụ thể của ứng
dụng.
- Tiền xử lý văn bản là bước đầu tiên, nơi dữ liệu văn bản được làm sạch và chuẩn
hóa để tạo ra một tập dữ liệu chất lượng cao cho mô hình học tập. Quá trình này bao gồm
việc loại bỏ ký tự không mong muốn, xử lý dấu câu, chuyển đổi chữ hoa thành chữ thường
và loại bỏ các từ dư thừa. Mục tiêu là đảm bảo rằng dữ liệu đầu vào nhất quán và phù hợp
cho quá trình huấn luyện.
- Tiếp theo, biểu diễn văn bản sẽ chuyển đổi văn bản đã tiền xử lý thành dạng mà mô
hình có thể hiểu được. Điều này thường liên quan đến việc phân tách từ (tokenization) và
chuyển đổi các token này thành các biểu diễn số (embedding). Các biểu diễn số cho phép mô
hình xử lý dữ liệu văn bản dưới dạng toán học, giúp nắm bắt ý nghĩa và ngữ cảnh của từ ngữ
trong không gian nhiều chiều.
- Trong giai đoạn tiền huấn luyện, mô hình được huấn luyện trên một lượng lớn dữ
liệu văn bản không có nhãn để học các mẫu ngôn ngữ và cấu trúc cú pháp. Phương pháp học
NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 5
...................................................................................................................................................................................
tự giám sát như mô hình hóa ngôn ngữ hai chiều (bidirectional language modeling) BERT
[7] hoặc mô hình hóa ngôn ngữ dự đoán từ tiếp theo (unidirectional) GPT [8] được sử dụng.
Mục tiêu là giúp mô hình hiểu ngữ cảnh và quan hệ giữa các từ trong câu, xây dựng kiến
thức ngôn ngữ tổng quát mà không cần sự can thiệp của con người.
Để áp dụng mô hình đã tiền huấn luyện vào các nhiệm vụ cụ thể, có hai phương pháp
chính:
- Tinh chỉnh là quá trình điều chỉnh mô hình bằng cách huấn luyện lại trên dữ liệu có
nhãn cho nhiệm vụ cụ thể. Quá trình này điều chỉnh các trọng số của mô hình để tối ưu hóa
hiệu suất cho các tác vụ như phân loại văn bản, trả lời câu hỏi hoặc dịch máy, giúp mô hình
thích nghi sâu sắc với nhiệm vụ mới.
- Kỹ thuật lời nhắc là phương pháp hướng dẫn mô hình thực hiện nhiệm vụ cụ thể
mà không cần thay đổi hoặc huấn luyện lại mô hình. Bằng cách tạo ra các lời nhắc (prompts)
hiệu quả, cung cấp ngữ cảnh, hướng dẫn hoặc ví dụ minh họa, mô hình có thể được điều
chỉnh để tạo ra kết quả mong muốn.
- Việc tuân theo chuỗi quy trình kể trên cho phép LLMs xây dựng từ hiểu biết cơ bản
về ngôn ngữ đến khả năng thực hiện các nhiệm vụ ngôn ngữ phức tạp. Mỗi bước đều quan
trọng và đóng góp vào hiệu suất tổng thể của mô hình, giúp mô hình linh hoạt và hiệu quả
trong nhiều ứng dụng ngôn ngữ tự nhiên.
III. NGHIÊN CỨU ĐIỂN HÌNH: PHÂN TÍCH CẢM XÚC VỚI LLMs
1. Bài toán phân tích cảm xúc
Phân tích cảm xúc là một lĩnh vực thuộc xử lý ngôn ngữ tự nhiên (Natural Language
Processing - NLP), tập trung vào việc xác định và phân tích các sắc thái tình cảm được thể
hiện trong văn bản. Quá trình này thường bao gồm phân loại văn bản thành các cảm xúc tích
cực, tiêu cực, trung lập hoặc phân tích sâu hơn các trạng thái cảm xúc như vui vẻ, tức giận,
buồn bã. Phân tích cảm xúc bắt đầu phát triển từ những năm 2000 với các phương pháp chủ
yếu dựa trên quy tắc, sử dụng từ điển cảm xúc và mô hình dựa trên quy tắc để phát hiện cảm
xúc. Với sự tiến bộ của học máy và sau đó là học sâu, các phương pháp này đã được cải thiện
đáng kể, cho phép xử lý dữ liệu lớn hơn và phân tích cảm xúc một cách tinh vi hơn. Tuy nhiên,
lĩnh vực này cũng đối mặt với nhiều thách thức. Các từ và câu trong văn bản thường mang
nhiều nghĩa khác nhau tùy theo ngữ cảnh, điều này gây khó khăn cho việc xác định chính xác
cảm xúc. Ngoài ra, việc phát hiện châm biếm và mỉa mai là một thách thức lớn, vì hệ thống
không chỉ cần hiểu văn bản mà còn phải nhận biết được ý định của người nói.
Có nhiều cấp độ khác nhau trong phân tích cảm xúc: phân tích ở cấp độ tài liệu (xác
định cảm xúc tổng thể của một tài liệu), cấp độ câu (phân tích cảm xúc từng câu để có cái nhìn
chi tiết hơn), và phân tích cảm xúc theo khía cạnh (liên quan đến các thuộc tính cụ thể trong
văn bản, ví dụ như đánh giá các khía cạnh của sản phẩm).
6 | KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2024
...................................................................................................................................................................................
Phương pháp truyền thống trong phân tích cảm xúc chủ yếu dựa trên các hệ thống từ
điển và mẫu ngôn ngữ để xác định cảm xúc, nhưng thường gặp hạn chế trong việc xử lý các
ngữ cảnh phức tạp và cảm xúc đa chiều. Với sự ra đời của học máy, các thuật toán như Naive
Bayes và SVM đã giúp cải thiện quá trình phân tích cảm xúc, tuy nhiên vẫn yêu cầu nhiều
công đoạn xử lý đặc trưng và gặp khó khăn trong việc tổng quát hóa.
Học sâu, đặc biệt với các mô hình mạng RNN (Recurrent Neural Networks) và LSTM
(Long Short-Term Memory), đã giúp xử lý các chuỗi văn bản dài và phức tạp nhờ khả năng
lưu giữ thông tin từ các trạng thái trước đó. Tuy nhiên, một hạn chế của RNN và LSTM là
chúng gặp khó khăn khi xử lý các chuỗi rất dài do vấn đề “bắt nhớ” thông tin xa.
Sự xuất hiện của kiến trúc Transformer đã tạo ra bước đột phá trong NLP, đặc biệt với
các LLMs như BERT và GPT. Những mô hình này không chỉ nâng cao khả năng hiểu ngữ
cảnh và ngữ nghĩa, mà còn cải thiện đáng kể độ chính xác trong các tác vụ phức tạp như phân
tích cảm xúc, đặc biệt khi xử lý các biểu đạt ngữ nghĩa tinh tế.
2. Kỹ thuật lời nhắc trong LLMs cho phân tích cảm xúc
Kỹ thuật lời nhắc là một phương pháp hướng dẫn mô hình ngôn ngữ thực hiện các tác
vụ thông qua việc điều chỉnh đầu vào văn bản mà không cần thay đổi trực tiếp các tham số của
mô hình. Các kỹ thuật này đã chứng tỏ khả năng đạt được hiệu suất cao trong các tác vụ cụ
thể chỉ bằng cách cung cấp một số ít các điều kiện hoặc ví dụ minh họa đơn giản. Việc thiết
kế lời nhắc phù hợp cho phép mô hình sử dụng hiệu quả kiến thức đã học trong giai đoạn tiền
huấn luyện và giải quyết các tác vụ mới với sự điều chỉnh tối thiểu. Các kỹ thuật lời nhắc tiêu
biểu bao gồm:
Zero-shot learning: Mô hình được yêu cầu thực hiện một tác vụ mà không có
ví dụ cụ thể nào về tác vụ đó. Dựa trên các mô tả về yêu cầu từ đầu vào và kiến thức có sẵn,
mô hình đưa ra dự đoán mà không cần huấn luyện thêm.
One-shot learning: Mô hình thực hiện tác vụ với một ví dụ minh họa duy nhất.
Ví dụ này giúp mô hình hiểu được yêu cầu của tác vụ và từ đó đưa ra kết quả dựa trên kiến
thức đã học.
Few-shot learning: Mô hình được cung cấp một số ít ví dụ minh họa (các cặp
đầu vào - nhãn) để hiểu yêu cầu của tác vụ. Việc sử dụng một lượng nhỏ dữ liệu mẫu giúp mô
hình thích ứng và cải thiện hiệu suất trên các tác vụ cụ thể.
Chain-of-thought (CoT): Kỹ thuật này cho phép mô hình thực hiện các bước
lập luận trung gian rõ ràng trước khi đưa ra câu trả lời cuối cùng. Các bước lập luận này được
minh họa bằng các ví dụ tương tự để mô hình học cách giải quyết vấn đề một cách logic và có
hệ thống.
Zero-shot CoT: Mô hình thực hiện chuỗi lập luận như trong CoT nhưng không
có bất kỳ ví dụ minh họa nào. Thay vào đó, mô hình được định hướng bằng các gợi ý ngôn
NGÔN NGỮ HỌC TÍNH TOÁN: NHỮNG XU HƯỚNG MỚI, TRIỂN VỌNG VÀ THÁCH THỨC | 7
...................................................................................................................................................................................
ngữ như “Hãy suy luận theo từng bước”, nhằm khuyến khích mô hình tự triển khai các suy
luận một cách mạch lạc.
Các kỹ thuật này không chỉ giúp tối ưu hóa khả năng thực thi của mô hình trong các
tình huống ít dữ liệu mà còn mở rộng khả năng áp dụng của các LLMs trong nhiều ngữ cảnh
phức tạp. Hình 1 biểu diễn việc sử dụng LLMs cho phân tích cảm xúc của người dùng bằng
cách cung cấp các hướng dẫn (lời nhắc) giống như ngôn ngữ tự nhiên, sử dụng Zero-shot
learning [9].
Hình 1. Sử dụng kỹ thuật lời nhắc trong LLMs, chúng ta có thể nhanh chóng phân loại
các đánh giá của người dùng bằng cách cung cấp các hướng dẫn giống như ngôn ngữ tự nhiên
[9]. 3. Tinh chỉnh LLMs cho phân tích cảm xúc
Tinh chỉnh các LLMs như BERT và GPT bao gồm việc điều chỉnh các mô hình đã
được huấn luyện trước cho các tác vụ cụ thể như phân tích cảm xúc bằng cách huấn luyện
chúng trên các tập dữ liệu có nhãn. Quá trình này điều chỉnh các tham số của mô hình để nắm
bắt tốt hơn các sắc thái cảm xúc trong dữ liệu văn bản.
Ví dụ, việc tinh chỉnh BERT bao gồm việc thêm một lớp phân loại lên trên kiến trúc
BERT để dự đoán nhãn cảm xúc dựa trên các biểu diễn ngữ cảnh được tạo ra cho văn bản đầu
vào. Quá trình huấn luyện mô hình đã được bổ sung lớp phân loại này trên tập dữ liệu gán
nhãn cảm xúc cho phép mô hình học được các liên kết giữa đặc trưng văn bản và kết quả cảm
xúc.
Tương tự, các mô hình như GPT-4o có thể được tinh chỉnh cho nhiều tác vụ khác nhau
của NLP [10], chẳng hạn như cho phân tích cảm xúc. Bằng cách cung cấp cho mô hình dữ liệu
huấn luyện cụ thể về cảm xúc, mô hình học cách đưa ra dự đoán chính xác hơn về sắc thái cảm
xúc của các dữ liệu mới, chưa từng thấy trước đó. Quá trình tinh chỉnh này nâng cao khả năng