Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 3 - Hoàng Anh Việt

Tài liệu này trình bày tổng quan về các khái niệm và phương pháp trong xử lý ngôn ngữ tự nhiên, bao gồm hình thái học, gán nhãn từ loại (POS tagging), cú pháp, ngữ nghĩa, và tích hợp diễn ngôn. Đặc biệt, tài liệu tập trung vào bài toán gán nhãn từ loại, một nhiệm vụ quan trọng trong nhiều ứng dụng NLP.

Sinh viên và những người nghiên cứu về xử lý ngôn ngữ tự nhiên, đặc biệt là các kỹ thuật gán nhãn từ loại và mô hình ngôn ngữ.

Tài liệu trình bày chi tiết về bài toán gán nhãn từ loại (POS tagging), một bước quan trọng trong xử lý ngôn ngữ tự nhiên.

1. **Tổng quan về POS Tagging:**
* Định nghĩa bài toán: Gán nhãn từ loại cho mỗi từ trong một câu.
* Ứng dụng: Nhận dạng thực thể tên (NER), phân tích cú pháp.
* Độ khó: Do tính mơ hồ của từ loại (một từ có thể có nhiều từ loại) và sự xuất hiện của các từ mới.

2. **Các phương pháp tiếp cận:**
* **Dựa trên luật:** Sử dụng các luật để gán nhãn dựa trên từ, ngữ cảnh và bộ nhãn.
* **Thống kê:** Sử dụng các mô hình thống kê như Hidden Markov Model (HMM) và thuật toán Viterbi để tìm dãy nhãn có xác suất cao nhất.
* HMM: Mô hình hóa xác suất của dãy từ và dãy nhãn.
* Viterbi: Thuật toán tìm đường đi tốt nhất (dãy nhãn) trong mô hình HMM.
* **Transformation-Based Learning (TBL):** Học các luật biến đổi để sửa lỗi gán nhãn ban đầu (Brill's tagger).

3. **Hidden Markov Model (HMM):**
* Mô hình kênh nhiễu: Xem việc tạo ra câu là quá trình thêm nhiễu vào dãy nhãn.
* Tính xác suất P(T, S): Tích của xác suất chuyển trạng thái (P(t_i|t_i-1)) và xác suất phát xạ (P(w_i|t_i)).

4. **Các vấn đề và giải pháp:**
* **Dữ liệu thưa:** Sử dụng các phương pháp làm trơn (smoothing) để ước lượng xác suất cho các sự kiện chưa xuất hiện trong dữ liệu huấn luyện.
* **Từ tần suất thấp:** Chia từ vựng thành hai tập (từ thường xuyên và từ ít gặp) và xử lý riêng.

5. **Mô hình ngôn ngữ (Language Modeling):**
* Định nghĩa: Ước lượng xác suất của một dãy từ.
* Ứng dụng: Nhận dạng tiếng nói, dịch máy, sửa lỗi chính tả.
* N-gram: Mô hình hóa xác suất của một từ dựa trên n-1 từ trước đó.
* Perplexity: Độ đo khả năng dự đoán của mô hình ngôn ngữ.

6. **Kỹ thuật làm trơn (Smoothing):**
* **Adding 1:** Thêm 1 vào tất cả các đếm.
* **Adding less than 1:** Thêm một giá trị nhỏ hơn 1 vào tất cả các đếm.
* **Good-Turning:** Sử dụng số lượng N-gram xuất hiện một lần để ước lượng số lượng N-gram chưa xuất hiện.
* **Linear Interpolation:** Kết hợp các mô hình N-gram khác nhau (unigram, bigram, trigram) bằng cách sử dụng trọng số.
* **Back-off:** Sử dụng mô hình N-gram bậc thấp hơn khi không đủ dữ liệu cho mô hình bậc cao hơn.