Xử lý ngôn ngữ tự nhiên
Bởi:
Học Viện Công Nghệ Bưu Chính Viễn Thông
XỬ LÝ NGÔN NGỮ TỰ NHIÊN VÀ TRÍ TUỆ NHÂN TẠO
Sự tiến hóa của ngôn ngữ
Vấn đề để hiểu được lời nói hành động giống như việc hiểu các vấn đề khác, tương tự
như việc hiểu hình ảnh hoặc chẩn đoán y học. Chúng ta đưa ra một tập các đầu vào đa
nghĩa và từ đó chúng ta làm ngược lại để quyết định trạng thái nào của thế giới có thể
được tạo ra đầu vào. Hiểu được vấn đề của lời nói hành động là phần đặc tả của ngôn
ngữ. Một phần của hiểu vấn đề có thể giải thích bằng các lí do logic. Chúng ta nhận thấy
rằng các chuỗi logic liên kết lại là cách tốt để mô tả cách mà các từ và các cụm từ phối
hợp để tạo ra một cụm từ lớn. Phần khác của việc hiểu vấn đề có thể chỉ được giải thích
bởi các lí do kĩ thuật không rõ ràng. Thông thường có nhiều trạng thái của thế giới mà
tất cả đều hướng dẫn đến một lời nói hành động tương tự, vì vậy người hiểu phải quyết
định cái mà nó dễ xảy ra hơn.
Cơ sở của ngôn ngữ
Một ngôn ngữ hình thức được định nghĩa như một tập các chuỗi kí tự, trong đó mỗi
chuỗi kí tự là một chuỗi các biểu tượng được lấy ra từ một tập hữu hạn được gọi là biểu
tượng terminal. Một trong những phiền toái khi làm việc với cả ngôn ngữ tự nhiên và
ngôn ngữ hình thức là có quá nhiều sự khác biệt hình thức và kí hiệu cho việc viết ngữ
pháp. Tuy nhiên, hầu hết chúng đều tương tự như cách mà chúng căn cứ vào ý tưởng
của cấu trúc cụm từ - các chuỗi kí tự được soạn thảo của các chuỗi kí tự cơ sở được gọi
là cụm từ, dẫn đến các phạm trù khác nhau. Các phạm trù như cụm danh từ, cụm động
từ, câu được gọi là biểu tượng nonterminal. Trong kí pháp BNF quy luật viết phù hợp
của biểu tượng nonterminal đơn ở bên trái và liên kết của đầu cuối hoặc không đầu cuối
viết ở bên phải. Quy luật được viết như trong ví dụ sau:
S → NP VP
Có nghĩa là chúng ta có thể đem bất kì cụm từ NP thêm vào sau bất kì cụm từ VP và kết
quả là một cụm từ dạng câu.
Các bước thành phần của giao tiếp:
Xử lý ngôn ngữ tự nhiên
1/31
Một đoạn giao tiếp điển hình, trong đó người nói S muốn truyền đạt lời thông báo P đến
người nghe H sử dụng từ W, được sắp xếp trong 7 tiến trình. Ba bước đối với người nói:
Mục đích: S muốn H tin P (trong đó S đặc biệt tin P)
Phát sinh: S chọn từ W (bởi vì chúng nhấn mạnh nghĩa của P)
Tổng hợp: S phát âm từ W ( thường chuyển thẳng chúng đến H)
Bốn bước đối với người nghe
Nhận thức: H nhận thức W’( W’=W, nhưng mất nhận thức là có thể)
Phân tích : H suy luận W’ có thể mang các nghĩa P1…,Pn (từ và cụm từ có thể cónhiều
nghĩa)
Ý nghĩa hóa: H suy luận rằng S có ý định truyền đạt Pi (trong đó ý nghĩa Pi=P, nhưngsự
mất giải thích là có thể)
Hợp nhất : H quyết định tin tưởng vào Pi, (hoặc loại bỏ nó nếu nó không được Hchắc
chắn tin tưởng)
Khả năng phát sinh
Ngữ pháp hình thức có thể được phân loại bởi khả năng phát sinh của chúng: tập các
ngôn ngữ mà chúng có thể trình bày. Chomsky (1957) mô tả bốn lớp của ngữ pháp hình
thức suy luận. Các lớp này được sắp xếp trong một trật tự thứ bậc, trong đó mỗi lớp có
thể được mô tả bởi ít nhất một lớp có quyền, giống như việc có thể thêm vài ngôn ngữ
vào. Dưới đây là danh sách các lớp theo cấp bậc từ trên xuống dưới:
Ngữ pháp đệ quy liệt kê sử dụng quy luật không giới hạn: kích thước của quy luật viết
lại có thể chứa số lượng bất kì biểu tượng terminal và không đầu cuối. Ngữ pháp này là
tương đương với máy Turing.
Ngữ pháp nhạy ngữ cảnh được giới hạn chỉ ở bên phải và phải chứa ít nhất một số biểu
tượng ở phía bên trái. Tên “nhạy ngữ cảnh” xuất phát từ một thực tế là một quy luật
tương tự như ASB→AXB có nghĩa là một S có thể được viết lại như là một X trong ngữ
cảnh của một A có trước và một sự kéo theo B.
Trong ngữ pháp phi ngữ cảnh ở phía bên phải chứa một biểu tượng nonterminal đơn. Vì
vậy mỗi quy luật cho phép viết lại không đầu cuối ở bên phải trong bất kì ngữ cảnh nào.
Ngữ pháp thông thường là lớp được giới hạn nhất. Ngữ pháp thông thường là tương
đương trong máy có số trạng thái hạn chế. Chúng không phù hợp lắm cho ngôn ngữ lập
Xử lý ngôn ngữ tự nhiên
2/31
trình, vì chúng không thể xây dựng được cách trình bày giống như sự cân bằng của dầu
mở và đóng ngoặc đơn.
Để đưa ra cho các bạn một ý tưởng ngôn ngữ nào được điều khiển bởi lớp nào, ngôn
ngữ anbn (một chuỗi n bản sao của a kéo theo bởi một số lượng tương tự của b) có thể
được phát sinh bởi ngữ pháp phi ngữ cảnh, nhưng không phải là ngữ pháp thông thường.
Ngôn ngữ đó yêu cầu một ngữ pháp nhạy ngữ cảnh, trong khi ngôn ngữ a*b* (một sự
phối hợp của bất kì một số của a theo sau bởi một số bất kì của b) có thể được mô tả bởi
một trong 4 lớp trên. Một bảng tóm tắt của 4 lớp:
Lớp Quy luật ví dụ Ngôn ngữ ví dụ
Ngữ pháp liệt kê đệ quy AB →C Bất kì
Nhạy ngữ cảnh AB→BA anbncn
Ngữ cảnh tự do S→ a S b anbn
Thông thường S→ a S a*b*
Vấn đề nói và nghe.
Mục đích: Bằng cách này hay cách khác người nói quyết định rằng sẽ có một số cái mà
nó đáng để nói với người nghe. Điều này thường bao gồm cả đức tin và mục đích của
người nghe vì thế khi nói sẽ có sự tác dụng ao ước. Trong ví dụ của chúng ta người nói
có mục đích cho người nghe biết wumpus không còn sống nữa.
Sự phát sinh: Người nói sử dụng kiến thức về ngôn ngữ để quyết định xem nói như thế
nào. Trong nhiều cách sẽ khó khăn hơn việc lật ngược vấn đề của sự hiểu biết (ví dụ như
phân tích và chuyển thành nghĩa). Sự phát sinh này không bị ép nhiều như sự hiểu biết
trong trí tuệ nhân tạo, chủ yếu bởi vì con người chúng ta hay băn khoăn khi nói với máy,
nhưng lại không bị kích động khi chúng nói lại. Bâygiờ chúng ta chỉ cho rằng người
nghe có thể chọn từ “the wumpus is dead”.
Tổng hợp: Hầu hết các ngôn ngữ đều căn cứ vào dạng hệ thống phân tích đầu ra của trí
tuệ nhân tạo trên màn hình hoặc trên giấy. Tổng hợp lời nói đang được phát triển rộng
rãi và một vài hệ thống đã bắt đầu nghe tiếng người. Chi tiết của kí pháp không quan
trọng, điều này có nghĩa là âm thanh được phân tích rất khác với từ được nhân vật phát
sinh. Mặc dù các từ phải đi liền với nhau, đây là một đặc điểm của việc nói nhanh.
Nhận thức. Bình thường là lời nói, bước nhận thức được gọi là nhận dạng lời nói, khi nó
được đưa ra máy in, nó được gọi là nhận dạng đặc điểm quang học. Cả hai đều chuyển
đến người quan tâm. Chẳng hạn, chúng ta cho rằng người nghe nhận thức được âm thanh
và thu lại hoàn toàn lời nói.
Xử lý ngôn ngữ tự nhiên
3/31
Phân tích. Chúng ta phân tích chúng thành hai phần chính: cách hiểu về cú pháp (hay
phân tích cú pháp) và sự giải thích về ngữ nghĩa. Sự giải thích về ngữ nghĩa bao gồm cả
việc hiểu nghĩa của từ và hợp nhất kiến thức của tình huống hiện tại (cũng được gọi là
sự giải thích thực tế).
Phân tích cú pháp từ. Xuất phát từ cụm từ Latin par orationis, hoặc “part of speech” và
ám chỉ sự chuyển nhượng một phần của lời nói (danh từ, động từ) đến mỗi từ trong câu
và nhóm các từ trong cụm từ.
Một cây phân tích từ loại là một cây mà bên trong các nút tương ứng với các cụm từ,
liên kết với các ứng dụng của quy luật ngữ pháp, và các nút lá tương úng với các từ. Nếu
chúng ta định nghĩa số lượng của một nút như là một danh sách tất cả các lá ở bên dưới
của nút đó theo thứ tự từ trái sang phải. Khi đó, chúng ta có thể nói rằng ý nghĩa của một
cây phân tích từ loại là mỗi nút, với nhãn X xác định số lượng của nút đó là một cụm từ
của phạm trù X.
Giải thích ngữ nghĩa là quá trình rút ra ý nghĩa của một lời nói của một sự diễn đạt
trong một sự trình diễn ngôn ngữ. Chúng ta sử dụng logic như sự trình diễn ngôn ngữ,
nhưng sự trình diễn ngôn ngữ khác không được sử dụng.
Giải thích thực tế là một phần của sự giải thích về ngữ nghĩa mà nó mang tình huống
hiện thời vào bảng mô tả.
Chuyển thành ý nghĩa. Hầu hết các người nói đều không cố ý nói đa nghĩa, nhưng hầu
hết lời nói đều có nhiều sự giải thích hợp lí. Giao tiếp làm việc bởi vì người nghe đã làm
việc định hình một nghĩa mà người nghe hầu như chắc chắn truyền đạt. chú ý rằng đây
là lần đầu tiên chúng sử dụng từ hầu như chắc chắn và việc chuyển thành ý nghĩa này là
tiến trình đầu tiên mà nó phụ thuộc rất nhiều vào lý do không chắc chắn. Phân tích sự
giải thích có thể: nếu có nhiều hơn một sự giải thích được tìm thấy, khi đó việc chuyển
thành ý nghĩa sẽ chọn lấy một ý nghĩa tốt nhất.
Hợp nhất.
Về tổng thể, một nhân vật có thể tin vào mọi thứ mà anh ta nghe thấy, nhưng một người
thông minh sẽ xem xét từ W và xuất phát từ sự giải thích Pinhư là một phần thêm vào
của các bằng chứng được cân nhắc kỹ lưỡng với tất cả các bằng chứng khác chống lại
Pi.
Nó chỉ làm nên câu để sử dụng ngôn ngữ khi các nhân vật giao tiếp với người (a) hiểu
được ngôn ngữ thông thường, người (b) có một ngữ cảnh mà nó căn cứ vào cuộc hội
thoại đó, và người (c) ít nhất có một phần lý trí. Giao tiếp không làm việc khi các nhân
vật hoàn toàn không hợp lí,bởi vì không có cách nào để dự báo một nhân vật không
hợp lí sẽ phản ứng lại một lời nói hành động.
Xử lý ngôn ngữ tự nhiên
4/31
Hai mô hình của giao tiếp
Nghiên cứu của chúng ta về trung tâm giao tiếp là cách mà một niềm tin của nhân vật
thay đổi vào từ và trở lại với niềm tin và kiến thức cơ bản của một nhân vật khác. Có hai
cách để xem xét quá trình này:
Mô hình bản tin mã hóa
Mô hình bản tin mã hóa nói rằng người nói xác định một nhận định P trong ý nghĩ và
mã hóa gợi ý này vào trong từ (hoặc kí hiệu) W. Người nghe sau đó sẽ cố gắng mã hóa
bản tin W để lấy lại nguyên bản P (ví dụ như mã Morse). Dưới mô hình này ý nghĩa ở
trong đầu người nói, bản tin mà nó được chuyển đi mà người nghe nhận được tất cả ý
nghĩ có số lượng tương tự. Khi chúng không giống nhau thì nguyên nhân là do tiếng ồn
trong khi giao tiếp hoặc một lỗi trong khi mã hay giải mã.
Mô hình tình huống giao tiếp
Hạn chế của bản tin mã hóa dẫn đến mô hình tình huống giao tiếp, là mô hình cho rằng
ý nghĩa của một bản tin phụ thuộc vào cả từ ngữ và cả tình huống mà trong đó các từ
được phát âm. Trong mô hình này, chỉ cần trong một phép tính tình huống, các hàm mã
và giải mã đã thêm vào một đối số điển hình cho một tình huống mới. Bản mô tả cho sự
việc mà những từ tương tự có thể có rất nhiều nghĩa cho những tình huống khác nhau.
Mô hình tình huống ngôn ngữ chỉ ra một nguồn của giao tiếp không thành công: nếu
như người nói và người nghe có những ý tưởng khác nhau của tình huống hiện thời có
thể, khi đó bản tin có thể không được thông qua như ý định.
Giao tiếp sử dụng ngôn ngữ hình thức
Hầu hết các đối tượng giao tiếp thông qua ngôn ngữ hơn là thông qua truy cập trực tiếp
đến kiến thức cơ sở. Hình 1 cho một sơ đồ giao tiếp kiểu này. Đối tượng có thể thực hiện
hành động mà nó sinh ra ngôn ngữ, với đối tượng khác có thể nhận biết được. Ngôn ngữ
giao tiếp bên ngoài có thể khác so với ngôn ngữ mô tả bên trong, mỗi đối tượng có thể
có ngôn ngữ bên trong khác nhau. Chúng không cần thiết phải đồng ý trên bất kì một kí
hiệu bên trong nào miễn là mỗi một đối tượng có thể vẽ một bản đồ đáng tin cậy từ ngôn
ngữ bên ngoài đến kí hiệu bên trong của chính nó.
Xử lý ngôn ngữ tự nhiên
5/31