IT4772 X lý ngôn ng t nhiênử ữ ự
Vi n CNTT-TT, ĐHBKHNệ
2
Ch ng 7 X lý nh p nh ng ng ươ ử ậ ằ ữ
nghĩa
Nghĩa c a tủ ừ
Wordnet
Ph ng pháp d a trên t đi nươ ự ừ ể
Ph ng pháp d a trên t ng đng ng nghĩaươ ự ươ ồ ữ
Babelnet
3
INFORMATION EXTRACTION
NATURAL LANGUAGE UNDERSTANDING
NATURAL LANGUAGE GENERATION
DATA + LINGUISTICS + MACHINE LEARNING
END-TO-END
APPLICATIONS
4
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Nghĩa c a tủ ừ
“You shall know a word by the company it
keeps” (Firth, J. R. 1957:11)
5
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Nghĩa c a tủ ừ
6
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Nghĩa c a tủ ừ
7
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Nghĩa c a tủ ừ
8
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Nghĩa c a tủ ừ
T đng âm (cùng t lo i):ừ ồ ừ ạ
Đngồ là nguyên t hóa h c trong b ng tu n hoàn ố ọ ả ầ
nguyên t có ký hi u Cu và s nguyên t b ng 29.ố ệ ố ử ằ
Đngồ (VND) là đn v ti n t chính th c c a Vi t ơ ị ề ệ ứ ủ ệ
Nam, do Ngân hàng Nhà n c Vi t Nam phát hành.ướ ệ
Ru ng lúa, ộđngồ lúa, ho c cánh đng lúa hay còn ặ ồ
g i đn gi n là ru ng là m t khu đt ng p n c có ọ ơ ả ộ ộ ấ ậ ướ
di n tích đt dùng đ canh tác và đc s d ng ệ ấ ể ượ ử ụ
cho vi c tr ng lúa và các cây tr ng khác.ệ ồ ồ
9
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Nghĩa c a tủ ừ
●T đa nghĩa (cùng t lo i)ừ ừ ạ
10
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Nghĩa c a tủ ừ
X lý nh p nh ng ng nghĩa: Xác đnh nghĩa c a ử ậ ằ ữ ị ủ
t trong m t ng c nh c th theo m t t đi n.ừ ộ ữ ả ụ ể ộ ừ ể
Ch xét các t cùng t lo iỉ ừ ừ ạ
Ch xét các t n i dungỉ ừ ộ
ng d ng:Ứ ụ
Truy h i thông tinồ
D ch máyị
H i đápỏ
11
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Wordnet
●Princeton Wordnet
●Princeton University
●Miller, Fellbaum and co-authors
●T 1985ừ
12
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Wordnet
●T đng nghĩa:ừ ồ
nhân dân, ng i dân, qu n chúng, dânườ ầ
h c sinh, h c tròọ ọ
13
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Wordnet
●Synset: T p h p các t đng nghĩaậ ợ ừ ồ
●M t t có th thu c nhi u synset khác nhau ộ ừ ể ộ ề
ng v i các ý nghĩa khác nhau c a t đóứ ớ ủ ừ
14
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Wordnet
●Hypernymy in noun hierarchy
‘science’ is hypernym of ‘mathematics’
‘computer’ is hypernym of ‘server’
15
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Wordnet
Quan hệVí dụ
hypernym Breakfast → meal
hyponym Meal → lunch
Has-member Faculty → professor
Member-of Pilot → crew
has-part Table → leg
part-of display → computer
antonym Leader → follow
16
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Wordnet
●ng d ngỨ ụ
X lý nh p nh ng ng nghĩaử ậ ằ ữ
T ng đng ng nghĩaươ ồ ữ
17
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Ph ng pháp d a trên t đi nươ ự ừ ể
●Đu vào:ầ
M t t trong m t ng c nhộ ừ ộ ữ ả
“Th i đi công ngh cao, đn b y ờ ạ ệ ế ẫ chu tộ cũng ph i k t n i ả ế ố
Wi-Fi”
T đi n ch a các nghĩa c a từ ể ứ ủ ừ
Gi i thích nghĩaả
Ví dụ
●Đu ra: nghĩa c a tầ ủ ừ
18
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Ph ng pháp d a trên t đi nươ ự ừ ể
từ
T lo iừ ạ
nghĩa#1
gi i thíchả
ví dụ
nghĩa#2
19
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Ph ng pháp d a trên t đi nươ ự ừ ể
●Thu t toán ậLesk
●D a trên mô hình truy h i thông tin:ự ồ
Nghĩa ~ văn b n (gi i thích + ví d )ả ả ụ
T + ng c nh ~ câu truy v nừ ữ ả ấ
→ Tìm văn b n (nghĩa) phù h p nh t v i câu truy ả ợ ấ ớ
v n (t )ấ ừ
20
Ch ng 6 X lý nh p nh ng ng nghĩaươ ử ậ ằ ữ
Ph ng pháp d a trên t đi nươ ự ừ ể
●u đi m:Ư ể
Đn gi nơ ả
K th a đc các kĩ thu t truy h i thông tinế ừ ượ ậ ồ
●Nh c đi m:ượ ể
C n t đi nầ ừ ể
Văn b n ng n, th aả ắ ư