IT4772 X lý ngôn ng t nhiênử ữ ự
Vi n CNTT-TT, ĐHBKHNệ
HK 20172
Ch ng 1 Tách tươ ừ
Đnh nghĩa tị ừ
T v ngừ ự
Tách từ
M r ng bài toánở ộ
INFORMATION EXTRACTION
NATURAL LANGUAGE UNDERSTANDING
NATURAL LANGUAGE GENERATION
DATA + LINGUISTICS + MACHINE LEARNING
END-TO-END
APPLICATIONS
Đnh nghĩa tị ừ
T đi n h cừ ể ọ
●Ngôn ng h cữ ọ
–Đi t ng nghiên c u: ngôn ngố ượ ứ ữ
●T đi n h cừ ể ọ
–Lĩnh v c con c a ngôn ng h cự ủ ữ ọ
–Đi t ng nghiên c u: t ng ố ượ ứ ừ ữ
Đnh nghĩa tị ừ
Ngôn ng tính toánữ
●Ngôn ng tính toánữ
–Đi t ng nghiên c u: ngôn ngố ượ ứ ữ
–S d ng các công c tính toánử ụ ụ
Đnh nghĩa tị ừ
X lý ngôn ng t nhiênử ữ ự
●X lý ngôn ng t nhiênử ữ ự
–Đi t ng: ngôn ngố ượ ữ
–S d ng các mô hình ngôn ng , các công c tính ử ụ ữ ụ
toán
–Hi u ngôn ng t nhiên, t đóể ữ ự ừ
●Giao ti p ng i - máy b ng ngôn ng t nhiênế ườ ằ ữ ự
●Giao ti p đa ngôn ng (d ch máy)ế ữ ị
●Trích rút thông tin t ngôn ng t nhiênừ ữ ự
Đnh nghĩa tị ừ
Ti ng Vi tế ệ
●Ti ng Vi t ra đi khi nào?ế ệ ờ
●Ch vi t ti ng Vi t ra đi khi nào?ữ ế ế ệ ờ
●Ch Hánữ
●Ch Hán-Nômữ
●Ch qu c ngữ ố ữ
Đnh nghĩa tị ừ
Đnh nghĩa tị ừ
●Đn v ngôn ng nh nh t có nghĩaơ ị ữ ỏ ấ
●Các lo i t c b nạ ừ ơ ả
–T mang n i dung: danh t , đng t , tính t , tr ng ừ ộ ừ ộ ừ ừ ạ
từ
–T ch c năng: gi i t , liên t , b t ...ừ ứ ớ ừ ừ ổ ừ
Đnh nghĩa tị ừ
T thu n Vi từ ầ ệ
●Danh t : c m, g o…ừ ơ ạ
●Đng t : ch yộ ừ ạ
●Tính t : dàiừ
●Tr ng t : nhanhạ ừ
Đnh nghĩa tị ừ
T đnừ ơ
●T ch bao g m m t âm ti từ ỉ ồ ộ ế
●Nhi u t thu n Vi t là t đnề ừ ầ ệ ừ ơ
Đnh nghĩa tị ừ
T ghépừ
●T đc ghép b i nhi u âm ti từ ượ ở ề ế
●T ghép đng l p: to l n, kh e m nhừ ẳ ậ ớ ỏ ạ
●T ghép chính ph : b ng khen, phòng ănừ ụ ằ
Đnh nghĩa tị ừ
T Hán Vi từ ệ
●T có ngu n g c t Trung Qu c, bao g m các ừ ồ ố ừ ố ồ
âm ti t là các đn v có nghĩa trong ti ng Trung ế ơ ị ế
Qu cố
●Ví d : h c viên, nhân viên, công tr ng, đi ụ ọ ườ ạ
h c, ph thôngọ ổ
Đnh nghĩa tị ừ
T m nừ ượ
●Các t có ngu n g c t các ngôn ng khác ừ ồ ố ừ ữ
không k ti ng Trung Qu c, đc bi t là ti ng ể ế ố ặ ệ ế
Anh, ti ng Pháp, hay ti ng Ngaế ế
●T chuyên ngành đc l y nguyên g c t ti ng ừ ượ ấ ố ừ ế
n c ngoài ho c có th đc phiên âm theo ướ ặ ể ượ
ti ng Vi tế ế
●Ví d : Cây (máy tính, xu t phát t case trong ụ ấ ừ
ti ng Anh), web, fan, data, file... ế
Đnh nghĩa tị ừ
T láyừ
●Các âm ti t có hi n t ng l p l i nhau m t ế ệ ượ ặ ạ ộ
ph n (láy b ph n) ho c l p l i nhau hoàn toàn ầ ộ ậ ặ ặ ạ
(láy toàn th )ể
●Ví d : cao cao, khang khác, là lụ ạ
Đnh nghĩa tị ừ
T t ng hìnhừ ượ
●G i lên ý nghĩa hình nhợ ả
●Ví d : lung linh, l p lánhụ ấ
Đnh nghĩa tị ừ
T t ng thanhừ ượ
●Liên t ng đn âm thanh, ti ng đngưở ế ế ộ
●Ví d : khúc khích, rì ràoụ
T v ngừ ự
T v ngừ ự
●T p h p các t c a m t ngôn ng (vocabulary, ậ ợ ừ ủ ộ ữ
glossary)
●Khác v i t đi n (dictionary) và lexiconớ ừ ể
T v ngừ ự
T đi n VLSPừ ể
●M t s n ph m c a d án qu c gia v d li u ộ ả ẩ ủ ự ố ề ữ ệ
ngôn ng (http://vlsp.org.vn/)ữ
●T đi n ch a kho ng 40,000 t đc s d ng ừ ể ứ ả ừ ượ ử ụ
thông d ng trong văn b n ti ng Vi tụ ả ế ệ
T v ngừ ự
Vietnamese wiktionary
T v ngừ ự
Tratu.soha.vn