Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 1 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chia sẻ: Dien_vi10 Dien_vi10 | Ngày: | Loại File: PDF | Số trang:14

Thêm vào BST

Báo xấu

161
lượt xem 13
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 1: Tác từ" cung cấp cho người học các kiến thức: Định nghĩa từ, từ vựng, tách từ, mở rộng bài toán. Đây là một tài liệu hữu ích dành cho các bạn sinh viên đang theo học ngành Công nghệ thông tin dùng làm tài liệu học tập và nghiên cứu.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 1 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chương 1 Tách từ Định nghĩa từ Từ vựng Tách từ IT4772 Xử lý ngôn ngữ tự nhiên Viện CNTT-TT, ĐHBKHN Mở rộng bài toán HK 20172 Định nghĩa từ Từ điển học INFORMATION EXTRACTION ● NATURAL LANGUAGE UNDERSTANDING NATURAL LANGUAGE GENERATION DATA + LINGUISTICS + MACHINE LEARNING END-TO-END APPLICATIONS Ngôn ngữ học – ● Đối tượng nghiên cứu: ngôn ngữ Từ điển học – Lĩnh vực con của ngôn ngữ học – Đối tượng nghiên cứu: từ ngữ Định nghĩa từ Ngôn ngữ tính toán ● Ngôn ngữ tính toán Định nghĩa từ Xử lý ngôn ngữ tự nhiên ● Xử lý ngôn ngữ tự nhiên – Đối tượng nghiên cứu: ngôn ngữ – Đối tượng: ngôn ngữ – Sử dụng các công cụ tính toán – Sử dụng các mô hình ngôn ngữ, các công c ụ tính toán – Hiểu ngôn ngữ tự nhiên, từ đó ● ● ● Định nghĩa từ Tiếng Việt Giao tiếp người - máy bằng ngôn ngữ tự nhiên Giao tiếp đa ngôn ngữ (dịch máy) Trích rút thông tin từ ngôn ngữ tự nhiên Định nghĩa từ Định nghĩa từ ● Tiếng Việt ra đời khi nào? ● Đơn vị ngôn ngữ nhỏ nhất có nghĩa ● Chữ viết tiếng Việt ra đời khi nào? ● Các loại từ cơ bản ● Chữ Hán ● Chữ Hán-Nôm ● Chữ quốc ngữ – Từ mang nội dung: danh từ, động t ừ, tính t ừ, tr ạng từ – Từ chức năng: giới từ, liên từ, b ổ t ừ... Định nghĩa từ Từ thuần Việt Định nghĩa từ Từ đơn ● Danh từ: cơm, gạo… ● Từ chỉ bao gồm một âm tiết ● Động từ: chạy ● Nhiều từ thuần Việt là từ đơn ● Tính từ: dài ● Trạng từ: nhanh Định nghĩa từ Từ ghép ● Từ được ghép bởi nhiều âm tiết ● Từ ghép đẳng lập: to lớn, kh ỏe m ạnh ● Từ ghép chính phụ: bằng khen, phòng ăn Định nghĩa từ Từ Hán Việt ● ● Từ có nguồn gốc từ Trung Quốc, bao g ồm các âm tiết là các đơn vị có nghĩa trong ti ếng Trung Quốc Ví dụ: học viên, nhân viên, công tr ường, đ ại học, phổ thông Định nghĩa từ Từ mượn ● ● ● Các từ có nguồn gốc từ các ngôn ng ữ khác không kể tiếng Trung Quốc, đặc biệt là ti ếng Anh, tiếng Pháp, hay tiếng Nga Từ chuyên ngành được lấy nguyên g ốc t ừ ti ếng nước ngoài hoặc có thể được phiên âm theo tiếng Viết Định nghĩa từ Từ láy ● ● Các âm tiết có hiện tượng lặp lại nhau m ột phần (láy bộ phận) hoặc lặp lại nhau hoàn toàn (láy toàn thể) Ví dụ: cao cao, khang khác, là l ạ Ví dụ: Cây (máy tính, xu ất phát t ừ case trong tiếng Anh), web, fan, data, file... Định nghĩa từ Từ tượng hình Định nghĩa từ Từ tượng thanh ● Gợi lên ý nghĩa hình ảnh ● Liên tưởng đến âm thanh, tiếng đ ộng ● Ví dụ: lung linh, lấp lánh ● Ví dụ: khúc khích, rì rào Từ vựng Từ vựng ● ● Tập hợp các từ của một ngôn ng ữ (vocabulary, glossary) Khác với từ điển (dictionary) và lexicon Từ vựng Vietnamese wiktionary Từ vựng Từ điển VLSP ● ● Một sản phẩm của dự án quốc gia v ề d ữ li ệu ngôn ngữ (http://vlsp.org.vn/) Từ điển chứa khoảng 40,000 từ đ ược s ử d ụng thông dụng trong văn b ản ti ếng Vi ệt Từ vựng Tratu.soha.vn