Xây dựng CHƯƠNG TRÌNH DỊCH - Chương 2: Phân tích từ vựng
Tìm chuỗi dài nhất các ký tự đầu vào, bắt đầu từ ký tự hiện tại tương ứng với một từ tố và trả về từ tố này
Nhiệm vụ
Duyệt từng ký tự của văn bản nguồn
Loại bỏ các ký tự không cần thiết như dấu cách, chú thích,..
Xây dựng từ vựng từ những ký tự đọc được
Nhận dạng từ tố và gửi tới pha tiếp
Nhận biết từ tố gồm
Nhận biết các từ khóa, tên do người dùng định nghĩa
Nhận biết các con số, hằng chuỗi, hằng ký tự
Nhận biết các ký tự đặc biệt (+,*,..), ký hiệu kép (:=,!=,..)...