BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
Phạm Ngọc Hưng
NHẬN DẠNG TỰ ĐỘNG TIẾNG NÓI PHÁT ÂM LIÊN TỤC
CHO CÁC PHƯƠNG NGỮ CHÍNH CỦA TIẾNG VIỆT
THEO PHƯƠNG THỨC PHÁT ÂM
Chuyên ngành: Hệ thống thông tin
Mã số: 62480104
LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS.TS. Trịnh Văn Loan
2. TS. Nguyễn Hồng Quang
Hà Nội - 2017
2
LỜI CAM ĐOAN
Tôi xin cam đoan tất cả các nội dung trong luận án “Nhận dạng tự động tiếng nói
phát âm liên tục cho các phương ngữ chính của tiếng Việt theo phương thức phát âm” là
công trình nghiên cứu của riêng tôi. Các số liệu, kết quả trong luận án là trung thực và
chưa từng được công bố trong bất kỳ công trình nào. Việc tham khảo các nguồn tài liệu đã
được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.
TẬP THỂ HƯỚNG DẪN KHOA HỌC
TÁC GIẢ LUẬN ÁN
PGS.TS. Trịnh Văn Loan
Phạm Ngọc Hưng
TS. Nguyễn Hồng Quang
3
LỜI CẢM ƠN
Tôi xin bày tỏ lòng biết ơn tới Trường Đại học Bách khoa Hà Nội, Viện Công nghệ
Thông tin và Truyền thông, Bộ môn Kỹ thuật máy tính, Bộ môn Hệ thống thông tin đã tạo
điều kiện thuận lợi cho tôi trong quá trình học tập tại Trường.
Tôi muốn gửi lời cảm ơn đặc biệt tới tập thể hướng dẫn trực tiếp là
PGS.TS. Trịnh Văn Loan và TS. Nguyễn Hồng Quang. Hai Thầy đã luôn tận tình giúp đỡ,
đưa ra những lời khuyên, những định hướng khoa học rất quý báu để tôi có thể triển khai
và hoàn thành công việc nghiên cứu của mình.
Xin chân thành cảm ơn các thầy cô, các đồng nghiệp trong Bộ môn Hệ thống
Thông tin, Bộ môn Kỹ thuật máy tính, Viện Công nghệ Thông tin và Truyền thông,
Trường Đại học Bách khoa Hà Nội nơi tôi học tập, thực hiện đề tài nghiên cứu đã nhiệt
tình giúp đỡ và động viên tôi trong suốt quá trình nghiên cứu.
Cảm ơn Khoa Công nghệ Thông tin và Trường Đại học Sư phạm Kỹ thuật Hưng
Yên, nơi tôi đang công tác đã luôn tạo điều kiện cho tôi trong suốt quá trình nghiên cứu và
hoàn thành luận án này.
Với tấm lòng biết ơn đến các thầy cô, các nhà khoa học, các đồng nghiệp và bạn bè
thân hữu đã động viên và giúp đỡ tôi trong quá trình nghiên cứu.
Cuối cùng tôi muốn bày tỏ lòng biết ơn sâu sắc tới gia đình, nơi nuôi dưỡng và là
nguồn động lực để tôi vượt mọi trở ngại khó khăn để hoàn thành luận án này.
Phạm Ngọc Hưng
4
MỤC LỤC
MỤC LỤC ............................................................................................................................. 4
GIẢI THÍCH CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ............................................................ 7
DANH MỤC CÁC BẢNG .................................................................................................. 10
DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ .......................................................................... 12
MỞ ĐẦU ............................................................................................................................. 14
1. TỔNG QUAN VỀ NHẬN DẠNG TIẾNG NÓI VÀ NHẬN DẠNG PHƯƠNG NGỮ
18
1.1. Nhận dạng tiếng nói .............................................................................................. 18
1.1.1. Tổng quan về nhận dạng tiếng nói ................................................................ 18
1.1.2. Lịch sử phát triển và các tiến bộ trong nghiên cứu nhận dạng tiếng nói ...... 19
1.1.3. Các thách thức đối với nhận dạng tự động tiếng nói ..................................... 20
1.1.4. Phân loại hệ thống nhận dạng tự động tiếng nói ........................................... 21
1.2. Nhận dạng phương ngữ ......................................................................................... 23
1.2.1. Các mô hình nhận dạng phương ngữ ............................................................. 23
1.2.2. Nhận dạng phương ngữ theo các phương diện khác nhau ............................. 24
1.3. Nghiên cứu nhận dạng tiếng nói và nhận dạng phương ngữ tiếng Việt ............... 29
1.4. Một số mô hình nhận dạng ................................................................................... 30
1.4.1. Mô hình GMM .............................................................................................. 30
1.4.2. Bộ phân lớp SVM .......................................................................................... 32
1.4.3. Mạng nơ ron nhận tạo .................................................................................... 38
1.5. Kết chương ............................................................................................................ 54
2. XÂY DỰNG BỘ NGỮ LIỆU CHO NGHIÊN CỨU NHẬN DẠNG PHƯƠNG NGỮ
TIẾNG VIỆT ....................................................................................................................... 56
2.1. Tổng quan phương ngữ tiếng Việt ........................................................................ 56
2.1.1. Phương ngữ và phân vùng phương ngữ tiếng Việt ........................................ 56
2.1.2. Đặc điểm ngữ âm ba vùng phương ngữ chính của tiếng Việt ....................... 57
2.1.3. Sự khác biệt về từ vựng và ngữ nghĩa giữa ba vùng phương ngữ tiếng Việt 58
2.2. Cấu trúc âm tiết, âm vị trong phương ngữ tiếng Việt ........................................... 60
2.2.1. Âm tiết và âm vị trong tiếng Việt .................................................................. 60
2.2.2. Âm đệm và cách kết hợp âm đệm trong các phương ngữ ............................. 64
5
2.3. Phụ âm đầu trong phương ngữ tiếng Việt ............................................................. 65
2.3.1. Hệ thống phụ âm đầu ..................................................................................... 65
2.3.2. So sánh hệ thống phụ âm đầu ba phương ngữ Bắc-Trung-Nam ................... 67
2.4. Hệ thống thanh điệu và các biến thể trong phương ngữ tiếng Việt ...................... 67
2.4.1. Hệ thống thanh điệu Hà Nội .......................................................................... 68
2.4.2. Hệ thống thanh điệu Nghệ - Tĩnh và Huế ...................................................... 68
2.4.3. Hệ thống thanh điệu Đà Nẵng và Thành phố Hồ Chí Minh .......................... 69
2.4.4. Một số nhận xét về hệ thống thanh điệu các phương ngữ ............................. 70
2.5. Ảnh hưởng của phương ngữ tới nhận dạng tiếng nói ........................................... 71
2.6. Ngữ liệu phương ngữ trên thế giới và xây dựng bộ ngữ liệu dùng cho nhận dạng
phương ngữ tiếng Việt ..................................................................................................... 71
2.6.1. Phương pháp xây dựng bộ ngữ liệu phương ngữ tiếng Việt ......................... 72
2.6.2. Chuẩn bị và chuẩn hóa văn bản ..................................................................... 73
2.6.3. Ghi âm ........................................................................................................... 75
2.6.4. Kết quả ghi âm và đặc tính VDSPEC ............................................................ 78
2.7. Phân tích một số đặc trưng phương ngữ tiếng Việt của bộ ngữ liệu VDSPEC .... 79
2.7.1. Biến thiên tần số cơ bản F0 theo thanh điệu của ba phương ngữ .................. 79
2.7.2. Phân tích thống kê phân bố F0 của các thanh điệu ........................................ 81
2.7.3. Phân tích dữ liệu dùng LDA .......................................................................... 83
2.8. Kết chương ............................................................................................................ 87
3. NHẬN DẠNG PHƯƠNG NGỮ TIẾNG VIỆT .......................................................... 89
3.1. Nhận dạng phương ngữ tiếng Việt với GMM ...................................................... 89
3.1.1. Công cụ thử nghiệm nhận dạng phương ngữ ALIZE .................................... 89
3.1.2. Lựa chọn số lượng hệ số MFCC .................................................................... 91
3.1.3. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp
MFCC với tham số F0 ................................................................................................. 92
3.1.4. Thử nghiệm nhận dạng phương ngữ tiếng Việt trong trường hợp kết hợp
formant, dải thông tương ứng và tham số F0 .............................................................. 95
3.1.5. Ảnh hưởng của số lượng thành phần Gauss đối với hiệu năng nhận dạng
phương ngữ tiếng Việt ................................................................................................. 96
3.2. SVM nhận dạng phương ngữ tiếng Việt ............................................................... 98
3.2.1. Bộ phân lớp SMO .......................................................................................... 98