zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Công Nghệ Thông Tin

» Kỹ thuật lập trình

Phương pháp sử dụng dữ liệu băng hẹp để cải thiện mô hình nhận dạng tiếng nói băng rộng

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:3

Báo xấu

21
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết Phương pháp sử dụng dữ liệu băng hẹp để cải thiện mô hình nhận dạng tiếng nói băng rộng trình bày việc xây dựng dữ liệu băng hẹp để nâng cao chất lượng của mô hình nhận dạng tiếng nói băng rộng. Các thử nghiệm khác nhau đã chỉ ra rằng, sử dụng thêm dữ liệu băng hẹp luôn mang lại sự cải thiện cho mô hình băng rộng.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Phương pháp sử dụng dữ liệu băng hẹp để cải thiện mô hình nhận dạng tiếng nói băng rộng

Tuyển tập Hội nghị Khoa học thường niên năm 2021. ISBN: 978-604-82-5957-0 PHƯƠNG PHÁP SỬ DỤNG DỮ LIỆU BĂNG HẸP ĐỂ CẢI THIỆN MÔ HÌNH NHẬN DẠNG TIẾNG NÓI BĂNG RỘNG Đỗ Văn Hải, Phạm Thanh Bình, Nguyễn Thị Phương Thảo Trường Đại học Thủy lợi 1. MỞ ĐẦU Trong nghiên cứu này, chúng tôi đề xuất phương pháp có thể tận dụng dữ liệu băng Trong hệ thống nhận dạng tiếng nói tín hẹp để nâng cao chất lượng nhận dạng cho hiệu được ghi âm thường được lấy mẫu ở tần mô hình băng rộng. Có thể chất lượng của tín số 16kHz (tín hiệu băng rộng) dùng trong các hiệu băng hẹp không bằng dữ liệu dữ liệu ứng dụng ghi âm thông thường. Tuy nhiên băng rộng tuy nhiên với số lượng lớn và loại trong hệ thống điện thoại, tần số lấy mẫu chỉ dữ liệu khác biệt, ta vẫn hi vọng dữ liệu băng là 8kHz (tín hiệu băng hẹp). Thông thường hẹp sẽ bổ sung thêm thông tin để vào để tăng hai loại dữ liệu này được sử dụng độc lập cường chất lượng mô hình băng rộng. nhau để huấn luyện ra hai loại mô hình nhận dạng tiếng nói riêng biệt. 2. PHƯƠNG PHÁP TIẾP CẬN Hình 1 miêu tả tín hiệu của một file tiếng nói băng rộng có tần số lấy mẫu 16kHz Một vấn đề đặt ra là làm sao có thể sử (fmax = 8kHz ở dưới) và vẫn nguồn âm thanh dụng dữ liệu băng rộng với dữ liệu băng hẹp đó nhưng lấy mẫu ở 8kHz (hình trên). Ta khi mà toàn bộ phổ thông tin tiếng nói từ thấy rằng với tín hiệu có tần số lấy mẫu 8kHz 4-8kHz của tín hiệu băng hẹp bị mất hết thì toàn bộ phổ (spectrum) tín hiệu từ 4kHz Hình 1. Xuất phát từ ý tưởng các bộ khử nhiễu đến 8kHz bị mất. (denoiser) được phát triển gần đây khi ta đưa đầu vào là tín hiệu tiếng nói có nhiễu đầu ra sẽ là tín hiệu tiếng nói sạch [1], chúng ta có thể xây dựng một bộ tái tạo (reconstructor) từ tín hiệu băng hẹp lên tín hiệu băng rộng sử dụng cơ chế tương tự với các denoiser. Trong nghiên cứu này, chúng tôi sử dụng đầu vào của bộ tái tạo sẽ là tín hiệu băng hẹp đầu ra sẽ là tín hiệu băng rộng được tái tạo lại từ tín hiệu băng hẹp. Để huấn luyện “việc tái tạo” này ta thực hiện quy trình huấn luyện sử dụng mô hình mạng nơ ron nhân tạo như Hình 2. Bộ dữ liệu được sử dụng là bộ dữ liệu băng rộng (16kHz) mà không cần có bất cứ nhãn (label) gì. Dữ liệu này được chuyển thành dữ liệu băng hẹp bằng cách giảm tần số lấy mẫu từ 16kHz xuống 8kHz (down Hình 1. Spectrogram của tín hiệu tiếng nói sample) để làm đầu vào huấn luyện cho bộ tái băng hẹp ở trên (tần số lấy mẫu 8kHz) tạo. Đầu ra của bộ tái tạo là tín hiệu băng và băng rộng ở dưới rộng ban đầu. Với cách huấn luyện này, bộ 80
Tuyển tập Hội nghị Khoa học thường niên năm 2021. ISBN: 978-604-82-5957-0 tái tạo sẽ học được bổ sung những phổ tín  Mô hình 3: mô hình huấn luyện dùng hiệu bị cắt trong tín hiệu băng hẹp. 20.000 câu huấn luyện băng rộng. Bảng 1. Sai số từ của các mô hình khác nhau Mô WER Dữ liệu hình (%) 1 Băng rộng 10.000 câu 36,23 Hình 2. Quá trình huấn luyện cho bộ tái tạo 2 Băng rộng 10.000 câu + 32,08 băng hẹp 10.000 câu Tuy nhiên khi áp dụng mô hình này để tái 3 Băng rộng 20.000 câu 31,84 tạo tín hiệu băng rộng áp dụng vào nhận dạng tiếng nói thì kết quả không tốt. Một trong những nguyên nhân có thể là việc tái tạo tín Tất cả các mô hình được huấn luyện sử hiệu băng rộng đã gây méo (distortion) so với dụng kiến trúc TDNN-LSTM kết hợp với mô tín hiệu băng rộng gốc. Do vậy để giảm sự hình ngôn ngữ 4-gram [2] với công cụ được méo này ta thay vì tái tạo toàn bộ phổ tín hiệu sử dụng là Kaldi [3]. băng rộng như trên Hình 2, ta đề xuất phương Kết quả thử nghiệm với bộ thử nghiệm pháp thực hiện ở miền tần số thay vì ở miền băng rộng độc lập được trình bày ở Bảng 1. thời gian như sau: Chúng tôi sử dụng chỉ số sai số từ  Bóc tách tín hiệu băng rộng thành hai (WER - Word Error Rate1) để đánh giá chất thành phần riêng biệt 0-4kHz và 4-8kHz. lượng hệ thống nhận dạng. Kết quả so sánh  Đầu ra của mạng nơ ron trên Hình 2 là mô hình 1 và 2, ta thấy rằng bằng việc sử phổ tín hiệu 4-8kHz thay vì 0-8kHz như cách dụng thêm dữ liệu băng hẹp như phương tiếp cận trước. pháp đề xuất đã làm giảm sai số từ 36,23%  Tái tạo phần phổ từ 4-8k từ tín hiệu băng xuống con 32,08%. Chú ý rằng mô hình 2 hẹp dùng mạng nơ ron. cho kết quả tiệm cận với mô hình 3 tức mô  Sau đó kết hợp 2 phần phổ tín hiệu lại hình sử dụng toàn bộ 20.000 câu dữ liệu tức là: từ 0-4kHz lấy từ tín hiệu băng hẹp gốc băng rộng để huấn luyện. (by pass) và phần phổ 4-8kHz được tái tạo 3.2. Thử nghiệm với tập dữ liệu lớn và nhờ mạng nơ ron trên Hình 2. lượng dữ liệu tái tạo khác nhau Do đó với cách tiếp cận này ta đã làm Như phần 3.1 đã chỉ ra phương pháp đề giảm méo được tín hiệu tái tạo, ta chỉ tái tạo xuất cho hiệu quả cao với tập dữ liệu huấn phần phổ bị mất thay vì tái tạo toàn bộ phổ luyện nhỏ (10.000 đến 20.000 câu). Tuy tín hiệu. nhiên trong các hệ thống nhận dạng tiếng nói 3. THỬ NGHIỆM thực tế, người ta sử dụng hàng trăm nghìn đến hàng triệu câu dữ liệu huấn luyện. Trong 3.1 Thử nghiệm với tập dữ liệu huấn phần này chúng ta sẽ nghiên cứu thử nghiệm luyện nhỏ với tập dữ liệu lớn hơn nhiều lần để đánh giá Trước hết ta thử nghiệm mô hình nhận độ hiệu quả của phương pháp đề xuất trong dạng với dữ liệu nhỏ. thực tế. Ngoài ra ta sẽ xem xét ảnh hưởng của  Mô hình 1: mô hình huấn luyện chỉ dùng mô hình khi sử dụng dữ liệu băng hẹp được 10.000 câu huấn luyện băng rộng. tái tạo khác nhau.  Mô hình 2: dùng 10.000 câu huấn luyện băng rộng kết hợp với 10.000 câu huấn luyện băng hẹp được tái tạo như trong phần 2. 1 https://en.wikipedia.org/wiki/Word_error_rate 81
Tuyển tập Hội nghị Khoa học thường niên năm 2021. ISBN: 978-604-82-5957-0  Mô hình yt310k: sử dụng 310.000 câu mục đích là bổ sung thông tin còn thiếu hụt băng rộng để huấn luyện. Dữ liệu này được trong dữ liệu băng rộng chứ không thể thay lấy từ Youtube. thế dữ liệu băng rộng được. Tỷ lệ trộn dữ liệu  Mô hình yt310k+ipcc150k: sử dụng băng rộng và băng hẹp hợp lý là 1:1 sẽ đảm 310.000 câu băng rộng để huấn luyện kết hợp bảo được chất lượng nhận dạng cũng như với 150.000 câu huấn luyện băng hẹp được thời gian huấn luyện mô hình. tái tạo như trong phần 2. Dữ liệu băng hẹp được lấy từ tổng đài thoại (ipcc). Tương tự 4. KẾT LUẬN mô hình yt310k+ipcc310k, yt310k+ipcc460k Trong nghiên cứu này, chúng tôi đã xây là mô hình khi kết hợp với 310.000 và dựng được một phương pháp nhằm tận dụng 460.000 câu băng hẹp vào tập huấn luyện. dữ liệu băng hẹp để nâng cao chất lượng của Kết quả thử nghiệm với bốn mô hình trên mô hình nhận dạng tiếng nói băng rộng. Các sáu tập kiểm thử khác nhau được trình bày thử nghiệm khác nhau đã chỉ ra rằng, sử dụng trên Hình 3. Trục tung là sai số từ WER(%). thêm dữ liệu băng hẹp luôn mang lại sự cải thiện cho mô hình băng rộng. Qua nghiên cứu này, ta cũng thấy rằng, mặc dù dữ liệu băng hẹp về mặt băng thông ít hơn so với dữ liệu băng rộng, tuy nhiên về mặt đặc thù dữ liệu thì dữ liệu băng hẹp được thu thập từ các cuộc trò chuyện qua điện thoại, đây là loại dữ liệu chưa từng xuất hiện trong tập dữ liệu băng rộng như từ Youtube, ghi âm,… Do đó, việc bổ sung dữ liệu băng hẹp vào dữ liệu băng rộng giúp tăng độ đa dạng của dữ liệu huấn luyện lên rất nhiều. 5. TÀI LIỆU THAM KHẢO [1] Yu, Cheng, et al. "Speech enhancement based on denoising autoencoder with multi- Hình 3. Sai số từ (%) của của 4 mô hình với branched encoders." IEEE/ACM các bộ thử nghiệm khác nhau. Transactions on Audio, Speech, and Language Processing 28 (2020): 2756-2769. Ta có thể thấy rằng việc bổ sung dữ liệu [2] Povey, D., Hadian, H., Ghahremani, P., Li, băng hẹp (ipcc) làm giảm sai số đi đáng kể (3 K., & Khudanpur, S. (2018, April). A time- cột sau so với cột đầu tiên). Trong đó việc bổ restricted self-attention layer for ASR. In sung 310.000 câu băng hẹp làm giảm sai số 2018 IEEE International Conference on đi tương đối so với chỉ bổ sung 150.000 câu. Acoustics, Speech and Signal Processing Tuy nhiên nếu ta tiếp tục bổ sung dữ liệu (ICASSP) (pp. 5874-5878). IEEE. băng hẹp lên thành 460.000 câu thì sai số có [3] Povey, Daniel, et al. "The Kaldi speech giảm tuy nhiên mức độ nhỏ hơn. Điều này recognition toolkit." IEEE 2011 workshop on automatic speech recognition and cũng hợp lý bởi vì mô hình chính là băng understanding. No. CONF. IEEE Signal rộng và các tập thử nghiệm cũng là băng rộng Processing Society, 2011. chứ không phải băng hẹp nên dữ liệu băng hẹp được thêm vào dữ liệu huấn luyện mang 82

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.