zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Kỹ Thuật - Công Nghệ

» Kĩ thuật Viễn thông

Tổng hợp tiếng nói tiếng Việt dựa trên mạng CNN với tập dữ liệu hạn chế

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:6

Báo xấu

49
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết đề xuất một mô hình tổng hợp tiếng nói tiếng Việt dựa trên việc áp dụng phương pháp Transfer Learning vào mô hình Deep Convolution Neural Network để sinh ra tiếng nói mới dựa trên tập dữ liệu huấn luyện rất nhỏ. Mô hình của chúng tôi có thể tổng hợp giọng nói mới với lượng dữ liệu huấn luyện nhỏ hơn 45 lần so với khi dùng mô hình Tacotron 2.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tổng hợp tiếng nói tiếng Việt dựa trên mạng CNN với tập dữ liệu hạn chế

Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) Tổng hợp tiếng nói tiếng Việt dựa trên mạng CNN với tập dữ liệu hạn chế Lâm Quang Tường∗ , Nguyễn Tấn Đạt† , Lâm Khả Hân∗ , Đỗ Đức Hào∗ ∗ Công ty Cổ phần Công nghệ OLLI Technology † Trường Đại học Bách Khoa - Đại học Quốc Gia TP.HCM Thành phố Hồ Chí Minh, Việt Nam Email: {tuong, han, hao}@olli-ai.com dat.nguyen_bk@hcmut.edu.vn Tóm tắt nội dung—Bài báo đề xuất một mô hình tổng bản chứa nội dung của câu nói đó. Hay trong bài toán hợp tiếng nói tiếng Việt dựa trên việc áp dụng phương phân tích cảm xúc [2], tập dữ liệu cần có đánh giá của pháp Transfer Learning vào mô hình Deep Convolution khách hàng để phân tích cảm xúc của họ đối với từng Neural Network để sinh ra tiếng nói mới dựa trên tập dữ liệu huấn luyện rất nhỏ. Mô hình của chúng tôi có thể sản phẩm khác nhau,... Đối với các mô hình tổng hợp tổng hợp giọng nói mới với lượng dữ liệu huấn luyện nhỏ tiếng nói, việc xây dựng một tập dữ liệu bao gồm các hơn 45 lần so với khi dùng mô hình Tacotron 2. Mô hình cặp câu và thu âm giọng nói cũng hết sức quan trọng. của chúng tôi gồm hai giai đoạn: (1) Huấn luyện một mô Tập dữ liệu huấn luyện sẽ ảnh hưởng trực tiếp đến độ tự hình DC-TTS trên giọng nói ban đầu với nhiều dữ liệu; nhiên và độ thông minh của giọng nói sau khi được tổng (2) Áp dụng phương pháp Transfer Learning vào mô hình hợp. Tuy nhiên, việc thu thập và xử lý tập dữ liệu với đã được huấn luyện trước đó để sinh giọng mới với lượng nhiều giờ giọng nói thu âm cũng gặp nhiều khó khăn. ít dữ liệu thu âm. Sau quá trình huấn luyện chỉ với 320 câu nói (khoảng 1 giờ), mô hình sẽ có thể tạo ra giọng nói Ví dụ như việc nghe lại câu nói và đối chiếu với nội mới với chất lượng cao. Độ đo MOS trên giọng nói sinh dung để có thể loại bỏ các sai sót đến từ quá trình thu ra xấp xĩ với kết quả của mô hình Tacotron 2 nhưng chỉ âm. Vì vậy, chúng tôi đề xuất một ý tưởng xây dựng một với lượng dữ liệu huấn luyện nhỏ hơn rất nhiều. Điều này mô hình tổng hợp tiếng nói end-to-end dựa trên phương chứng tỏ rằng, phương pháp của chúng tôi có tính khả thi pháp học Transfer Learning [3]. cao để xây dựng một hệ thống tổng hợp tiếng nói tiếng Hướng tiếp cận bằng phương pháp Transfer Learning Việt trong trường hợp dữ liệu bị hạn chế. được sử dụng rất nhiều trong bài toán tái tạo giọng nói Index Terms—Tổng hợp tiếng nói Tiếng Việt, Speech Synthesis, Text to Speech, Transfer Learning mới cho hệ thống TTS. Cụ thể, trong nghiên cứu của Ye Jia và cộng sự, 2018 [4], tác giả đã xây dựng khối rút trích đặc trưng tiếng nói riêng rồi sau đó mới đưa I. GIỚI THIỆU vào huấn luyện mô hình TTS nhiều giọng đọc. Tương Xây dựng dữ liệu là vấn đề vô cùng quan trọng trong tự như thế, phương pháp Hierarchical Transfer Learning việc nghiên cứu những mô hình học máy và ứng dụng cũng được thực thi trên những mô hình Deep Neural chúng vào thực tiễn. Đó là cả một quá trình đòi hỏi phải Network (DNN) để giải quyết bài toán này cho những bỏ ra nhiều thời gian và chi phí thì mới có được một ngôn ngữ hạn chế về tài nguyên [5]. tập dữ liệu như ý muốn. Quá trình này bao gồm nhiều Mô hình chúng tôi đề xuất được xây dựng dựa trên mô giai đoạn có thể kể đến như: xác định rõ đầu vào và hình DC-TTS được nghiên cứu bởi Heyuki Tachibana đầu ra của bài toán, thiết kế công cụ và tiến hành thu và các cộng sự, 2018 [6]. Đây là một mô hình tổng thập dữ liệu, tiền xử lý dữ liệu, chuẩn hóa dữ liệu, sử hợp tiếng nói toàn bộ chỉ dựa trên Convolution Neural dụng các phương pháp phân tích thống kê để hiểu rõ về Network (CNN) và không sử dụng mạng thần kinh hồi tập dữ liệu. Kết quả đạt được sau cùng là một tập dữ quy (RNN) như trong nhiều nghiên cứu nổi tiếng khác liệu vàng phục vụ cho việc huấn luyện và đánh giá mô (Tacotron 2, Deep Voice 3,...). Mục đích của mô hình hình. Tùy vào mỗi bài toán cụ thể mà chúng ta sẽ có này là cải thiện những hạn chế về mặt tốc độ của mạng những dạng dữ liệu và phương pháp xử lý khác nhau. RNN, trong khi đó vẫn duy trì chất lượng giọng nói đầu Chẳng hạn như trong vấn đề nhận dạng giọng nói tự ra giống như giọng nói thực và có khả năng hoạt động động (ASR) [1], tập dữ liệu đòi hỏi các câu nói và văn trên các hệ thống máy tính song song. Tuy nhiên, mô ISBN 978-604-80-5958-3 187
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) hình này chỉ có thể tổng hợp giọng nói của từng người và Decoder. Điểm khác biệt quan trọng ở đây chính là cả ứng với mỗi tập dữ liệu khác biệt mà không thể tận hai bước Encoder và Decoder của mô hình đều sử dụng dụng lại được mô hình đã được huấn luyện trước đó để các lớp mạng CNN thay vì mạng RNN để rút trích đặc sinh ra giọng nói mới. Do đó, từ ý tưởng sử dụng những trưng của dữ liệu dạng chuỗi. Đầu tiên, bước Encoder điểm mạnh của mô hình DC-TTS mang lại và khắc phục nhận đầu vào là một chuỗi các âm vị tiếng Việt tại khối những hạn chế của nó, chúng tôi đã xây dựng nên mô TextEncoder và mel spectrogram tại khối AudioEncoder hình Transfer Learning DC-TTS sử dụng chính mô hình để rút trích các đặc trưng từ văn bản và mel spectrogram. được huấn luyện trước đó để tổng hợp tiếng nói tiếng Bước Encoder này sẽ tạo ra bộ ba thông số query(Q), Việt bằng một tập dữ liệu rất nhỏ (chỉ khoảng 320 câu key(K), value(V ) cho cơ chế Attention. nói cho một giọng nói mới). II. CÁC NGHIÊN CỨU LIÊN QUAN (K, V ) = T extEncoder(L) Đã có nhiều nghiên cứu khác nhau để tìm ra các giải Q = AudioEncoder(S) pháp giải quyết cho từng công việc trong bài toán TTS. Ở đây, chúng tôi sẽ giới thiệu một số nghiên cứu chính trong đó, L là văn bản đầu vào, S là mel-spectrogram liên quan đến bài toán chúng tôi mà chúng tôi đang giải trích xuất được từ đoạn âm thanh. quyết. Đầu ra của Encoder (K, V, Q) được kết hợp với nhau Mô hình Tacotron 2 [7] là một mô hình được đề xuất bằng cơ chế Scaled Dot-Product Attention để tạo ra véc- bởi Shen và cộng sự vào năm 2017. Mô hình Deep Voice tơ ngữ cảnh R. Vai trò của Attention trong mô hình này 3 [8] được nghiên cứu bởi Ping và cộng sự vào năm rất quan trọng, nó có nhiệm vụ so khớp, căn chỉnh từng 2018. Cả hai mô hình này đều được xây dựng trên kiến kí tự đầu vào với các đoạn mel spectrogram tương ứng. trúc Sequence-to-Sequence với cơ chế Attention để mã hóa chuỗi ký tự từ văn bản đầu vào và sinh ra mel spectrogram. Ngoài việc có thể tạo ra tiếng nói từ một KT Q R = Attention(Q, K, V ) = V sof tmax( √ ) người, những mô hình này còn có thể giải quyết được d bài toán tái tạo giọng nói của nhiều người bằng cách nhúng thêm véc-tơ nhãn (speaker id). Tuy nhiên, vấn đề Sau đó, véc-tơ ngữ cảnh R được ghép với véc- được đặt ra là mô hình làm sao có khả năng sinh ra tơ mã hoá được từ mel-spectrogram Q tạo ra véc- giọng nói của một người hoàn toàn không có trong tập tơ R0 = [R, Q] được dùng làm đầu vào cho bước nhãn đó với dữ liệu hạn chế. AudioDecoder. Phương pháp học Semi-Supervised [9] được sử dụng để huấn luyện một mô hình TTS với nhiều giọng đọc. Y = AudioDecoder(R0 ) Mô hình này dựa trên kiến trúc AutoEncoder để mã hóa các đặc trưng của giọng nói sang một không gian ẩn Ở bước Decoder, AudioDecoder cũng là một khối thông qua khối Encoder. Sau đó, đặc trưng ngôn ngữ bao gồm nhiều lớp CNN làm nhiệm vụ sinh ra mel rút trích từ chuỗi âm vị chứa nội dung của câu nói sẽ spectrogram dựa trên véc-tơ R0 . được thêm vào tại bước Decoder để tái tạo lại câu nói Hàm mất mát Lspec (Y |S) là tổng của hàm mất mát đó. Quá trình học Semi-Supervised sử dụng một phần L1 của Y so với S và một hàm binary divergence dữ liệu của giọng nói khác mà không được gán nhãn Dbin (Y |X). Dbin (Y |X) thể hiện độ tương quan giữa bằng nội dung câu nói đó. Tuy nhiên, việc mã hóa tất 2 phân phối Y và S. Bên cạnh đó, để giúp giảm bớt cả các đặc trưng ngữ âm của giọng nói vào một véc-tơ sự khó khăn trong việc huấn luyện mô hình, các tác giả ẩn là một vấn đề khó khăn. Vì vậy, hiện tại hướng đi cũng sử dụng phương pháp Guided Attention để làm cho này vẫn còn đang được tiếp tục nghiên cứu và cải thiện ma trận Attention A ∈ RN ×T luôn luôn tiến tới. về mặt chất lượng tiếng nói sinh ra. Sau khi sinh ra được mel spectrogram ở giai đoạn Text2Mel, mô hình tiến hành tạo ra spectrogram từ mel- III. PHƯƠNG PHÁP spectrogram bằng một khối các lớp CNN khác. Giai A. Mô hình Deep Convolution TTS đoạn này có tên là Spectrogram Super-Resolution Net- Mô hình DC-TTS [6] bao gồm hai giai đoạn chính work (SSRN). SSRN bao gồm nhiều lớp Convolution- là Text2Mel và Spectrogram Super-resolution Network. 1D để upsampling mel-spectrogram đầu vào thành spec- Giai đoạn Text2Mel là một kiến trúc Sequene-to- trogram mong muốn. Đầu ra của giai đoạn này được tổng Sequence với cơ chế Attention bao gồm 2 bước Encoder hợp thành giọng nói bằng thuật toán Griffin-Lim. ISBN 978-604-80-5958-3 188
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) Hình 1. Các lớp Convolution của mô hình DC-TTS được áp dụng phương pháp Transfer Learning B. Mô hình Transfer Learning DC-TTS quả phân lớp. Trong nghiên cứu của Fariba Takarli và cộng sự, 2014 [11] tác giả đã tìm cách để gom các đặc Mô hình chúng tôi đề xuất chỉ sử dụng một giọng duy trưng bậc cao từ các đặc trưng bậc thấp của dữ liệu nhất để huấn luyện. Việc sinh ra giọng nói mới là từ việc ảnh bằng các đặc trưng HOG, CNN and Haar. Điều huấn luyện lại các lớp mạng chịu trách nhiệm rút trích này chứng minh rằng, trong một mạng Deep CNN, các các đặc trưng cấp cao (high level features) từ mô hình lớp convolution đầu tiên rút trích những đặc trưng đơn chuyển đổi với tập dữ liệu nhỏ hơn (320 câu nói). Đặc giản bên ngoài của dữ liệu rồi sau đó dựa trên các đặc điểm quan trọng giúp cho mô hình Transfer Learning trưng đã rút trích, mô hình mới có thể tiếp tục rút trích DC-TTS có thể chuyển đổi giọng nói đó chính là các đặc trưng mức cao hơn. Từ đó, ta có thể liên hệ qua bước TextEncoder, AudioEncoder, Decoder, và SRNN mô hình DC-TTS, các lớp CNN cuối cùng chính là các đều là các lớp mạng Highway Net + CNN (HC) đa tầng convolution có chức năng rút trích các đặc trưng ẩn có khả năng rút trích đặc trưng bậc cao từ tiếng nói. sâu bên trong mel-spectrogram đó như là thanh điệu, Các high level features có thể thay đổi giọng đọc nằm cao độ, âm sắc... Đồng thời, các Highway Network có ở các lớp HC và Convolution cuối cùng của mô hình DC- nhiệm vụ giúp mô hình không bị hiện tượng exploding TTS. Trong một mô hình Deep Convolution như thế, mỗi và vanishing gradients cũng như xác định được đặc trưng lớp convolution có nhiệm vụ rút trích một đặc trưng khác quan trọng tại các lớp CNN. nhau để tạo ra các feature maps và chúng phụ thuộc vào vùng nhạy cảm cục bộ (Local receptive field) của tầng Từ đó, trong mô hình Transfer Learning DC-TTS kế trước. Càng về sau, các lớp convolution này càng mở chúng tôi tiến hành khởi tạo lại các trọng số ở các lớp rộng vùng này. Nhờ đó, cấu trúc giữa các đặc trưng cấp CNN cuối cùng của Encoder, Decoder và SSRN. Cụ thể cao trong những vùng rộng hơn sẽ được xem xét [10]. Vì hơn, chúng tôi đã huấn luyện mô hình Transfer Learning vậy, ở các lớp convolution càng sâu thì đặc trưng được DC-TTS với 5 lớp Highway Net + Convolution (HC) rút trích sẽ càng nhiều và hơn nữa là các đặc trưng cuối của TextEncoder, 4 lớp HC cuối của AudioEncoder, bậc cao thể hiện quan hệ giữa các đặc trưng với nhau. 1 lớp HC và 4 lớp CNN cuối của bước AudioDecoder, và Vì lẽ đó, các nhà nghiên cứu cố gắng tìm ra các cách 4 lớp Convolution 1D cuối cùng của SSRN. Phần trọng thức để gia tăng số lớp của các mạng Deep Convolution số còn lại được giữ nguyên từ lần huấn luyện trước trên như Batch Normalization, Highway Network, Residual tập dữ liệuset ban đầu. Sau đó, chúng tôi huấn luyện lại Network,... và chúng đã giúp cho các mô hình như VGG, mô hình với tập dữ liệu mới nhỏ hơn để thu được một ALexnet, Resnet,... nâng cao độ chính xác và độ hiệu hình có khả năng tổng hợp giọng nói mới. Các lớp cuối ISBN 978-604-80-5958-3 189
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) cùng của Decoder và SRNN đều có sự góp mặt của đặc Sau đó, chúng tôi sử dụng lại mô hình đã được huấn trưng âm thanh nên bắt buộc chúng tôi phải huấn luyện luyện trước này để huấn luyện với một tập dữ liệu khác lại trong mô hình Transfer Learning. Tuy nhiên, trong bao gồm 1 giờ thu âm giọng nữ thuộc phương ngữ miền quá trình huấn luyện mô hình Sequence-to-Sequence thì Bắc Việt Nam. Dựa trên kết quả đạt được, chúng tôi thấy các kí tự đầu vào sẽ bị tác động bởi các đặc trưng ngữ rằng mô hình DC-TTS được huận luyện này có khả năng âm do quá trình lan truyền ngược nên chúng tôi vẫn tạo ra tiếng nói mới với một tập dữ liệu nhỏ hơn. Và phải thay đổi các trọng số ở các lớp CNN cuối cùng đối với một ngôn ngữ không có nhiều tài nguyên như của Encoder. tiếng Việt thì mô hình của chúng tôi là một lựa chọn Quá trình huấn luyện của mô hình Transfer Learning hoàn hảo để xây dựng hệ thống TTS. DC-TTS để chuyển mô hình của giọng cũ sang giọng IV. THỰC NGHIỆM nói mới được thực hiện cụ thể như sau. Thứ nhất, mô hình DC-TTS được huấn luyện với văn bản và giọng nói A. Làm sạch dữ liệu và huấn luyện mô hình của một tập dữ liệu một người nói ban đầu. Ở đây, mô Để huấn luyện mô hình, trước tiên chúng tôi tiến hành hình được huấn luyện xong phải đảm bảo tạo ra được xử lý tập dữ liệu huấn luyện. Bước đầu tiên, chúng tôi tiếng nói với chất lượng đạt được mức yêu cầu. Kết quả giảm tần số lấy mẫu của dữ liệu thu âm từ 48000 kHz của mô hình này sẽ tạo ra các trọng số có thể chuyển xuống còn 22050 kHz và chuyển về dạng đơn kênh trên đổi sang mô hình khác. Sau đó, mô hình đã được huấn cả hai tập dữ liệu OLLI-SPEECH-1.6 [12] và OLLI- luyện này sẽ được huấn luyện lại với một tập dữ liệu SPEECH-NORTHERN. Đối với dữ liệu văn bản, chúng mới có kích thước nhỏ hơn rất nhiều. Tuy nhiên, có một tôi tiến hành xây dựng một công cụ chuẩn hóa văn bản thay đổi quan trọng đặc trưng cho phương pháp Transfer để làm sạch và đảm bảo cho nội dung phải đúng với Learning, đó là mô hình sẽ giữ lại trọng số của một vài giọng nói thu âm. Ngoài ra, chúng tôi còn dùng bộ công lớp CNN từ mô hình đã được huấn luyện trước đó và cụ Vietnamese Grapheme-to-Phoneme được nghiên cứu huấn luyện các lớp CNN còn lại bằng dữ liệu giọng nói bởi Lam và cộng sự, 2019 [12] để chuyển đổi câu tiếng của người nói mới. Đây là chìa khóa để mô hình của Việt thành một chuỗi các âm vị. Đồng thời, chúng tôi chúng tôi có thể thay đổi giọng nói. xây dựng một công cụ để tiền xử lý văn bản đầu vào nhằm mục đích làm sạch và xử lý các nhập nhằng từ C. Tổng hợp giọng nói mới với tập dữ liệu hạn chế văn bản để giúp cho việc huấn luyện tốt hơn. Phần tiền Mô hình DC-TTS không chỉ có thể tạo ra giọng nói xử lý văn bản: bao gồm một tập các luật để chuyển đổi mới mà còn có thể sử dụng để huấn luyện với tập dữ các từ viết tắt, các định dạng ngày tháng năm, chuyển liệu nhỏ hơn nhiều. Trong nghiên cứu này, chúng tôi tái đổi số về chữ, các đơn vị tính toán,... Xử lý các nhập sử dụng một mô hình DC-TTS được huấn luyện trước nhằng trong văn bản để đọc được các kí hiệu đó một của một giọng nói và huấn luyện lại với tập dữ liệu mới cách hợp lý nhất. của một giọng nói mới với kích thước nhỏ hơn 45 lần. Cuối cùng, chúng tôi tiến hành huấn luyện mô hình Tập dữ liệu mới này bao gồm 320 câu nói tương đương DC-TTS trên tập dữ liệu OLLI-SPEECH-1.6 để tạo ra với khoảng 1 giờ thu âm. bộ thông số tối ưu nhất. Sau đó, chúng tôi tiến hành Dựa trên các khả năng của phương pháp Transfer quá trình Transfer Learning trên chính mô hình và bộ Learning dựa trên mô hình được huấn luyện trước đó, thông số đó với 320 câu nói (tương ứng với 1 giờ thu mô hình của chúng tôi có thể tái sử dụng các trọng số âm) lấy ngẫu nhiên từ tập OLLI-SPEECH-NORTHERN. đã được huấn luyện trên mô hình trước đó để thu nhỏ Các thông số của mô hình huấn luyện được thiết lập tập dữ liệu huấn luyện cho giọng mới. Và khi đó mô như sau: batch size 32, Adam Optimizer với các thông hình Transfer chỉ có nhiệm vụ là cập nhật lại các trọng số β1 = 0.9, β2 = 0.999, = 10−6 , learning rate được số có khả năng làm thay đổi giọng nói như đã mô tả thiết lập ở 10−3 giảm đến 10−5 . Toàn bộ cả hai mô hình trong phần III-B. Đó là lý do tại sao mô hình của chúng đều được huấn luyện trên 2 GPU GTX 1080 Ti với tổng tôi không cần nhiều dữ liệu để huấn luyện như mô hình thời gian là một tuần. huấn luyện ban đầu. Cụ thể, để huấn luyện mô hình, chúng tôi sử dụng B. Đánh giá chất lượng mô hình hai tập dữ liệu được thu âm từ hai giọng nói khác Để đánh gía chất lượng của giọng nói được sinh nhau là OLLI-SPEECH-1.6 [12] và OLLI-SPEECH- ra, chúng tôi sử dụng độ đo Mean Opinion Score NORTHERN. Đầu tiên, chúng tôi huấn luyện mô hình (MOS) [13] trên 100 câu nói sinh ra được từ mô hình và DC-TTS bằng tập dữ liệu bao gồm 50 giờ thu âm của dữ liệu thu âm. Đây là một độ đo dựa trên cảm tính và một giọng nữ thuộc phương ngữ miền Nam Việt Nam. nhận xét từ nhiều người để xác định chất lượng giọng ISBN 978-604-80-5958-3 190
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) Hình 2. Sự ảnh hưởng của tập dữ liệu đến điểm MOS đạt được từ mô hình Transfer Learning DC-TTS nói sinh ra. Cụ thể, chúng tôi đã dựa trên đánh giá của với chất giọng mới hoàn toàn. 110 người. Họ nghe và cho các điểm số từ 1 đến 5 cho Bên cạnh đó, để xác định lượng câu nói cần có để từng câu nói để tính ra điểm số cuối cùng của mô hình. huấn luyện được một mô hình đảm bảo về chất lượng Để đánh giá mô hình DC-TTS Transfer Learning (DC- âm thanh, chúng tôi tiếp tục thực hiện một khảo sát TTS+TF) trên tập dữ liệu chỉ có 1 giờ thu âm gặp nhiều thứ hai. Chúng tôi tiến hành huấn luyện các mô hình khó khăn do hoàn toàn không có một mô hình nào khác Transfer Learning TTS trên tập dữ liệu OLLI-SPEECH- có thể sinh ra tiếng nói với dữ liệu huấn luyện ít như thế. NORTHERN với số lượng câu nói khác nhau. Kích Do đó chúng tôi chỉ có thể so sánh chất lượng tiếng nói thước tập dữ liệu huấn luyện được tăng dần từ 10 đến thật, mô hình Tacotron 2 và mô hình DC-TTS được huấn 500 câu nói. Mục đích chúng tôi thực hiện khảo sát này luyện trên tập dữ liệu OLLI-SPEECH-NORTHERN. là để biết được cần sử dụng dữ liệu có kích thước bao Bảng I nhiêu là vừa đủ để đưa vào sử dụng trong sản phẩm mà KẾT QUẢ ĐỘ ĐO MOS CỦA CÁC MÔ HÌNH vẫn đảm bảo chất lượng giọng nói sinh ra. Hình 2 cho thấy rằng nếu kích thước của tập dữ liệu Voice Dữ liệu huấn luyện (giờ) MOS Ground truth _ 4.28 ± 0.51 huấn luyện càng lớn, thì kết quả MOS của mô hình Tacotron 2 45 3.52 ± 0.56 Transfer Learning DC-TTS càng tốt hơn. Đường cong DC-TTS 45 3.50 ± 0.55 thể hiện điểm số MOS sẽ đạt đến một giới hạn nhất DC-TTS + TF 1 3.49 ± 0.58 định khi kích thước của tập dữ liệu huấn luyện tăng lên. Điều này cho thấy xu hướng rằng khi tập dữ liệu huấn Điểm số MOS ở bảng I cho thấy mô hình DC-TTS+TF luyện tăng đến một kích thước nhất định, độ đo MOS sẽ có thể sinh ra giọng mới với rất ít dữ liệu huấn luyện không còn tăng nữa. Từ đó có thể đưa ra phương hướng nhưng vẫn mang lại kết quả xấp xỉ so với mô hình để xác định kích thước tập dữ liệu vừa đủ để xây dựng Tacotron 2 và mô hình gốc ban đầu. Điều đó chứng hệ thống TTS phù hợp với chi phí thu thập dữ liệu. tỏ giọng nói sinh ra vẫn được người đánh giá hiểu rõ về Thêm vào đó, mặc dù kích thước của tập dữ liệu huấn mặt nội dung và có thiện cảm hơn về độ tự nhiên của luyện là rất nhỏ nhưng khi mô hình được huấn luyện với tiếng nói. Tuy nhiên, khi xét về tập dữ liệu huấn luyện phương pháp Transfer Learning, độ đo MOS vẫn có đạt thì rõ ràng mô hình của chúng tôi sử dụng ít dữ liệu hơn đến ngưỡng có thể sử dụng trọng thương mại. Ngưỡng rất nhiều so với Tacotron 2. Điều này mang lại nhiều thương mại ở đây được xác định bằng cách sử dụng độ lợi ích thiết thực cho việc xây dựng một hệ thống TTS đo MOS trên giọng nói sinh ra của một hệ thống TTS ISBN 978-604-80-5958-3 191
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) tiếng Việt đang được sử dụng rộng rãi. Biểu đồ trên cho [2] C. Raffel, N. Shazeer, A. Roberts, K. Lee, S. Narang, thấy chỉ cần kích thước dữ liệu nằm trong khoảng từ M. Matena, Y. Zhou, W. Li, and P. J. Liu, “Exploring the limits of transfer learning with a unified text-to-text 300 đến 500 câu nói, mô hình có thể tạo ra tiếng nói transformer,” CoRR, vol. abs/1910.10683, 2019. [Online]. đáp ứng nhu cầu của người dùng. Điều này chứng tỏ mô Available: http://arxiv.org/abs/1910.10683 hình huấn luyện hoàn toàn có thể được sử dụng trong [3] C. Tan, F. Sun, T. Kong, W. Zhang, C. Yang, and C. Liu, “A survey on deep transfer learning,” CoRR, vol. abs/1808.01974, thương mại Đây là một lợi thế lớn so với hầu hết các 2018. [Online]. Available: http://arxiv.org/abs/1808.01974 mô hình học sâu khác, vốn yêu cầu một lượng lớn tập [4] Y. Jia, Y. Zhang, R. J. Weiss, Q. Wang, J. Shen, F. Ren, dữ liệu để huấn luyện mô hình. Z. Chen, P. Nguyen, R. Pang, I. Lopez-Moreno, and Y. Wu, “Transfer learning from speaker verification to multispeaker V. KẾT LUẬN text-to-speech synthesis,” CoRR, vol. abs/1806.04558, 2018. [Online]. Available: http://arxiv.org/abs/1806.04558 Trong bài báo này, chúng tôi đã trình bày về mô hình [5] K. Azizah, M. Adriani, and W. Jatmiko, “Hierarchical transfer Transfer Learning DC-TTS để tổng hợp tiếng nói tiếng learning for multilingual, multi-speaker, and style transfer dnn- Việt với rất ít dữ liệu huấn luyện. Mô hình của chúng based tts on low-resource languages,” IEEE Access, vol. 8, pp. 179 798–179 812, 2020. tôi có thể tổng hợp một giọng nói mới chỉ với khoảng [6] H. Tachibana, K. Uenoyama, and S. Aihara, “Efficiently 1 giờ thu âm. Các phương pháp đánh giá đã cho thấy trainable text-to-speech system based on deep convolutional networks with guided attention,” CoRR, vol. abs/1710.08969, giọng nói được tổng hợp vẫn giữ được chất lượng tốt. 2017. [Online]. Available: http://arxiv.org/abs/1710.08969 Tuy nhiên, mô hình của chúng tôi vẫn còn một số vấn [7] J. Shen, R. Pang, R. J. Weiss, M. Schuster, N. Jaitly, Z. Yang, đề cần giải quyết như quá trình sinh tiếng nói và làm Z. Chen, Y. Zhang, Y. Wang, R. J. Skerry-Ryan, R. A. Saurous, Y. Agiomyrgiannakis, and Y. Wu, “Natural TTS synthesis by sao để giữ được các tính chất ngữ âm của giọng khi gặp conditioning wavenet on mel spectrogram predictions,” CoRR, phải một câu dài hoặc cả một đoạn văn. vol. abs/1712.05884, 2017. [8] W. Ping, K. Peng, A. Gibiansky, S. O. ¨ Arik, A. Kannan, LỜI CẢM ƠN S. Narang, J. Raiman, and J. Miller, “Deep voice 3: 2000- Chúng tôi xin cảm ơn Công ty Cổ phần Công speaker neural text-to-speech,” CoRR, vol. abs/1710.07654, 2017. [Online]. Available: http://arxiv.org/abs/1710.07654 nghệ OLLI Technology JSC đã xây dựng hai tập dữ [9] T. Tu, Y.-J. Chen, A. H. Liu, and H. yi Lee, “Semi-supervised liệu OLLI-SPEECH-1.6 và OLLI-SPEEH-NORTHERN learning for multi-speaker text-to-speech synthesis using discrete được dùng để huấn luyện mô hình của chúng tôi. Đặc speech representation,” 2020. [10] P. Razzaghi, K. Abbasi, and P. Bayat, “Learning biệt, chúng tôi xin chân thành cảm ơn công ty đã cũng spatial hierarchies of high-level features in deep neural cấp tất cả nguồn lực máy tính và sự hỗ trợ về con người network,” Journal of Visual Communication and Image trong công việc thu âm và làm sạch dữ liệu. Điều này Representation, vol. 70, p. 102817, 2020. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S1047320320300675 giúp ích rất lớn cho nghiên cứu của chúng tôi. [11] F. Takarli, A. Aghagolzadeh, and H. Seyedarabi, “Combination TÀI LIỆU of high-level features with low-level features for detection of pedestrian,” Signal, Image and Video Processing, vol. 10, pp. [1] D. Amodei, R. Anubhai, E. Battenberg, C. Case, J. Casper, 93–101, 2016. B. Catanzaro, J. Chen, M. Chrzanowski, A. Coates, G. Diamos, [12] Q. T. Lam, D. H. Do, T. H. Vo, and D. D. Nguyen, “Alternative E. Elsen, J. H. Engel, L. Fan, C. Fougner, T. Han, A. Y. Hannun, vietnamese speech synthesis system with phoneme structure,” B. Jun, P. LeGresley, L. Lin, S. Narang, A. Y. Ng, S. Ozair, in 2019 19th International Symposium on Communications and R. Prenger, J. Raiman, S. Satheesh, D. Seetapun, S. Sengupta, Information Technologies (ISCIT), 2019, pp. 64–69. Y. Wang, Z. Wang, C. Wang, B. Xiao, D. Yogatama, J. Zhan, [13] R. C. Streijl, S. Winkler, and D. Hands, “Mean opinion score and Z. Zhu, “Deep speech 2: End-to-end speech recognition (mos) revisited: methods and applications, limitations and alter- in english and mandarin,” CoRR, vol. abs/1512.02595, 2015. natives,” Multimedia Systems, vol. 22, pp. 213–227, 03 2016. [Online]. Available: http://arxiv.org/abs/1512.02595 ISBN 978-604-80-5958-3 192

CÓ THỂ BẠN MUỐN DOWNLOAD

LV.15: Bộ Đồ Án Tốt Nghiệp Chuyên Ngành Cơ Khí

65 tài liệu

2431 lượt tải

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.