Nghiên cứu phương pháp nhận dạng phân biệt tiếng nói với âm nhạc

Chia sẻ: Thi Thi | Ngày: | Loại File: PDF | Số trang:7

Thêm vào BST

Báo xấu

67
lượt xem 4
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Trong bài báo này mục đích nghiên cứu ban đầu của chúng tôi chủ yếu là nhận dạng phân biệt hai loại âm thanh: tiếng nói và âm nhạc với kết quả thu được có độ chính xác khá cao, với tiếng nói có độ chính xác xấp xỉ 84%, âm nhạc là 92%. Trong tương lai chúng tôi mong muốn phát triển hệ thống có khả năng nhận dạng phân biệt nhiều lớp âm thanh hơn.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Nghiên cứu phương pháp nhận dạng phân biệt tiếng nói với âm nhạc

Đỗ Thị Loan và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 112(12)/2: 89 - 95 NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DẠNG PHÂN BIỆT TIẾNG NÓI VỚI ÂM NHẠC Đỗ Thị Loan, Lưu Thị Liễu, Nguyễn Thị Hiền Trường Đại học Công nghệ thông tin và Truyền thông – ĐH Thái Nguyên TÓM TẮT Tự động nhận dạng phân biệt tiếng nói với âm nhạc là công cụ quan trọng trong nhiều ứng dụng đa phương tiện. Để nhận dạng phân biệt tiếng nói với âm nhạc, chúng tôi đã sử dụng ba đặc trưng: tần suất vượt điểm không cao (HZCRR), tỷ lệ khung có năng lượng ngắn hạn thấp (LSTER), độ biến thiên phổ (SF) và thuật toán sử dụng để huấn luyện cũng như nhận dạng là K-NN (K Nearest Neighbor). Dữ liệu là các đoạn nhạc gồm nhiều thể loại từ nhạc không lời tới nhạc có lời (nhạc Việt Nam, nhạc Rock, nhạc Pop, Đồng quê), các đoạn tiếng nói của giọng nam và nữ bằng tiếng Việt. Trong bài báo này mục đích nghiên cứu ban đầu của chúng tôi chủ yếu là nhận dạng phân biệt hai loại âm thanh: tiếng nói và âm nhạc với kết quả thu được có độ chính xác khá cao, với tiếng nói có độ chính xác xấp xỉ 84%, âm nhạc là 92%. Trong tương lai chúng tôi mong muốn phát triển hệ thống có khả năng nhận dạng phân biệt nhiều lớp âm thanh hơn. Từ khóa: Phân biệt, tiếng nói, âm nhạc, nhạc Việt Nam, tiếng Việt. GIỚI THIỆU* Nhận dạng phân biệt tiếng nói với âm nhạc là một phần trong hệ thống phân loại âm thanh ASC (Audio Signal Classifier) [1] hay trong hệ thống nhận dạng các khung cảnh âm thanh CASR (Computeral Audio Scence Recognizer) [2], nhận dạng các chương trình trên ti vi [3], [4], hay hệ thống phiên dịch nốt nhạc AMTS [5]. Để xây dựng một hệ thống hoàn chỉnh thì rất khó khăn vì âm thanh rất phong phú, đa dạng và mỗi loại có những đặc trưng riêng, sự kết hợp giữa chúng tạo nên vô vàn các dạng âm thanh khác nhau, điều này ảnh hưởng lớn đến việc phân loại các khung cảnh âm thanh. Hầu hết các nghiên cứu nhận dạng phân biệt các lớp âm thanh đều căn cứ theo từng trường hợp mà bạn đưa về số lớp, và một vài điều kiện ràng buộc khác. Chẳng hạn phân loại âm thanh thành bốn lớp: âm nhạc, tiếng nói, nhiễu, khoảng lặng [4], [6] hoặc chỉ phân thành tiếng nói và âm nhạc không thôi [3], [7]. SỰ KHÁC NHAU GIỮA TIẾNG NÓI VÀ ÂM NHẠC Các tín hiệu âm thanh là một tín hiệu có ý nghĩa trong khoảng thời gian ngắn. Khi kiểm * tra tín hiệu âm thanh trong khoảng thời gian đủ ngắn (giữa 5 và 100msec), ta có thể nhận thấy đặc điểm của nó là khá cụ thể. Tuy nhiên trong thời gian dài, các đặc tính của tín hiệu thay đổi để phản ánh đặc điểm của chuỗi tín hiệu như một bài phát biểu hay một đoạn nhạc. Trong phần này, chúng tôi đưa ra một số nhận định về sự khác biệt giữa tiếng nói và âm nhạc như sau: - Thanh điệu: Giai điệu có ý nghĩa sự biểu thị của dạng sóng âm thanh. Âm nhạc có xu hướng được tạo ra từ sự đa dạng của các tần số. Còn tiếng nói có giai điệu từ chính sắc điệu và giọng nói của người nói. - Chuỗi thay thế: Tiếng nói cho ta một chuỗi các tiếng ồn, khoảng lặng xem kẽ từng đoạn trong khi âm nhạc không có. Nói cách khác, lời nói có tín hiệu phân phối thông qua quang phổ ngẫu nhiên hơn so với âm nhạc. - Băng thông: Tiếng nói thường có 90% năng lượng tập trung ở tần số thấp hơn 4kHz (và hạn chế đến 8kHz), trong khi âm nhạc có thể mở rộng thông qua các giới hạn trên khoảng 20kHz. - Phân phối: Năng lượng của tiếng nói thường tập trung ở tần số thấp sau đó giảm rất nhanh trong các miền tần số cao hơn. Còn tín hiệu âm nhạc thì trải đều hơn. Tel: 0972998865; Email:dtloan@ictu.edu.vn 89 Đỗ Thị Loan và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ - Tần số cơ bản: với tiếng nói cụ thể, ta có thể xác định được tần số cơ bản nhưng với âm nhạc thì không. - Khoảng âm điệu: Thời hạn của nguyên âm trong tiếng nói là rất thường xuyên. Âm nhạc thể hiện một biến thể rộng lớn hơn chiều dài của giai điệu, không được hạn chế do quá trình phát âm nhạc. - Năng lượng ngắn hạn: Năng lượng của tín hiệu tiếng nói có sự biến thiên nhiều hơn so với tín hiệu âm nhạc. - Tỷ lệ vượt điểm không: Tùy thuộc vào tín hiệu âm nhạc và tiếng nói nhưng thông thường tỷ lệ vượt điểm không của tín hiệu tiếng nói sẽ lớn hơn tín hiệu âm nhạc. LỰA CHỌN ĐẶC TRƯNG VÀ PHƯƠNG PHÁP NHẬN DẠNG PHÂN BIỆT TIẾNG NÓI VỚI ÂM NHẠC Cho tới nay có khá nhiều đặc tính của tín hiệu âm thanh để nhận dạng, phân biệt tiếng nói và âm nhạc hay các hệ thống nhận dạng phân loại khác nhau. Mỗi nghiên cứu đều đưa ra một số lượng các đặc tính của tín hiệu âm thanh và phương thức sử dụng để phân loại. Các đặc tính của tín hiệu âm thanh thường được chia làm hai loại chính là: các đặc tính vật lý và các đặc tính cảm thụ âm thanh của con người. Đặc tính vật lý là các đặc tính đặc trưng trong miền tần số và đặc trưng trong miền thời gian như: biên độ, tần số vượt điểm không ZCR, năng lượng ngắn hạn, hệ số phổ MFCC, cặp phổ tuyến tính LSP (Linear Spectrum Pair) [6], độ biến thiên phổ SF. Đặc tính về cảm thụ âm thanh của con người là các đặc tính được con người cảm nhận như nhịp điệu, độ cao của âm (Pitch), độ ngân, âm sắc,…. Cũng như nhiều nghiên cứu trước đây, để nhận dạng phân biệt tiếng nói với âm nhạc nói riêng hay nhận dạng phân biệt các lớp âm thanh khác nói chung hầu như chỉ sử dụng các đặc trưng vật lý là đủ. Bởi vậy trong bài báo này, chúng tôi cũng chỉ dùng các đặc trưng liên quan tới miền tần số và miền thời gian (đặc trưng vật lý). Dựa trên các phân tích, đánh giá về đặc điểm của tín hiệu âm thanh, giữa âm nhạc và tiếng nói về đặc điểm âm học, dải tần, đặc điểm về 90 112(12)/2: 89 - 95 phân bố năng lượng, chúng tôi đã lựa chọn ba đặc trưng: Tỷ lệ tần suất vượt qua điểm không cao HZCRR (Hight Zero Crossing Rate Ratio), tỷ lệ khung có năng lượng ngắn hạn thấp LSTER (Low Short Time Energy Ratio) và độ biến thiên phổ SF (Spectrum Flux). Còn phương pháp nhận dạng phân biệt chúng tôi sử dụng là thuật toán K láng giêng gần nhất K-NN (K Nearest Neighbor) [8]. Lựa chọn đặc trưng Đặc trưng tần suất vượt qua điểm không cao - HZCRR Hình 1: Biểu đồ tần suất vượt điểm không của tín hiệu âm thanh Công thức của HZCRR như sau: HZCRR = N −1 1 2N ∑ [ sign (ZCRn – THL) +1 n=0 Trong đó: - n là thứ tự của cửa sổ trích chọn đặc trưng - N là độ rộng của cửa sổ trích chọn đặc trưng - ZCR là tần suất vượt điểm không trong khoảng ngắn theo công thức : ZCRk = 1 2F k ∑ [ sign ( x m = k − F +1 m ) − sign ( x m − 1 )] F: độ dài khoảng ngắn - thường là 1 frame - THL là tần suất vượt điểm không trung bình trong cửa sổ theo công thức: THL = 1 N N −1 ∑ [ ZCR n=0 n ] Đặc trưng năng lượng ngắn hạn của tín hiệu - LSTER Công thức tính LSTER như sau: LSTER = 1 2N N −1 ∑ [ sign ( THL n=0 − STE n ) + 1] Đỗ Thị Loan và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ Trong đó: - STE là năng lượng trong khoảng ngắn (trong 1 frame) theo công thức: k ( x 2 .w 2 ) ∑ k m k −m m = k − F +1 W là cửa sổ (có thể là chữ nhật hoặc hamming) - THL là năng lượng trung bình theo công thức: STE = THL = 1 2N N −1 ∑ [ STE ] n =0 n Đặc trưng độ biến thiên phổ - SF Trong đó: - K là bậc của phổ DFT. - δ là hằng số bé (=0.01) để loại trường hợp log(0). - A(n,m) là biến đổi Fourier rời rạc(DFT) theo công thức: 2π |A (n, m ) = j mi ∞ | ∑ x ( i ) w ( nL − i ). e L i = −∞ Hình 2. Biểu đồ histogram độ biến thiên phổ theo không gian 3 chiều (a): music (b):speech Thuật toán KNN Thuật toán K-NN [8] là phương pháp phân loại dựa trên chỉ tiêu không gian khoảng cách. Xác định một điểm thuộc miền nào bằng cách tính toán dựa trên khoảng cách không gian. Có nhiều phương pháp để tính khoảng cách giữa các vectơ như phương pháp đo khoảng cách Euclidean, phương pháp đo khoảng cách Hamming, phương pháp đo khoảng cách 112(12)/2: 89 - 95 Mahalanobis hay phương pháp đo khoảng cách City Block. Bài toán: Giả sử ta có một không gian đa chiều (Y1, Y2,…,Yn) và có một tập hợp các khu vực A, B trong đó: - Khu vực A ta biết được sự tồn tại của các đối tượng XA1, XA2, … XAn với XAi={ YAi1, YAi2,…, YAin} - Khu vực B ta chỉ biết sự tồn tại của các đối tượng XB1, XB2, … XBn với XBi={ YBi1, YBi2,…, YBin} Có một đối tượng Xi ( Yi1, Yi2,…, Yin) bất kì ta cần xác định đối tượng Xi này thuộc khu vực A hay B. Hình 3: Mô tả thuật toán K-NN Giải thuật: Trong tất cả các đối tượng đã xác định rõ khu vực A và B, ta tìm K đối tượng gần với Xi nhất, trong K đối tượng này sẽ xác định xem có bao nhiêu đối tượng thuộc khu vực A, bao nhiêu đối tượng thuộc khu vực B, khu vực nào nhiều đối tượng gần Xi hơn thì Xi có khả năng thuộc khu vực đó. Để tính khoảng cách giữa các vectơ dùng công thức: D(X,X’)= THỰC HIỆN HỆ THỐNG NHẬN DẠNG PHÂN BIỆT TIẾNG NÓI VỚI ÂM NHẠC Hệ thống có dạng tổng quát như hình 4. Hoạt động của hệ thống gồm hai quá trình riêng biệt: thứ nhất là quá trình học (huấn luyện) và thứ hai là quá trình nhận dạng phân biệt với tín hiệu đầu vào. Quá trình huấn luyện: Tín hiệu đầu vào được đưa vào phân tích đặc trưng. Tại đây chúng được xử lý, tính toán và lấy ra giá trị các đặc trưng cần trích chọn phục vụ cho việc xây dựng hệ thống. Sau đó tới khối huấn 91 Đỗ Thị Loan và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ luyện được xử lý và lưu vào cơ sở dữ liệu (CSDL) mẫu. Quá trình huấn luyện dùng phương pháp học có giám sát nghĩa là chúng ta đã biết rõ sự phân lớp trên tập dữ liệu mẫu dùng để học, ở đây chỉ có hai lớp: tiếng nói và âm nhạc. Các đặc trưng mẫu của từng lớp được trích chọn lưu riêng vào CSDL. 112(12)/2: 89 - 95 Tuy nhiên vấn đề khi phân khung của tín hiệu đó chính là sai số của cả phép biến đổi so với tín hiệu gốc, do đó nên sử dụng hàm cửa sổ để hạn chế các sai số do độ dài hữu hạn của các tín hiệu gây ra trong các phép biến đổi. Hàm cửa sổ thường được dùng là Hamming được cho bởi công thức sau: W n = 0 . 54 − 0 . 46 * cos( 2Πn ) N −1 KẾT QUẢ Cài đặt hệ thống Chúng tôi thực hiện hệ thống nhận dạng phân biệt với tín hiệu đầu vào là các file âm thanh chuẩn dạng WAVE (*.wav), việc tính toán, xử lý, phân biệt đều thực hiện dựa trên file wave này. Như đã phân tích ở trên quá trình huấn luyện gồm các bước cơ bản sau: Hình 4: Mô hình tổng quát của hệ thống Quá trình nhận dạng phân biệt: Trình tự thực hiện cũng như trên nhưng chỉ khác là tín hiệu sau khi được trích chọn đặc trưng sẽ được đưa vào khối nhận dạng phân biệt. Tại khối này chúng ta phân tích đánh giá với CSDL mẫu đã được huấn luyện thông qua thuật toán K-NN. Kết quả này sau đó được chuyển tới bộ ra quyết định để xác định xem tín hiệu hiệu đó thuộc lớp tín hiệu nào. Vectơ đặc trưng là vectơ 3 chiều vì ta chỉ chọn 3 đặc trưng như đã trình bày ở trên. Phân khung tín hiệu: Do tín hiệu tiếng nói ổn định trong khoảng vài chục ms, nên khi tiến hành các phép phân tích, biến đổi người ta thường chia tín hiệu thành có đoạn nhỏ khoảng 10 đến 30ms, đó được gọi là phân khung, các khung tín hiệu liên tiếp có thể chồng nhau khoảng ½ độ dài. Hình 5: Phân khung tín hiệu 92 Hình 6: Mô hình quá trình huấn luyện Với mỗi dãy tín hiệu âm thanh đọc được, ta thực hiện xác định khung tín hiệu, tính các thông số cơ bản STE, ZCR, A của dãy tín hiệu. Giao diện cài đặt của quá trình huấn luyện: Hình 7: Giao diện huấn luyện, tạo dữ liệu mẫu Đỗ Thị Loan và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ - Bên phải là đồ thị của tín hiệu: tại khung cửa sổ thứ nhất là dạng tín hiệu âm thanh, tiếp theo là năng lượng trong khoảng ngắn hạn và tần suất vượt điểm không của tín hiệu âm thanh. - Bên trái là các điều khiển: mở file wave, nghe thử, xác định tiếng nói hay âm nhạc, lưu dữ liệu. Quá trình nhận dạng: 112(12)/2: 89 - 95 khung cửa sổ thứ 4 thể hiện đây là tiếng nói hay âm nhạc (tiếng nói có biên độ bằng 2/3 khung còn âm nhạc có biên độ = 1/3 khung). - Bên trái cũng là khung điều khiển mở, chọn tín hiệu file wave. Ngoài ra còn có sự lựa chọn tham số K (K là số phần tử thuộc lớp đặc trưng mẫu gần với mẫu cần nhận dạng phân biệt nhất). Đánh giá Chương trình thực hiện phân biệt tiếng nói và âm nhạc dựa trên một tập các tín hiệu âm thanh mẫu mà tôi sưu tầm có được : tập hợp tiếng nói là tiếng Việt, tập hợp âm nhạc là các thể loại nhạc không lời của một số trường phái âm nhạc. Hình 8: Mô hình quá trình nhận dạng Quá trình nhận dạng có một số bước trùng với quá trình huấn luyện như việc đọc dữ liệu file wave, thông số cơ bản, tính các thông số đặc trưng. Tập hợp tiếng nói gồm có 1037 file là các file phát âm các từ của tiếng Việt, mỗi file có độ dài < 1s, có tần số lấy mẫu 16000Hz, bit rate là 16bit/mẫu. Tập hợp âm nhạc gồm có 77 file là các file nhạc không lời của các thể loại R&B, Rock, Country…. Mỗi file có độ dài < 30s và có cùng tần số lấy mẫu 16000Hz, bit rate 16bit/mẫu. Các file dữ liệu mẫu trên đều là các file âm thanh mono (một kênh). Qua thử nghiệm, thống kê tôi thấy chương trình đã thực hiện việc phân biệt tiếng nói và âm nhạc với tỉ lệ chính xác tốt với các trường hợp tiếng nói và âm nhạc riêng biệt. Sau đây là kết quả thu được khi thử nghiệm: Bảng 1: Kết quả thống kê cơ sở dữ liệu Hình 9: Giao diện nhận dạng phân biệt Tương tự như giao diện huấn luyện, giao diện nhận dạng cũng có các phần: - Bên phải là đồ thì biểu diễn của tín hiệu: tại khung cửa sổ thứ nhất là dạng tín hiệu của âm thanh, tiếp theo là năng lượng trong khoảng ngắn hạn và tần suất vượt điểm không của tín hiệu âm thanh, tuy nhiên khác với giao diện huấn luyện, giao diện nhận dạng còn có thêm Âm nhạc Tiếng nói Giá trị trung bình của LSTER 0.2048 0.14599 Giá trị trung bình của HZCRR 0.3942 0.2632 Giá trị trung bình của SF 0.3885 0.22 93