
LÜnh vùc C«ng nghÖ th«ng tin
C¬ së nhËn d¹ng tiÕng nãi
ThS.§oµn Phan Long
Khoa Quèc tÕ -§µo t¹o sau ®¹i häc
Tóm t t: ắTù ®éng nhËn d¹ng tiÕng nãi lµ mét lÜnh vùc nghiªn cøu quan träng
®Ó ph¸t triÓn vµ ®a c¸c øng dông tù ®éng vµo nhiÒu Ngµnh. Ngoµi c¸c yÕu tè
vÒ c«ng nghÖ nhËn d¹ng tiÕng nãi, th× do tiÕng nãi cña mçi d©n téc cã nh÷ng
®Æc thï riªng, ®ßi hái ph¶i ®îc ph©n tÝch vµ t×m ra c¸c c«ng nghÖ ¸p dông phï
hîp. ë ViÖt nam, viÖc nghiªn cøu vµ ph¸t triÓn c¸c hÖ thèng nhËn d¹ng tiÕng
nãi cßn ®ang ë bíc ®Çu víi rÊt Ýt c¸c kÕt qu¶ ®îc c«ng bè. Bµi b¸o nµy nh»m môc
tiªu tæng hîp c¸c nghiªn cøu c«ng nghÖ ®· vµ ®ang ®îc ¸p dông trong c¸c hÖ
thèng nhËn d¹ng tiÕng nãi.
1. Lêi nãi ®Çu
Thêi gian tr íc ®©y, viÖc nhËn biÕt tiÕng nãi chØ ®îc thÓ hiÖn trong c¸c bé
phim viÔn tëng nh thuyÒn tr ëng Spok ®iÒu khiÓn con tµu vò trô Enterprise,
nh÷ng mÖnh lÖnh vµ nh÷ng ý tëng cña thuyÒn tr ëng ®îc m¸y tÝnh nhËn d¹ng,
thu nhËn vµ viÕt vµo bé nhí. HuyÒn tho¹i vÒ bé m¸y tÝnh HAL trong phim
“2001 cuéc phiªu lu trong vò trô” cßn cã kh¶ n¨ng cao h¬n lµ nhËn d¹ng lêi nãi tõ
sù cö ®éng cña m«i.
HiÖn t¹i, kh¶ n¨ng nµy vÉn cha thùc sù ®¸p øng, xong trong nh÷ng n¨m gÇn
®©y, nh÷ng hÖ thèng nhËn d¹ng tiÕng nãi ®· cã nh÷ng bíc ph¸t triÓn ®¸ng kÓ
vµ trong chõng mùc nµo ®ã, bªn c¹nh bµn phÝm vµ con chuét, nh÷ng phÇn
mÒm nhËn d¹ng tiÕng nãi ®· ®ãng vai trß lµ bé phËn nhËp d÷ liÖu rÊt tèt vµo
c¸c m¸y PC. §©y lµ bé phËn nhËp v¨n b¶n vµ d÷ liÖu còng nh ®Ó ®iÒu khiÓn
m¸y PC thùc hiÖn nh÷ng thao t¸c mµ ngêi sö dông ®ßi hái.
Nh÷ng h·ng c«ng nghÖ lín nh IBM vµ Phillip cã thÞ phÇn cao vµ uy tÝn, trong
nhiÒu n¨m ®· ®Çu t ®¸ng kÓ ®Ó dÇn hoµn chØnh c«ng nghÖ nhËn d¹ng nh»m
®a ra thÞ tr êng nh÷ng thÕ hÖ m¸y míi cã tÝch hîp c«ng nghÖ nhËn d¹ng tiÕng
nãi. Song song víi c¸c h·ng nµy, nh÷ng c«ng ty míi nh Dragon System, Lernout &
Hauspie còng ®Èy nhanh qu¸ tr×nh ®Çu t nghiªn cøu cña m×nh.
2. C¬ së nhËn d¹ng tiÕng nãi
TiÕng nãi lµ c«ng cô truyÒn ®¹t th«ng tin quan träng nhÊt cña con ngêi. §èi víi
chóng ta, tiÕng nãi lµ c¸i g× ®ã rÊt tù nhiªn, do vËy b×nh th êng chóng ta còng
kh«ng ®Ó ý xem qu¸ tr×nh nhËn d¹ng tiÕng nãi diÔn ra nh thÕ nµo, t¹i sao ta
l¹i cã thÓ hiÓu ®îc c¸c tõ, c¸c c©u mét c¸ch rÊt ®¬n gi¶n nh vËy.
Häc viÖn C«ng nghÖ BCVT

Héi nghÞ Khoa häc lÇn thø 5
NÕu m¸y tÝnh còng cã thÓ hiÓu ®îc tiÕng nãi tù nhiªn cña con ngêi th× kh«ng
nh÷ng ®¬n gi¶n rÊt nhiÒu cho qu¸ tr×nh trao ®æi ngêi - m¸y mµ m¸y tÝnh cßn
cã thÓ ¸p dông ®îc vµo nhiÒu lÜnh vùc kh¸c.
Nh÷ng nghiªn cøu c¬ b¶n trong lÜnh vùc nhËn d¹ng tiÕng nãi cña thËp kû qua
®· gãp phÇn ®a c«ng nghÖ nhËn d¹ng cã nh÷ng ph¸t triÓn ®¸ng kÓ trong c¸c
lÜnh vùc sö lý v¨n b¶n, viÔn th«ng, c¬ së d÷ liÖu còng nh qu¸ tr×nh giao tiÕp víi
hÖ thèng chuyªn gia.
Qu¸ tr×nh ph¸t triÓn cña c¸c gi¶i ph¸p nhËn d¹ng tiÕng nãi ®îc tham gia bëi:
- C«ng nghÖ m¸y tÝnh vµ lËp tr×nh
- Ng÷ ©m
- Ng«n ng÷ häc
- NhËn d¹ng mÉu
- TrÝ tuÖ nh©n t¹o....
Nh÷ng hÖ thèng tù ®éng nhËn d¹ng tiÕng nãi lu«n cè g¾ng m« pháng l¹i qu¸
tr×nh nhËn d¹ng tiÕng nãi cña con ngêi. Bªn c¹nh bµn phÝm vµ chuét th×
Microphone lµ kh¶ n¨ng míi ®Ó nhËp d÷ liÖu vµ giao tiÕp víi m¸y PC.
3. LÞch sö cña c«ng nghÖ nhËn d¹ng tiÕng nãi
NhËn d¹ng tiÕng nãi tù ®éng ®· cã lÞch sö kho¶ng 40 n¨m nay. Nh÷ng nh©n tè
quan träng gióp cho sù ph¸t triÓn cña c«ng nghÖ nhËn d¹ng nµy cã thÓ kÓ ®Õn
nh sù ph¸t triÓn cña c¸c hÖ thèng ph©n tÝch phæ ©m thanh (1946) thÓ hiÖn díi
d¹ng trùc quan c¸c tÝn hiÖu ©m, Lý thuyÕt t¹o ©m thanh tiÕng nãi cña con ngêi
(1948) vµ tÊt nhiªn ph¶i kÓ ®Õn sù xuÊt hiÖn vµ ph¸t triÓn cña c¸c hÖ thèng
m¸y tÝnh sè th¬ng m¹i ®Çu tiªn trªn thÕ giíi (1958).
HÖ thèng nhËn d¹ng tiÕng nãi ®Çu tiªn cã kh¶ n¨ng nhËn d¹ng tõ rêi r¹c vµ phô
thuéc ngêi nãi ®Ó ph©n tÝch vµ nhËn d¹ng c¸c ch÷ sè hoÆc c¸c tõ ®¬n ©m sö
dông ®Æc tÝnh miÒn thêi gian vµ c¸c ng©n hµng bé läc t ¬ng tù. T¬ng tù nh
vËy, víi ph¬ng ph¸p ©m häc, hÖ thèng nhËn d¹ng ©m vÞ phô thuéc ngêi nãi vµ
kh«ng phô thuéc ngêi nãi ®îc thiÕt kÕ mÆc dï míi cho ®îc c¸c kÕt qu¶ cßn rÊt
khiªm tèn.
Trong thËp kû 70, víi sù ph¸t triÓn cña c¸c thuËt to¸n ph©n tÝch tÝn hiÖu (m«
h×nh dù ®o¸n tuyÕn tÝnh, so s¸nh mÉu theo thêi gian) c«ng nghÖ nhËn d¹ng
tiÕng nãi ®îc tiÕp tôc ph¸t triÓn m¹nh mÏ. Víi c¸c ph¬ng ph¸p nµy c¸c hÖ thèng
nhËn d¹ng víi sè lîng tõ rÊt lín kh«ng phô thuéc ngêi nãi ®· ®îc thùc thi.
Trong nh÷ng n¨m 60 cña thÕ kû 20, nhiÒu phßng thÝ nghiÖm cña nhiÒu h·ng
lín ®· ®îc ®Çu t ®Ó nghiªn cøu ph¸t triÓn c¸c hÖ thèng nhËn d¹ng tiÕng nãi cña
Häc viÖn C«ng nghÖ BCVT

LÜnh vùc C«ng nghÖ th«ng tin
c¸c ng«n ng÷ kh¸c nhau. §Õn ®Çu nh÷ng n¨m 80 kh¶ n¨ng vÒ hiÓu biÕt còng
nh vÒ kü thuËt ®· cho phÐp c¸c nhµ nghiªn cøu x©y dùng c¸c hÖ thèng nhËn
d¹ng ®îc hµng tr¨m c¸c tõ rêi r¹c. Sau ®ã c«ng nghÖ nhËn d¹ng ®· cã nh÷ng bíc
ph¸t triÓn v« cïng nhanh chãng.
4. C¸c vÊn ®Ò kü thuËt
NhËn d¹ng tiÕng nãi lµ vÊn ®Ò ®îc bµn luËn vµ ®· ®îc c¸c nhµ nghiªn cøu ph©n
lo¹i thµnh c¸c hÖ thèng nhËn d¹ng kh¸c nhau cho nh÷ng môc ®Ých sö dông kh¸c
nhau. H×nh díi ®©y m« t¶ mét c¸i nh×n kh¸i qu¸t vÒ sù ph©n lo¹i c¸c hÖ thèng
nhËn d¹ng tiÕng nãi, trong ®ã c¸c hÖ thèng nhËn d¹ng tiÕng nãi ®îc ph©n
thµnh hai nhãm riªng biÖt. Mét nhãm chuyªn ®îc sö dông víi môc ®Ých ®iÒu
khiÓn thiÕt bÞ th«ng qua tiÕng nãi vµ mét nhãm chuyªn xö lý tõ tiÕng nãi sang
v¨n b¶n (Speech to Text)
H×nh 1: Ph©n lo¹i c¸c hÖ thèng nhËn d¹ng tiÕng nãi
4.1. NhËn d¹ng tiÕng nãi ®Ó ®iÒu khiÓn vµ ra lÖnh cho thiÕt bÞ
Trong c¸c hÖ thèng ®iÒu khiÓn thêng sö dông mét th viÖn tõ rÊt h¹n chÕ, bëi
v× ®Ó ®iÒu khiÓn mét thiÕt bÞ ®ßi hái sè lîng c¸c lÖnh rÊt h÷u h¹n vµ kh«ng
cÇn mét kÕt nèi trùc tiÕp ®Õn hÖ thèng m¸y tÝnh nhËn d¹ng tiÕng nãi. Nh
vËy ®Ó nhËp d÷ liÖu gi¸n tiÕp ngêi ta cã thÓ sö dông qua nhiÒu m«i tr êng nh
®êng tho¹i, microphone... vÝ dô trong øng dông Telephone Banking mµ hÖ thèng
Infogate cña Trung t©m C«ng nghÖ Th«ng tin CDIT ®ang ¸p dông trªn m¹ng sö
Häc viÖn C«ng nghÖ BCVT
Ph¸t ©m tõ
rêi r¹c
Ph¸t ©m tõ
rêi r¹c
Ph¸t ©m
liªn tôc
Telephone
banking
T×m d÷
liÖu qua
tho¹i
§iÒu
khiÓn
thiÕt bÞ
Ph¸t ©m
liªn tôc
NhËn
d¹ng ng-êi
nãi
Thêi gian
thùc
Cã tiÕp xóc
víi PC
§iÒu khiÓn, r a lÖnh
NhËn d¹ng
tiÕng nãi
V¨n b¶ n
Kh«ng tiÕp
xóc víi PC
Kh«ng thêi
gian thùc

Héi nghÞ Khoa häc lÇn thø 5
dông nhËp d÷ liÖu vÝ dô qua bµn phÝm m¸y ®iÖn tho¹i ®Ó vÊn tin vµ t¹o c¸c
giao dÞch tiÒn tÖ vµ tiÕn tíi sau nµy cã thÓ th«ng qua giäng nãi, tiÕng nãi ®Ó
®iÒu khiÓn c¸c giao dÞch.
§iÒu khiÓn thiÕt bÞ th«ng qua tiÕng nãi kÕt nèi trùc tiÕp tíi m¸y tÝnh ph¶i
kÓ ®Õn tr íc hÕt ®ã lµ c¸c hÖ thèng ®iÒu khiÓn th«ng qua c¸c lÖnh b»ng tiÕng
nãi ®Ó ®iÒu khiÓn c¸c hÖ thèng m¸y mãc lµm viÖc theo ý cña ngêi sö dông.
4.2. NhËn d¹ng tiÕng nãi ®Ó xö lý v¨n b¶n
Qu¸ tr×nh nhËn d¹ng tiÕng nãi lµ qu¸ tr×nh mµ hÖ thèng chuyÓn ®æi c¸c tõ ®îc
nãi thµnh v¨n b¶n viÕt hay cô thÓ h¬n lµ chuyÓn ®æi tõ c¸c tÝn hiÖu ©m tÇn
do ngêi nãi ph¸t ©m thµnh c¸c tõ ®îc viÕt thµnh v¨n b¶n. Nh÷ng hÖ thèng nµy
vÒ nguyªn t¾c ph¶i cã vèn tõ rÊt lín ®Ó cã kh¶ n¨ng ®¹t ®îc kÕt qu¶ nhËn d¹ng
tiÕng nãi nh mong muèn. Mét sè hÖ thèng cã thÓ nhËn d¹ng theo thêi gian
thùc, mét sè hÖ thèng kh¸c l¹i lµm viÖc ë chÕ ®é xö lý lÇn l ît (Batch Job). Trong
chÕ ®é thêi gian thùc, kÕt qu¶ lµ v¨n b¶n ®îc thÓ hiÖn trªn mµn h×nh m¸y
tÝnh ngay sau khi nãi. Mét tiªu chuÈn n÷a ®Ó ph©n biÖt c«ng nghÖ ®ã lµ c©u
hái liÖu hÖ thèng cã nhËn d¹ng tiÕng nãi ®îc kh«ng khi ngêi nãi ph¸t ©m liªn
tôc tõ nµy tiÕp nèi tõ kia nh ta ph¸t ©m b×nh thêng hay ngêi nãi ph¶i ph¸t ©m
tõng tõ rêi r¹c?
4.3.HÖ thèng nhËn d¹ng tiÕng nãi rêi r¹c
Tõ l©u nhiÒu nhµ nghiªn cøu ®· chÕ t¹o ra c¸c hÖ thèng nhËn d¹ng tiÕng nãi
theo nguyªn t¾c ph¸t ©m tõ rêi r¹c. Nh÷ng hÖ thèng nhËn d¹ng cã vèn tõ h¹n
chÕ kho¶ng 1.000 tõ kh«ng phï hîp cho c¸c m«i tr êng nh v¨n phßng lµm viÖc,
bÖnh viÖn, c¸c c«ng së ... lý do rÊt ®¬n gi¶n lµ trong nh÷ng m«i tr êng trªn c¸c
hÖ thèng nhËn d¹ng ®ßi hái ph¶i cã kh¶ n¨ng lµm viÖc víi sè lîng tõ rÊt nhiÒu
tèi thiÓu ph¶i trªn díi 60.000 tõ, phô thuéc ng÷ c¶nh vµ ph¶i kh«ng phô thuéc
ngêi nãi.
4.4.HÖ thèng nhËn d¹ng tiÕng nãi liªn tôc
Trong qu¸ tr×nh ngêi nãi ph¸t ©m liªn tôc, c¸c tõ ®îc ph¸t ©m tõ nä nèi tiÕp tõ
kia kh«ng cã giai ®o¹n nghØ gi÷a chõng. §èi víi con ngêi th× qu¸ tr×nh nhËn
biÕt c¸c tõ ®îc ph¸t ©m nµy rÊt ®¬n gi¶n, xong ®èi víi m¸y mãc th× ®é phøc t¹p
so víi ph¸t ©m rêi r¹c t¨ng lªn nhiÒu lÇn do ph¶i nhËn biÕt vµ t¸ch c¸c tõ nµy ra.
Trong c©u ®îc ph¸t ©m liªn tôc ta rÊt khã nhËn biÕt ®îc ®iÓm b¾t ®Çu vµ
®iÓm kÕt thóc cña mét tõ, trong khi ph¸t ©m rêi r¹c ta thÊy rÊt râ ®o¹n nghØ
ng¾t qu·ng gi÷a hai tõ c¹nh nhau.
Häc viÖn C«ng nghÖ BCVT

LÜnh vùc C«ng nghÖ th«ng tin
HÖ thèng nhËn d¹ng ph¶i quyÕt ®Þnh rÊt nhanh ®iÓm nµo lµ ®iÓm kÕt thóc
cña tõ vµ nh vËy víi c©u ®îc ph¸t ©m liªn tôc m¸y tÝnh ®ßi hái thêi gian tÝnh
to¸n lín h¬n rÊt nhiÒu lÇn so víi tõ ®îc ph¸t ©m rêi r¹c. §iÒu nµy cßn ®Æc biÖt
khã víi nhiÒu ng«n ng÷ nh ng«n ng÷ tiÕng Anh ®ßi hái cã sù ph¸t ©m tõ nä cã
®u«i nèi tiÕp sang tõ kia.
Nhê sù ph¸t triÓn nhanh chãng cña c«ng nghÖ tin häc vµ m¸y tÝnh ®Æc biÖt lµ
tèc ®é vµ kh¶ n¨ng tÝnh to¸n cña c¸c m¸y tÝnh c¸ nh©n, ngµy nay trong phßng
thÝ nghiÖm ®· cã nh÷ng hÖ thèng cã kh¶ n¨ng nhËn d¹ng tiÕng nãi ph¸t ©m
liªn tôc.
4.5.NhËn d¹ng tõ rêi r¹c vµ nhËn d¹ng tiÕng nãi liªn tôc
Cã nhiÒu ®Þnh nghÜa vµ gi¶ thiÕt vÒ sù ph©n biÖt kh¸c nhau gi÷a hai kh¸i
niÖm nhËn d¹ng tõ rêi r¹c vµ nhËn d¹ng tiÕng nãi liªn tôc, nªn ë ®©y cã thªm sù
gi¶i thÝch râ h¬n vÒ hai kh¸i niÖm nµy.
C¸c tÝn hiÖu ©m thanh ®îc Microphone thu nhËn, sau khi ®îc hÖ thèng nhËn
d¹ng xö lý sÏ ®îc chuyÓn ®æi thµnh d¹ng v¨n b¶n. Mèi liªn hÖ gi÷a tÝn hiÖu ©m
vµ v¨n b¶n lµ c¸c mÉu tÝn hiÖu t¹o ra. Mét mÉu tÝn hiÖu cã sù thèng nhÊt
chÆt chÏ gi÷a tÝn hiÖu ©m vµ v¨n b¶n vµ ®îc mét th viÖn ©m lu tr÷ vµ ®îc
dïng ®Ó so s¸nh víi nhiÒu ph¬ng ph¸p kh¸c nhau. Mçi phÇn tö ©m thanh ®îc t-
¬ng øng víi mét mÉu tÝn hiÖu ®îc gäi lµ nhËn d¹ng tõ rêi r¹c.
4.6.Phô thuéc ngêi nãi, kh«ng phô thuéc ngêi nãi
HÖ thèng nhËn d¹ng kh«ng phô thuéc ngêi nãi cã kh¶ n¨ng lµm c«ng viÖc nhËn
d¹ng víi bÊt kú ngêi nãi nµo mµ kh«ng cÇn cã giai ®o¹n luyÖn. §èi víi hÖ thèng
nhËn d¹ng ®Ó xö lý v¨n b¶n th× vÊn ®Ò ®éc lËp víi ngêi nãi ®îc dùa vµo vèn tõ
hay c¶ hÖ thèng. §èi víi c¸c hÖ thèng nhËn d¹ng kh«ng cã th viÖn tõ ®éc lËp víi
ngêi nãi (C¬ së d÷ liÖu cña mét sè Ýt giäng nãi) th× ngêi sö dông tr íc tiªn ph¶i
x©y dùng cho m×nh mét c¬ së d÷ liÖu ©m cña m×nh. Víi mçi tõ mµ ngêi sö dông
ph¸t ©m vµ muèn ®îc hÖ thèng nhËn d¹ng ph¶i cã mét tõ mÉu trong th viÖn
cña m×nh. NÕu th viÖn mÉu cã ®ñ sè lîng tõ cÇn thiÕt th× chÊt lîng vµ kÕt
qu¶ nhËn d¹ng cña hÖ thèng sÏ t¨ng lªn, sai sè sÏ gi¶m xuèng. Xong bï l¹i ngêi sö
dông ph¶i cã thêi gian ®ñ lín ®Ó cho qu¸ tr×nh chuÈn bÞ tøc lµ luyÖn cho m¸y
hiÓu ®îc ©m, giäng cña m×nh. Ph¬ng ph¸p luyÖn nh thÕ nµy hiÖn ®îc sö dông
rÊt Ýt. Thay vµo ®ã lµ ph¬ng ph¸p t¸ch ©m vÞ vµ so s¸nh víi mÉu c¸c ©m vÞ víi
Häc viÖn C«ng nghÖ BCVT