Xử lý ảnh số - Nén dữ liệu ảnh part 3

Chia sẻ: Adfgajdshd Asjdaksdak | Ngày: | Loại File: PDF | Số trang:6

Thêm vào BST

Báo xấu

103
lượt xem 14
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Thông thường ta có thể nhận thấy sự chuyển động trong bức ảnh bởi phần nền hoặc chính chủ đề mờ nhòe so với phần còn lại của bức ảnh. Để làm được điều này, chúng ta cần phải điều khiển tốc độ màn trập, độ mở ống kính (khẩu độ) và điều chỉnh độ nhạy sáng (ISO). Một khi hiểu được 3 yếu tố này hoạt động với nhau như thế nào, chúng ta có thể sử dụng chúng để thể hiện hầu hết các kiểu chuyển động. Không cần tới 1 chiếc máy ảnh chuyên nghiệp, bất cứ...

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Xử lý ảnh số - Nén dữ liệu ảnh part 3

Co. so. cua l´ thuyˆt thˆng tin ´ ˙˙y ’’ 6.3 e o Trong Phˆn 6.1 ch´ng ta d a gi´.i thiˆu mˆt sˆ c´ch dˆ’ giam sˆ lu.o.ng d˜. liˆu biˆ’u diˆn ˙’ ˙ ˜ ` .´ ´ o o a ¯e ˙ a u ¯˜ o e o. ue e e . . .o.c d ˇt ra l`: cˆn bao nhiˆu d˜. liˆu thu.c su. dˆ’ biˆ’u diˆn mˆt ˙˙ ˜ mˆt anh. Mˆt vˆ n d` d u . ¯a .´e a` o˙ .’ o a ¯ˆ ¯ a e ue . . ¯e e e o . . . .c l`, sˆ lu.o.ng d˜. liˆu ´t nhˆ t l` bao nhiˆu d ˙ mˆ ta d` y d ˙ anh m` khˆng ´ ´ ˙ ’ e ¯u o ˙ ¯ˆ ¯u ˙ ’ ’a ’’ anh? T´ a o . u ueı aa ao . . so. to´n hoc tra l`.i cˆu hoi n`y v` ´ ´ ´ mˆ t thˆng tin? L´ thuyˆt thˆng tin cung cˆ p co ˙ a ’ ˙o a ’ ˙aa ’ a o y e o a . nh˜.ng vˆ n d` liˆn quan. ´e u a ¯ˆ e - 6.3.1 Do thˆng tin o Tiˆn d` co. ban cua l´ thuyˆt thˆng tin l` c´ thˆ’ mˆ h`nh ho´ thˆng tin bo.i mˆt qu´ ˙ ` ¯ˆ ´ ˙ ’ ˙y ’ ˙ ’ ee e o ao e oı ao o a . .i cam nhˆn tru.c quan tr` x´c suˆ t v` c´ thˆ’ d o thˆng tin theo mˆt ngh˜ tr`ng v´ ˙ ˙ ´ o’ ınh a a a o e¯ o o ıa u a . . . ˙ a con ngu.`.i. V´.i gia thiˆt n`y, mˆt su. kiˆn ngˆu nhiˆn E v´.i x´c suˆ t xuˆ t hiˆn ˜ ´a ´ ´ ’ ˙ ’ cu o o e o.e a e oa a a e . . . .a P (E ) goi l` ch´ .au 1 I (E ) = log = − log P (E ) P (E ) d o.n vi thˆng tin. Gi´ tri I (E ) thu.`.ng goi l` thˆng tin riˆng (self-information) hay ¯ .o a. o .ao e .o.ng thˆng tin d .o.c ch´.a trong E. N´i chung, sˆ lu.o.ng thˆng tin d ong g´p v`o su. ´ lu . o ¯u . u o o. o ¯´ oa. kiˆn E tı lˆ nghich v´.i x´c suˆ t xuˆ t hiˆn E. Nˆu P (E ) = 1 (t´.c l`, su. kiˆn luˆn luˆn ´ ´e ´ ˙e ’. e oa a a e ua.e o o . . . . . kiˆn n`y. T´.c ˙ ’ ˙ ’ xay ra) th` I (E ) = 0 v` khˆng c´ thˆng tin g` d ong g´p khi xay ra su e a ı ao oo ı ¯´ o u .. l`, do khˆng c´ t` trang khˆng r˜ r`ng gˇn v´.i su. kiˆn nˆn khˆng c´ thˆng tin g` ´ a o o ınh . o oa ao.ee o oo ı . .o.c trao d o’i khi su. kiˆn n`y xuˆ t hiˆn. Tuy nhiˆn, nˆu P (E ) = 0.99 th` viˆc truyˆn ˙ ´e ´ ` du . ¯ ¯ˆ .ea a e e ıe e . . . d i thˆng b´o su. kiˆn E xuˆ t hiˆn s˜ c´ mˆt ch´t thˆng tin. Thˆng b´o E khˆng xuˆ t ´ e eo o ´ ¯ o a.e a u o o a o a . . . hiˆn mang thˆng tin nhiˆu ho.n v` kˆt qua n`y gˆy bˆ t ng`.. ` ´ ´ ˙a a a ’ e o e ıe o . Co. sˆ trong ph´p lˆ y logarithm x´c d .nh d .n vi d u.o.c su. dung dˆ’ d thˆng tin.3 ˙ ´ ´ a ¯i ¯o . ¯ . ˙ . ’ o ea ¯e ¯o o Nˆu su. dung co. sˆ e th` d o.n vi d o l` nat v` nˆu chon co. sˆ 2, d .n vi d goi l` bit. ´’ ´ ´ ´ e˙. o ı¯ .¯ a ae o ¯o . ¯o . a . Ch´ y rˇ ng nˆu P (E ) = 1/2 th` I (E ) = − log2 1/2 hay 1 bit. T´.c l` lu.o.ng thˆng tin ` ´ u´ a e ı ua. o .o.c truyˆn d t khi su. kiˆn E c´ x´c suˆ t xuˆ t hiˆn bˇ ng x´c suˆ t khˆng xuˆ t hiˆn .` ` ¯a ´ ´ea ´ ´e du . ¯ e .e oa a a a a o a . . . ` ng 1 bit. V´ du d o.n gian l` tung xˆ p ngu.a mˆt d` ng xu v` thˆng b´o kˆt qua. ´ ´ ˙a ’ ˙ ’ ˙ ’ bˇ a ı .¯ a o ¯ˆ .o ao ae Khi khˆng viˆt tu.`.ng minh gi´ tri co. sˆ cua log trong mˆt biˆ’u th´.c th` kˆt qua c´ thˆ’ hiˆ’u o. 3 ˙ ˙˙’ ´ ´’ ´ o˙ ˙o e e˙ ’ o e o a. o e u ıe . co. sˆ bˆt k` v` d o.n vi d o thˆng tin tu.o.ng u.ng v´.i co. sˆ d ´. ´´ ´ o a y a¯ .¯ o ´ o o ¯o 153
` 6.3.2 Kˆnh truyˆn tin e e Khi lu.o.ng thˆng tin ch´.a trong mˆt su. kiˆn d .o.c truyˆn t`. mˆt nguˆn thˆng tin dˆn `uo ` ´ o u o . e ¯u . e o o ¯e . . . . mˆt ngu.`.i su. dung thˆng tin ta n´i nguˆn thˆng tin d u.o.c nˆi v´.i ngu.`.i su. dung thˆng ` ´ o˙. ’ o˙. ’ o o o o o ¯. o o o . .i mˆt kˆnh thˆng tin. Kˆnh thˆng tin l` thiˆt bi vˆt l´ c´ ch´.c nˇng liˆn kˆt ´ ´ ˙ ’ tin bo oe o e o a e .ayo u a ee . . nguˆn v´.i ngu.`.i su. dung. N´ c´ thˆ’ l` mˆt d .`.ng dˆy d en thoai, d .`.ng truyˆn nˇng ˙ `o `a o˙. ’ o o o e a o ¯u o a ¯iˆ . ¯u o e . . .o.ng d en t`. tru.`.ng, hoˇc mˆt dˆy dˆn trong m´y t´nh. H`nh 6.4 l` mˆ h`nh to´n ˜ lu . ¯iˆ u o a oaa aı ı a oı a . . . hoc d o.n gian d oi v´.i hˆ thˆng thˆng tin r`.i rac. Trong mˆ h` n`y, tham sˆ quan ´ .´ ´ ˙ ¯ˆ o e o ’ .¯ o o. o ınh a o .o.ng cua hˆ thˆng x´c d nh bo.i kha nˇng truyˆn thˆng tin. ´ ’.´ ` ˙eo ˙ ’ ˙a ’ trong nhˆ t l` thˆng lu . aao a ¯i e o . . Gia su. rˇ ng nguˆn thˆng tin trong H` 6.4 tao ra mˆt d˜y ngˆu nhiˆn c´c k´ ’’` ˜ ` ˙˙a o o ınh oa a eay . . . mˆt tˆp h˜.u han hay dˆm d u.o.c c´c k´ hiˆu. T´.c l` d` u ra cua nguˆn l` mˆt ´ `ao ˙ ’ hiˆu t` o a u eu.. ¯e ¯ . a y e u a ¯ˆ a o . . . . .i rac. Tˆp c´c k´ hiˆu nguˆn A = {a1, a2, . . . , aJ } goi l` bang k´ ˜ ´ ` .a˙ ’ biˆn ngˆu nhiˆn r` . e a eo aaye o y . . hiˆu nguˆn v` c´c phˆn tu. aj ∈ A goi l` k´ hiˆu, hay k´ tu.. Gia su. x´c suˆ t dˆ’ nguˆn ´˙ ` aa ` ` a˙ ’ ˙˙a ’’ e o .ay e y. a ¯e o . . sinh ra k´ hiˆu aj l` P (aj ) v` ye a a . J P (aj ) = 1. j =1 Dˇt z = [P (a1), P (a2), . . . , P (aJ )]t. Khi d o cˇp (A, z), goi l` khˆng gian x´c suˆ t h˜.u -a ´ ¯´ a .a o a au . . han cua nguˆn, mˆ ta d` y d ˙ nguˆn thˆng tin. ` ` ˙’ o ˙ ¯ˆ ¯u ’a ’ o o o . Do x´c suˆ t xuˆ t hiˆn k´ hiˆu aj l` P (aj ) nˆn lu.o.ng thˆng tin ch´.a trong su. ´ ´ a a a eye a e o u . . . . ´u k k´ hiˆu nguˆn d .o.c tao ra th` theo luˆt sˆ l´.n, ` ¯u . . ´o kiˆn n`y l` I (aj ) = − log P (aj ). Nˆ eaa e ye o ı ao . . . .i k d u l´.n k´ hiˆu a (vˆ trung b` .o.ng thˆng ¯˙ o y e j ` ´e ` ’ v´o e ınh) s˜ xuˆ t hiˆn kP (aj ) lˆn. Suy ra lu . ea a o . . tin trung b` nhˆn d .o.c khi k t´n hiˆu d .o.c nguˆn sinh ra l` ` ınh a ¯u . ı e ¯u . o a . . J −k P (aj ) log P (aj ). j =1 ` V` thˆng tin trung b` khi nguˆn sinh ra mˆt t´n hiˆu l` ao ınh o oı ea . . J H (z) = − P (aj ) log P (aj ). (6.3) j =1 Gi´ tri H (z) goi l` d ˆ bˆ t ng`. hay entropy cua nguˆn thˆng tin; d ´ l` mˆt thˆng sˆ .´ ` ´ ˙ ’ a. . a ¯o a o o o ¯o a o o o . . ban cua nguˆn. N´ x´c d inh sˆ lu.o.ng thˆng tin trung b`nh nhˆn d .o.c ´ ` ´ thˆng kˆ co ˙ ’ ˙’ o e o o a ¯. o. o ı a ¯u . . ´ ´ ` a˙ ’ khi quan s´t mˆt nguˆn. Khi gi´ tri n`y tˇng th` t`nh trang khˆng chˇc chˇn xay ra s˜ a o o a.a a ıı o a e . . .n v` do d o thˆng tin tu.o.ng u.ng v´.i nguˆn c˜ng l´.n ho.n. Nˆu x´c suˆ t xuˆ t ` `u ´ ´ ´ nhiˆu ho a e ¯´ o ´ o o o ea a a hiˆn cua c´c k´ hiˆu bˇ ng nhau th` entropy cu.c d ai v` nguˆn c´ thˆ’ cung cˆ p thˆng ˙ ` `oe ´ ˙ayea ’ e ı . ¯. a o a o . . .n nhˆ t. `o ´ tin trung b` trˆn mˆt k´ hiˆu nguˆn l´ ınh e oye o a . . 154
Ngu.`.i su. dung ` o˙. ’ Nguˆn o ............................................... Kˆnh e .. .. . . . . . ... . . . . . . . ... . . . .. . . . . ... . . . . . . . . ... . . . . . . ... . ............................................... . . thˆng tin o thˆng tin o Cˇp (A, z) Cˇp (B, v) a a . . Q = [qkj ] A = {aj } B = {bk } z = [P (a1), P (a2 ), . . . , P (aJ )]t v = [P (b1 ), P (b2), . . . , P (bK )]t H` 6.4: Mˆt hˆ thˆng thˆng tin d .n gian. ..´ ˙ ’ ınh oeo o ¯o Kh´i niˆm entropy d .o.c d`ng o. d ˆy tu.o.ng tu. kh´i niˆm entropy trong nhiˆt ˙ ¯a ’ a e ¯u . u a e e . . . . .ng dung m˜ ho´ anh cua ch´ng ta, entropy biˆ’u diˆn sˆ lu.o.ng ˙ ˜o.´ ˙ ’ ˙ ’ d ˆng hoc. Trong c´c u ¯o a´ aa u e e . . . .o.ng u.ng v´.i tˆp c´c gi´ tri nguˆn v` cho biˆt sˆ bit trung b` tˆi thiˆ’u ˙ ` ´´ ´ thˆng tin tu o ´ oaa a. oa eo ınh o e . ` cˆn m˜ ho´ ch´ng. a aau V´.i mˆ h` nguˆn trˆn ch´ng ta c´ thˆ’ dˆ d`ng tr` b`y ch´.c nˇng trao d ˆ’i ˙e ˙ o e˜a ` o o ınh o e u ınh a ua ¯o thˆng tin cua kˆnh thˆng tin. V` trong mˆ h`nh cua H` 6.4 t´ hiˆu d .a v`o kˆnh ˙e ’ ˙ ’ o o ı oı ınh ın e ¯u a e . .i rac nˆn thˆng tin d u.o.c truyˆn d e n d` u ra cua kˆnh c˜ng ˜ ´ ` ¯ˆ ¯ˆ ´a ˙e ’ l` mˆt biˆn ngˆu nhiˆn r` . e ao e a eo o ¯. e u . l` biˆn ngˆu nhiˆn r`.i rac. Tu.o.ng tu. nhu. o. nguˆn thˆng tin, c´c t´ hiˆu ra nhˆn c´c ˜ ´ ` ˙ ’ ae a eo. o o a ın e aa . . . . mˆt tˆp h˜.u han hay d e m d .o.c c´c k´ hiˆu B = {b , b , . . . , b } m` ta goi ´ gi´ tri t` o a u a .u . . ¯ˆ ¯u . a y e a . . . 12 K . kiˆn xuˆ t hiˆn k´ hiˆu b nhˆn d .o.c bo.i ngu.`.i su. ´’ ´ aa ˙ ’ a˙.. ˙ ’ o˙ ’ l` l` bang kˆnh. X´c suˆ t cua su e e a a e y e k a ¯u . . . . dung thˆng tin l` P (bk ). Cˇp (B, v), trong d o vector v = [P (b1), P (b2 ), . . . , P (bK )]t, o a a ¯´ . . miˆu ta d` y d ˙ kˆnh ra v` do d o thˆng tin nhˆn d .o.c bo.i ngu.`.i su. dung. e ˙ ¯ˆ ¯u e ’a ’ ˙ ’ o˙. ’ a ¯´ o a ¯u . . Theo cˆng th´.c x´c suˆ t ta c´ ´ o ua a o J P (bk ) = P (bk |aj )P (aj ), j =1 trong d ´ P (bk |aj ) l` x´c suˆ t nhˆn d .o.c t´n hiˆu bk v´.i d ` u kiˆn nguˆn thˆng tin gu.i ´ ` ˙’ ¯o aa a a ¯u . ı e o ¯iˆ e e o o . . . -a t´n hiˆu aj . Dˇt ı e . .   P (b1 |a1) P (b1|a2) · · · P (b1 |aJ )    P (b2 |a1) P (b2 |aJ )  P (b2|a2) · · · Q= . . . .   . . .   . . ··· . P (bK |a1) P (bK |a2) · · · P (bK |aJ ) 155
Khi d ´ ¯o v = Qz. (6.4) Ma trˆn Q v´.i c´c phˆn tu. qkj = P (bk |aj ) goi l` ma trˆn biˆn d o’i kˆnh thuˆn. ˙ ` ´ a˙ ’ a oa .a a e ¯ˆ e a . . . Dˆ’ x´c d .nh kha nˇng cua mˆt kˆnh v´.i ma trˆn biˆn d o’i kˆnh thuˆn Q tru.´.c - e a ¯i ˙ ˙ ´ ˙a ’ ˙’ oe o a e ¯ˆ e a o . . . hˆt ch´ng ta cˆn t´ entropy cua nguˆn thˆng tin v´.i gia thiˆt ngu.`.i su. dung thˆng ´ ` ınh ` ´ ˙ ’ ˙ ’ o˙. ’ e u a o o o e o .o.ng tr`nh (6.4) x´c d nh h`m phˆn bˆ cua c´c ´’ a o˙ a tin quan s´t mˆt t´ hiˆu ra bk . Phu a o ın e ı a ¯i a . . . k´ hiˆu nguˆn khi bk d u.o.c quan s´t, nˆn mˆi bk cho mˆt h`m entropy c´ d ` u kiˆn. ˜ ` ye o ¯. a e o oa o ¯iˆ e e . . . .a trˆn c´c bu.´.c dˆn dˆn Phu.o.ng tr`nh (6.3), h`m entropy c´ d ` u kiˆn, k´ hiˆu ˜ ¯e ´ Du ea oa ı a o ¯iˆ e e ye . . . H (z, bk ), c´ dang o. J H (z, bk ) = − P (aj |bk ) log P (aj |bk ), j =1 trong d ´ P (aj |bk ) l` x´c suˆ t truyˆn k´ hiˆu aj v´.i d iˆu kiˆn ngu.`.i su. dung nhˆn ´ ` o ¯` o˙. ’ ¯o aa a eye e e a . . . .o.c k´ hiˆu b . K` vong hay gi´ tri trung b`nh cua biˆ’u th´.c n`y theo tˆ t ca c´c b ˙ ´ ˙a k ˙ ’ ’ du . y e k y . ¯ a. ı e ua a . l` a K H (z, v) = H (z, bk )P (bk ). k =1 hay tu.o.ng d u.o.ng ¯ J K H (z, v) = − P (aj , bk ) log P (aj |bk ). (6.5) j =1 k =1 Trong biˆ’u th´.c trˆn, P (aj , bk ) l` x´c suˆ t liˆn kˆt c´c su. kiˆn aj v` bk . T´.c l` ˙ ´ ´ e u e aa aeea.e a ua . P (aj , bk ) l` x´c suˆ t khi nguˆn truyˆn aj v` ngu.`.i su. dung nhˆn d .o.c bk . ´ ` ` o˙. ’ aa a o e a a ¯u . . Sˆ hang H (z, v) goi l` m´.c d o mˆp m`. cua z tu.o.ng u.ng v´.i v. N´ biˆ’u thi thˆng ˙ ´ o˙’ o. . a u ¯ˆ a ´ o oe .o .. ` ´ ´ ˙ye ’ ˙ ’ tin trung b`nh cua k´ hiˆu nguˆn khi d ˜ biˆt c´c kˆt qua qua quan s´t. V` H (z) l` ı o ¯a e a e a ı a . .´.c vˆ kˆt qua cua thˆng tin trung b` cua mˆt k´ hiˆu nguˆn, gia thiˆt khˆng biˆt tru o ` e ` ´ ´ e´ ınh ˙ ’ ˙ ’ ˙˙ ’’ o oye o e o e . . t´n hiˆu nhˆn d .o.c, hiˆu sˆ gi˜.a H (z) v` H (z, v) l` thˆng tin trung b` nhˆn d .o.c .´ ı e a ¯u . eou a ao ınh a ¯u . . . . . d` u ra. Hiˆu sˆ n`y, k´ hiˆu I (z, v), goi l` thˆng tin .´ oye˙a .’ trong l´c quan s´t mˆt k´ hiˆu o ¯ˆ u a e oa ye .ao . . tu.o.ng hˆ cua z v` v, l` ˜’ o˙ a a I (z, v) = H (z) − H (z, v). Ch´ y rˇ ng P (aj ) = P (aj , b1 ) + P (aj , b2 ) + · · · + P (aj , bK ). T`. d ´ thay H (z) trong ` u´ a u ¯o .o.ng tr`nh (6.3) v` H (z, v) trong (6.5) ta d .o.c Phu ı a ¯u . J K P (aj , bk ) I (z, v) = P (aj , bk ) log . P (aj )P (bk ) j =1 k =1 156
Tu. d ´ ` ¯o J K qkj I (z, v) = P (aj )qkj log . (6.6) J P (ai )qki i=1 j =1 k =1 Do d ´ thˆng tin trung b` nhˆn d .o.c khi quan s´t mˆt t´n hiˆu ra t`. kˆnh truyˆn ` ¯o o ınh a ¯u . a oı e ue e . . . phu thuˆc v`o phˆn bˆ x´c suˆ t cua c´c k´ hiˆu nguˆn z v` ma trˆn biˆn d o’i kˆnh ˙ ´ ´’ ` ´ a˙aye oa a oa o a a e ¯ˆ e . . . . thuˆn Q. a . ´ T´ chˆt 6.3.1 Ta c´ ınh a o I (z, v) ≥ 0; a` ´a ´ ´ ´ dˆ u bˇ ng xa y ra nˆu v` chı’ nˆu c´c t´n hiˆu v`o v` t´n hiˆu ra d ˆc lˆp thˆng kˆ. ˙ ’ e a ˙e aı e a aı e ¯o a o e . . .. Ch´.ng minh. Ap dung bˆ t d ˇng th´.c Jensen ta c´ ´ ´˙ ’ u a ¯a u o . J K P (aj )P (bk ) −I (z, v) = P (aj , bk ) log P (aj , bk ) j =1 k =1 J K ≤ log P (aj )P (bk ) j =1 k =1 = log 1 = 0. Ho.n n˜.a, do t´ lˆi thu.c su. cua h`m log x ta c´ dˆ u d ˇng th´.c nˆu v` chı nˆu ˙ ’ ınh ` ´ ´ a ˙e ’´ .˙ ’ u o a o a ¯a u e . .i moi j, k ; t´.c l` c´c t´ hiˆu v`o v` t´ hiˆu ra d oc lˆp P (aj , bk ) = P (aj )P (bk ) v´o u a a ın e a a ın e ¯ˆ a . . . .. ´ thˆng kˆ. 2 o e Gi´ tri cu.c d . i a . . ¯a C := max I (z, v), z trong d ´ maximum lˆ y trˆn tˆ t ca c´c x´c suˆ t c´ thˆ’ c´ cua c´c k´ hiˆu nguˆn, goi ˙ ´ ´’ ´ ` e a ˙a a a o eo˙ a y e ’ ¯o a o . . .o.ng cua kˆnh. Theo d inh ngh˜a, thˆng lu.o.ng cua kˆnh l` lu.o.ng thˆng tin ˙e ’ ˙e ’ l` thˆng lu . ao ¯. ı o a. o . tˆi d khi kˆnh cho d qua trong mˆt d o.n vi th`.i gian. Ho.n n˜.a, thˆng lu.o.ng cua ´ ˙ ’ o ¯a e ¯i o¯ .o u o . . ´’ ` a˙aye a˙ ’. kˆnh khˆng phu thuˆc v`o c´c x´c suˆ t cua c´c k´ hiˆu nguˆn m` chı phu thuˆc v`o e o oaaa o oa . . . . ´t c´ d ` u kiˆn x´c d inh kˆnh. c´c x´c suˆ o ¯iˆ aa a e e a ¯. e . V´ du 6.3.2 X´t nguˆn thˆng tin nhi phˆn v´.i bang ch˜. A = {a1, a2 } = {0, 1} ` ˙ ’ ı. e o o a o u . .o.ng u.ng l` P (a ) = p v` ´ ` v` c´c x´c suˆ t nguˆn tao ra c´c k´ hiˆu a1 v` a2 tu aa a a o. aye a ´ a a . 1 bs `a ˙ ’ P (a2 ) = 1 − pbs = pbs . Khi d ´ entropy cua nguˆn l` ¯ ¯o o H (z) = −pbs log2 pbs − pbs log2 pbs . ¯ ¯ 157
V` z = (P (a1 ), P (a2))t = (pbs , 1 − pbs )t nˆn H (z) chı phu thuˆc v`o tham sˆ pbs v` vˆ ´ ´ ˙ ’. ı e oa o ae . .o.ng tr` trˆn goi l` h`m entropy nhi phˆn, k´ hiˆu l` H (·). Do d ´, ˙˙ ’’ bˆn phai cua phu e ınh e . a a .a y e a bs ¯o . ¯log2 t. H` 6.5(a) l` d` thi cua h`m Hbs (pbs ) v´.i ¯ ınh a ¯ˆ . ˙ a ’ trong v´ du n`y Hbs (t) = −t log2 t − t ı.a o o .c d ai (1 bit) khi p = 1 . V´.i tˆ t ca c´c gi´ u´ ` ´’ oa ˙a 0 ≤ pbs ≤ 1. Ch´ y rˇ ng Hbs d at gi´ tri cu ¯ . a ¯. a.. a bs 2 .n 1 bit. ` ´ .a˙ ’ tri kh´c cua pbs nguˆn cung cˆ p thˆng tin ´t ho o a o ı Bˆy gi`. gia su. rˇ ng thˆng tin d .o.c truyˆn trˆn kˆnh nhi phˆn c´ nhiˆu v` x´c ’’` ˜ aa ` o ˙˙a a o ¯u . e ee .ao e . vˆy goi l` kˆnh d ˆi x´.ng ´˜ ` ` a ya o´ ´ suˆ t lˆi khi truyˆn mˆt k´ hiˆu nguˆn bˆ t k` l` pe . Kˆnh nhu a . a e ¯o u ao e oye e . . . .i ma trˆn biˆn d o’i kˆnh thuˆn ˙ ´´ ´ ˙ ’ nhi phˆn (viˆt tˇt BSC) v` x´c d .nh bo .a ea a a ¯i a e ¯ˆ e a . . 1 − pe pe pe pe ¯ Q= = . pe 1 − pe pe pe ¯ V´.i mˆi k´ hiˆu nguˆn, BSC sinh ra mˆt t´n hiˆu bj ∈ B = {b1 , b2} = {0, 1}. X´c suˆ t ˜ ` ´ o oye o oı e a a . . . .i ˙ a ın e ’ ˙ ’ cua c´c t´ hiˆu ra b1 v` b2 cho bo a . pe pe ¯ pbs pe pbs + pe pbs ¯ ¯ v = Qz = = . pe pe ¯ pbs ¯ pe pbs + pe pbs ¯¯ ´ ´eye ´ ´ Vˆy x´c suˆ t xuˆ t hiˆn k´ hiˆu 0 l` pe pbs + pe pbs v` x´c suˆ t xuˆ t hiˆn k´ hiˆu 1 l` aa a a a¯ ¯ aa a a eye a . . . . . pe pbs + pe pbs . ¯¯ Dˆ d`ng kiˆ’m tra thˆng tin tu.o.ng hˆ cua BSC bˇ ng ˙ ˜a ˜’ ` o˙ e e o a I (z, v) = Hbs (pps pe + pe pbs ) − Hbs (pe ), ¯¯ trong d ´ Hbs (·) l` h`m entropy nhi phˆn c´ d` thi trong H` 6.5(a). V´.i c´c gi´ tri ¯o aa . a o ¯ˆ . o ınh oa a. .n n˜.a n´ d t gi´ tri l´.n nhˆ t khi c´c k´ hiˆu nguˆn ´ ` pps = 0 hoˇc 1 th` I (z, v) = 0. Ho u o ¯a a . o a ı a aye o . . . e` c´ x´c suˆ t xuˆ t hiˆn bˇ ng nhau. H` 6.5(b) l` d` thi cua I (z, v) theo pbs khi cˆ ´ ´ ´ a ¯ˆ . ˙ ’ oa a a a ınh o o . ˜ d inh lˆi kˆnh pe . ¯. oe Ta biˆt rˇ ng, thˆng lu.o.ng cua BSC nhˆn d .o.c bˇ ng c´ch lˆ y maximum thˆng ´` a ¯u . ` ´ ˙ ’ ea o a a a o . . .o.ng hˆ theo tˆ t ca c´c kha nˇng cua x´c suˆ t nguˆn. H` 6.5(b) l` d` thi cua ˜ ´’ ´ ` a ˙a ˙a ’ ˙a ’ a ¯ˆ . ˙ ’ tin tu o a o ınh o I (z, v) theo tˆ t ca c´c gi´ tri cua h`m x´c suˆ t (t´.c l`, v´.i 0 ≤ pbs ≤ 1 hoˇc khi z ´’ ´uao a ˙a a.˙ a ’ a a a. . (0, 1)t dˆn (1, 0)t ). Ta thˆ y I (z, v) d t cu.c d ai (v´.i p bˆ t k`) khi p = 1 . thay d o’i t` ˙ ´ ´ ´ ¯ˆ u ¯e a ¯a . ¯ . oea y . bs 2 .o.ng u.ng z = ( 1 , 1 )t. Trong tru.`.ng ho.p n`y, I (z, v) = H (p ). Do d ´ Gi´ tri pbs n`y tu a. a ´ o a ¯o . bs e 22 .o.ng C = 1 − H (p ) cua BSC c´ d` thi trong H` 6.5(c). ˙ ’ thˆng lu . o o ¯ˆ . o ınh bs e Ch´ y rˇ ng khi khˆng c´ lˆi d .`.ng truyˆn (pe = 0) c˜ng nhu. khi chˇc chˇn c´ ` ˜ ´ ´ ` u´ a o o o ¯u o e u a ao lˆi (pe = 1) th` thˆng lu.o.ng cua kˆnh d . t gi´ tri l´.n nhˆ t 1bit/k´ hiˆu. Trong nh˜.ng ˜ ´ ˙e ’ o ıo ¯a a . o a ye u . . tru.`.ng ho.p n`y, c´ thˆ’ truyˆn thˆng tin nhiˆu nhˆ t v` t´n hiˆu ra cua kˆnh c´ thˆ’ ˙ ˙ ` ` ´ ˙e ’ o a oe e o e a ıı e oe . . ho`n to`n d o´n tru.´.c. Tuy nhiˆn, khi pe = 1 th` t´n hiˆu ra t`. kˆnh ho`n to`n khˆng a a ¯a o e ıı e ue a a o . 2 thˆ’ d o´n tru.´.c v` khˆng c´ thˆng tin n`o d .o.c truyˆn qua n´. ˙ ` e¯a oao oo a ¯u . e o 158