7/2/2010
1
Chương 1:
Các khái niệm căn bản
1.1 Độkhông chắc chắn
Mô hình truyền thông
•Lý thuyết thông tin khảo sát vềhệthống truyền
thông. Sơđồnhưsau.
Nguồn Mã Kênh Giải mã Đích
Nhiễu
7/2/2010
2
Huỳnh Văn Kha
7/2/2010
2
Mô hình truyền thông
•Nguồn: phát ra thông tin
•Mã: thủtục chuyển đổi mẫu tin thành “thực thể”
thích hợp đểtruyền qua kênh
•Kênh: truyền đi mẫu tin đã mã hóa, trong quá
trình này chịu sựtác động của Nhiễu
•Giải mã: thủtục biến đổi output của kênh thành
mẫu tin ban đầu
•Đích: nhận thông tin
7/2/2010
3
Huỳnh Văn Kha
Mục ñích của LTTT
•LTTT nhằm xây dựng mô hình toán học cho mỗi
khối trong sơđồtruyền thông
•Không đi sâu vào chi tiết kỹthuật mà chỉkhảo
sát chủyếu vềlý thuyết mã hóa và giải mã
•Định lý căn bản của LTTT phát biểu: Có thể
truyền thông tin qua một kênh bịnhiễu theo một
định lượng truyền bất kỳ nhỏhơn dung lượng
kênh theo một xác suất sai nhỏtùy ý.
7/2/2010
4
Huỳnh Văn Kha
7/2/2010
3
Ý nghĩa của ðịnh lý căn bản
•Giảsửnguồn sinh ra một chuỗi bit 0,1 với xác
suất nhưnhau với định lượng sinh 1 bit/giây. Giả
sửcác bit được sinh ra độc lập nhau.
•Chúng được truyền qua một kênh có xác suất
truyền sai 1 bit bất kỳ là ¼. Giảsửtốc độtruyền
qua kênh là 1 bit/giây.
Nguồn
0
1
0
1
¾
¼
¾
¼
7/2/2010
5
Huỳnh Văn Kha
Ý nghĩa của ðịnh lý căn bản
•Do xác suất sai ¼ là quá lớn, ta tìm cách làm
giảm xác suất này xuống.
•Một cách làm là mỗi bit sinh ra được truyền qua
kênh 3 lần và giải mã theo nguyên tắc đa số.
•Xác xuất đểgiải mã sai là:
7/2/2010
6
Huỳnh Văn Kha
7/2/2010
4
Ý nghĩa của ñịnh lý căn bản
•Nhưvậy đã giảm được xác suất sai
•Nhưng phải trảgiá: Giảm định lượng sinh của
nguồn xuống còn 1/3 bit/giây
•Tổng quát, xác suất sai của kênh là β < ½ , mỗi
bit nguồn được truyền 2n+1 lần và giải mã theo
đa số.Thì:
7/2/2010
7
Huỳnh Văn Kha
Ý nghĩa của ðịnh lý cơbản
•p(e)0 khi n ∞
•Nhưvậy có thểgiảm xác suất sai xuống bất kỳ
nếu giảm định lượng sinh xuống nhỏgần bằng 0
•Điều cốt lõi của định lý căn bản là nó khẳng định:
Không cần phải giảm định lượng sinh về0 mà
chỉcần giảm vềmột đại lượng gọi là dung lượng
kênh.
•Đểđạt được điều này chúng ta cần tới lý thuyết
mã
7/2/2010
8
Huỳnh Văn Kha
7/2/2010
5
Hàm ño ñộkhông chắc chắn
•Biến ngẫu nhiên X có các giá trịvà
xác suất tương ứng
•Ký hiệu:
•Hàm đo độkhông chắc chắn của biến X được
định nghĩa (log được lấy theo cơsố2):
•Thỉnh thoảng ta cũng viết thay
cho
7/2/2010Huỳnh Văn Kha
9
Hàm ño ñộkhông chắc chắn
•Ví dụ1: biến ngẫu nhiên X có
•Ví dụ2: biến ngẫu nhiên X có
7/2/2010Huỳnh Văn Kha
10