Bài giảng Lý thuyết thông tin: Chương 1.2 - ThS. Huỳnh Văn Kha

Chia sẻ: Ngocnga Ngocnga | Ngày: | Loại File: PDF | Số trang:9

Thêm vào BST

Báo xấu

87
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nối tiếp nội dung ở chương 1.1, bài giảng Lý thuyết thông tin - Chương 1.2: Các khái niệm căn bản cung cấp cho người học những kiến thức về đo thông tin. Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Lý thuyết thông tin: Chương 1.2 - ThS. Huỳnh Văn Kha

Chương 1: Các khái niệm căn bản 1.2 Đo thông tin
2 Huỳnh Văn Kha 06/03/11 ðộ không chắc chắn có ñiều kiện và là hai biến ngẫu nhiên • ðộ không chắc chắn của với ñiều kiện • ðộ không chắc chắn của với ñiều kiện là trung bình theo trọng lượng của , nghĩa là:
3 Huỳnh Văn Kha 06/03/11 ðịnh lý 1.4 Chứng minh: Do nên ta có ñiều cần chứng minh
4 Huỳnh Văn Kha 06/03/11 ðịnh lý 1.5 Dấu bằng xảy ra khi và chỉ khi và ñộc lập Chứng minh: Theo ñịnh lý 1.4 thì: Theo ñịnh lý 1.3 thì: Dấu bằng xảy ra khi và chỉ khi , ñộc lập Từ hai ñiều này ta suy ra ñiều cần chứng minh
5 Huỳnh Văn Kha 06/03/11 ðo thông tin • Có 2 đồng xu, một đồng cân bằng, một đồng có 2 mặt đều xấp. • Chọn ngẫu nhiên một đồng, tung hai lần. • Nếu biết tổng số mặt xấp của hai lần tung thì ta biết gì về đồng xu được chọn? • Nếu số mặt xấp ít hơn 2 thì đồng xu được chọn là đồng xu cân bằng ngược lại thì không chắc chắn • Kết quả một sự kiện có thể cho ta biết một số thông tin về các sự kiện khác
6 Huỳnh Văn Kha 06/03/11 ðo thông tin • Biết trước kết quả biến ngẫu nhiên Y, đại lượng nào sẽ đo lượng thông tin có thể biết được của biến ngẫu nhiên X? • Gọi X là biến ngẫu nhiên nhận giá trị 0 nếu đồng xu cân bằng được chọn, nhận giá 1 nếu đồng xu còn lại được chọn, Y là tổng số mặt xấp 0 0 1/4 X 1/2 1 Y 1/4 1 1 2
7 Huỳnh Văn Kha 06/03/11 ðo thông tin • Khi chọn ngẫu nhiên 1 đồng xu thì độ không chắc chắn cần xác định là H(X) • Sau khi biết được tổng số mặt xấp thì độ không chắc chắn cần xác định chỉ còn là H(X|Y) • Do đó người ta định nghĩa lượng thông tin thu được về biến X khi biết Y là: I(X|Y) = H(X) – H(X|Y) • I(X|Y) được sử dụng nhiều trong việc truyền tải thông tin qua kênh bị nhiễu, mà ta sẽ xét kỹ trong chương 3
8 Huỳnh Văn Kha 06/03/11 Một số tính chất của • Do ñịnh lý 1.5, ta thấy , dấu bằng xảy ra khi và chỉ khi , ñộc lập • Theo ñịnh lý 1.4: Do ñó: Nhưng: Vậy:
9 Huỳnh Văn Kha 06/03/11 • Tính I(X|Y) trong ví dụ trên? • Tính I(Y|X) trong ví dụ trên? • Chú ý: Nếu ta biết trước các xác xuất thì nên tính theo công thức