Chapter 3.4: Nguồn tin
CuuDuongThanCong.com https://fb.com/tailieudientucntt
cuu duong than cong . com
3.4.1. Nguồn tin là gì?
•Thông tin là khái niệm trừu tượng. Đểnói vềthông tin, lý thuyết thông tin gán cho mỗi tin một
ký hiệu của một nguồn
•Tập ký hiệu của nguồn cũng được gọi là bảng chữcủa nguồn thường là hữu hạn S = {s1, s2, …,
sq}
•Nguồn phát một choỗi các ký hiệu (bản tin) từbangr chữcái (alphabet) m = {si1, si2, …} ; sij là ký
hiệu si ϵS, được tạo ra tại thời điểm j
•Mỗi ký hiệu được tạo ra tuân theo một luật phân bốxác suất
•Mô hình S
si1, ..,Sij, …
•Tại mỗi thời điểm, ký hiệu được phát ra được coi là 1 giá trịcủa một biến ngâu nghiên (ví dụX)
•Xác suất của giá trịcủa biến ngâu nhiên = xác suất của ký hiệu
•Nguồn là một biến ngẫu nhiên
CuuDuongThanCong.com https://fb.com/tailieudientucntt
cuu duong than cong . com
3.4.2. Các loại nguồn
•Nguồn rời rạc
•Tạo ra các chữcái (ký hiệu nguồn) rời rạc
•Bảng chữcái thường là hữu hạn
•Nguồnđượcmô tảbởi mộtbiếnngẫunhiên
•Các loại nguồn rời rạc:
•Nguồn rời rạc không nhớ: các chữđược tạora độc lậpnhau.
•Chữtạo ra ởmộtthờiđiểm không phụthuộc vào chữtạo ra ởbất cứthờiđiểm nào khác
•Biếnngẫu nhiên mô tảnguồn này là
•X = {x1, x2…xn}
•P(X) = {P(x1), P(x2),…P(Xn)}
•Nguồn rời rạccó nhớ: mộtký hiệu nguồn (chữ) được tạo ra phụthuộc vào một sốchữđã
tạo ra trướcđó
•Cấp của nguồnlà thứtựnguồn (tính các chữđã tạo ra trướcđó)
•Nguồncó nhớthường đượcmô hình hóa bởi chuỗi Markov và gọilà nguồn Markov.
•Nguồn Ergodic là nguồncó đặctrưng không phụthuộc gốcthời gian và trịtrung bình theo
thời gian bằng trịtrung bình theo tập hợp
CuuDuongThanCong.com https://fb.com/tailieudientucntt
cuu duong than cong . com
3.4.2. các loại nguồn (cont.)
•Nguồn liên tục:
•Bảntin tạo ra là liên tục (theo cảthời gian và giá trị)
•Bản tin tạo ra sẽcó dạng một hàm liên tục
•Biếnngẫu nhiên mô tảnguồn liên tục
•X = P{x} xmin <x < xmax
•P{x}: Hàm mậtđộxác suất
CuuDuongThanCong.com https://fb.com/tailieudientucntt
cuu duong than cong . com
3.4.2. các loại nguồn (Cont.)
•Nguồnnhịphân:
•Nguồn rời rạc
•Bảng chữhay tập tin của nguồnchỉcó 2 giá trị
•Ví dụ: X = {0,1}; P(X)= {0.5, 0.5}
•Nguồn Markov:
Mỗiký hiệu nguồnchỉphụthuộc vào 1 ký hiệuxuấthiệntrướcnó.
•Tại thờiđiểm n, đầu ra của nguồn là ký hiệuxj với xác suất pij = p(xj,n|xi,n-
1) khi tại(n-1) đầu ra của nguồnlà xi
•L: sốlượng ký hiệu của nguồn
CuuDuongThanCong.com https://fb.com/tailieudientucntt
cuu duong than cong . com