Bài giảng Toán trong công nghệ: Chương 4 - Nguyễn Linh Trung, Trần Thị Thúy Quỳnh

Chương 4:

Một biến ngẫu nhiên

Đại học Công nghệ, ĐHQGHN

Nguyễn Linh Trung Trần Thị Thúy Quỳnh

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm phân bố tích lũy (CDF)

Definition (Cumulative Distribution Function)

Hàm phân bố tích lũy CDF của một biến ngẫu nhiên X được cho bởi:

4 / 76

for − ∞ ≤ x ≤ ∞ FX (x) = P [X ≤ x],

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Example (CDF của biến ngẫu nhiên rời rạc)

Tung một đồng xu ba lần và ghi lại mặt sấp/ngửa của đồng xu ở mỗi lần tung. Gọi X là số các mặt ngửa trong ba lần tung. Tính CDF của X.

Không gian mẫu:

S = {HHH, HHT, HTH, HTT, THH, THT, TTH, TTT}

SX = {0, 1, 2, 3}

Các xác suất tương ứng:

pX (0) = 1/8; pX (1) = 3/8; pX (2) = 3/8; pX (3) = 1/8

Với x < 0: FX (x) = 0

5 / 76

Với 0 ≤ x < 1: FX (x) = P [X = 0] = 1/8

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Với 1 ≤ x < 2:

FX (x) = P [X = 0] + P [X = 1] = 1/8 + 3/8 = 4/8 = 1/2

Với 2 ≤ x < 3:

FX (x) = 1/8 + 3/8 + 3/8 = 7/8

Với x ≥ 3:

6 / 76

FX (x) = P [X ≤ 3] = 1/8 + 3/8 + 3/8 + 1/8 = 1

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Tổng thể



FX (x) =

7 / 76

  x < 0 0, 1/8, 0 ≤ x < 1 1/2, 1 ≤ x < 2 7/8, 2 ≤ x < 3 x ≥ 3 1,

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Example (CDF of biến ngẫu nhiên liên tục)

Quay một mũi tên có gốc được gắn tại tâm của một hình tròn. Gọi θ là góc mà mũi tên dừng lại, 0 < θ ≤ 2π. Xác suất để θ nằm trong một khoảng thuộc (0, 2π] tỷ lệ với chiều dài của khoảng đó. Biến ngẫu nhiên X được định nghĩa bởi X(θ) = θ/2π. Tìm CDF của X.

Với x < 0: FX (x) = P [X ≤ x] = P [∅] = 0

Với 0 ≤ x ≤ 1:

FX (x) = P [X ≤ x] = P [θ ≤ 2πx] = 2πx/2π = x

(chuẩn hóa chiều dài bằng 1). Với x > 1:

8 / 76

FX (x) = P [X ≤ x] = P [0 ≤ θ ≤ 2π] = 1

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Tổng thể

9 / 76

  FX (x) =  0, x < 0 x, 0 ≤ x ≤ 1 1, x > 1 a = 0, b = 1

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Tính chất của CDF

1 0 ≤ FX (x) ≤ 1 FX (x) = 1

4 FX (x) là hàm không giảm: nếu a < b thì FX (a) ≤ FX (b) 5 FX (x) là hàm liên tục phải: FX (b) = FX (b+) 6 P [a < X ≤ b] = FX (b) − FX (a) 7 P [X = a] = FX (a) − FX (a−) 8 P [X > x] = 1 − FX (x)

FX (x) = 0 lim x→∞ lim x→−∞

10 / 76

Tất cả các tính chất này cho phép chúng ta tính tất cả các xác suất thông qua FX (x).

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

CDF của biến ngẫu nhiên rời rạc

CDF của một biến ngẫu nhiên rời rạc là một hàm bậc thang, liên tục phải của x, các bước nhảy được thực hiện tại các điểm x0, x1, x2, . . .

xk≤x

(cid:88) (cid:88) pX (xk)u(x − xk) FX (x) = pX (xk) =

11 / 76

với pX (xk) là hàm xác suất khối PMFs và u(x) là hàm nhảy bậc đơn vị. Các xác suất được tính như tổng của PMF tại các điểm rời rạc.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

CDF của biến ngẫu nhiên liên tục

CDF của một biến ngẫu nhiên liên tục là liên tục tại mọi điểm và được cho bởi:

−∞

(cid:90) x f (λ)dλ FX (x) =

với f (x) là hàm không âm.

12 / 76

Các xác suất được tính bởi tích phân của "mật độ xác suất" trong một khoảng số thực.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

CDF của biến ngẫu nhiên kết hợp

CDF của một biến ngẫu nhiên kết hợp không chỉ nhảy bậc tại các điểm rời rạc có thể đếm được x0, x1, x2, . . ., mà còn tăng liên tục trên ít nhất một khoảng giá trị x nào đó:

FX (x) = pFd(x) + (1 − p)Fc(x)

13 / 76

với 0 < p < 1 là xác suất biến ngẫu nhiên là rời rạc/liên tục, Fd(x) là CDF của biến ngẫu nhiên rời rạc và Fc(x) là CDF của biến ngẫu nhiên liên tục.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Example (Biến ngẫu nhiên kết hợp)

Thời gian đợi X của một hành khách tại trạm chờ taxi bằng 0 nếu hành khách thấy taxi đỗ tại trạm chờ, và và phân bố đều trong khoảng [0, 1] (giờ) nếu không có taxi nào ở trạm chờ. Gọi p là xác suất để taxi đang đỗ ở trạm chờ khi hành khách tới. Tính CDF của X.

Sử dụng định lý xác suất tổng cộng:

FX (x) = P [X ≤ x|thấy taxi]p + P [X ≤ x|không thấy taxi](1 − p)

Phần rời rạc

14 / 76

(cid:40) Fd(x) = P [X ≤ x|thấy taxi] = 0, x < 0 1, x ≥ 0

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Phần liên tục

  Fc(x) = P [X ≤ x|không thấy taxi] =  0, x < 0 x, 0 ≤ x ≤ 1 1, x > 1

CDF tổng thể

15 / 76

x < 0   FX (x) =  0, p + (1 − p)x, 0 ≤ x ≤ 1 1, x > 1

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm mật độ xác suất (Probability Density Function - PDF)

Definition Hàm mật độ xác suất (PDF) của X

17 / 76

fX (x) = FX (x) d dx

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Xét xác suất để X nằm trong một khoảng nhỏ (x, x + h]), ta có:

dx FX (x), hay PDF biểu diễn

h P [x < X ≤ x + h] = FX (x + h) − FX (x) = [FX (x + h) − FX (x)] h

18 / 76

Khi h rất nhỏ thì h → dx và fX (x) = d mật độ xác suất tại điểm x và P [x < X ≤ x + h] ∼= fX (x)dx.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Example (PDF biến ngẫu nhiên liên tục)

CDF của X là:

  FX (x) =  0, x < 0 x, 0 ≤ x ≤ 1 1, x > 1 a = 0, b = 1

PDF là vi phân của CDF nên:

19 / 76

  fX (x) =  0, x < 0 1, 0 ≤ x ≤ 1 0, x > 1 a = 0, b = 1

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Tính chất của PDF

1 Do CDF là hàm không giảm của x, nên PDF là một hàm không âm:

2 Xác suất của một khoảng [a, b] là diện tích được chặn bởi fX (x)

fX (x) ≥ 0

trong khoảng đó:

20 / 76

(cid:90) b P [a ≤ X ≤ b] = fX (x)dx

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

3 PDF xác định toàn bộ đặc điểm của biến ngẫu nhiên liên tục:

−∞

4 Xác suất tổng cộng

(cid:90) x FX (x) = fX (λ)dλ

−∞

(cid:90) ∞ fX (λ)dλ = 1

Một PDF có thể được tạo thành từ bất kì hàm liên tục, không âm g(x) có tích phân hữu hạn

−∞

21 / 76

(cid:90) ∞ g(x)dx = c < ∞ =⇒ fX (x) = g(x)/c.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Example (PDF của biến ngẫu nhiên rời rạc)

Xét lại bài toán: Một đồng xu được tung ba lần và ghi lại tuần tự mặt sấp/ngửa. Gọi X là số mặt ngửa trong ba lần tung. Tìm PDF của X.

Biết CDF



FX (x) =

  0, x < 0 1 8 , 0 ≤ x < 1 1 2 , 1 ≤ x < 2 7 8 , 2 ≤ x < 3 1, x ≥ 3

22 / 76

Làm sao tính được PDF? Chúng ta không thể thực hiện việc vi phân CDF do vi phân CDF không tồn tại tại các điểm rời rạc (x = 0, 1, 2, 3) !!!

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

PDF của biến ngẫu nhiên rời rạc

Biết rằng CDF của một biến ngẫu nhiên rời rạc được cho bởi:

(cid:88) FX (x) = pX (xk)u(x − xk)

Biểu diễn u(x) dưới dạng hàm δ(x) như sau:

−∞

(cid:90) x (cid:90) x u(x) = δ(t)dt; u(x − xk) = δ(t − xk)dt

−∞

23 / 76

Do đó: (cid:34) (cid:35) (cid:90) x (cid:88) dt FX (x) = pX (xk)δ(t − xk)

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Do đó, PDF của một biến ngẫu nhiên rời rạc là:

dx FX (x) cho cả biến

(cid:88) fX (x) = FX (x) = pX (xk)δ(x − xk) d dx

Chúng ta có thể sử dụng định nghĩa fX (x) = d ngẫu nhiên rời rạc và liên tục. Quay trở lại ví dụ:



FX (x) =

24 / 76

  0, x < 0 1 8 , 0 ≤ x < 1 1 2 , 1 ≤ x < 2 7 8 , 2 ≤ x < 3 1, x ≥ 3

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

CDF được viết lại như sau:

u(x) + u(x − 1) + u(x − 2) + u(x − 3) FX (x) = 1 8 3 8 3 8 1 8

Do đó, PDF được cho bởi:

25 / 76

δ(x) + δ(x − 1) + δ(x − 2) + δ(x − 3) fX (x) = 1 8 3 8 3 8 1 8

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

CDF và PDF có điều kiện

Definition (CDF & PDF có điều kiện)

CDF điều kiện của biến ngẫu nhiên X với điều kiện C cho bởi:

, if P [C] > 0 FX (x|C) = P [{X ≤ x} ∩ C] P [C]

PDF điều kiện của biến ngẫu nhiên X với điều kiện C cho bởi:

26 / 76

fX (x|C) = FX (x|C) d dx

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

n (cid:88)

Với các phân mảnh B1, . . . , Bn của S được cho trước, chúng ta có thể sử dụng công thức xác suất tổng cộng để tính được CDF và PDF dưới dạng CDF điều kiện và PDF điều kiện:

i=1

n (cid:88)

FX (x) = FX (x|Bi)P [Bi]

i=1

27 / 76

fX (x) = fX (x|Bi)P [Bi]

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Example

e−x2

Một hệ truyền tin nhị phân gửi bit “0” bằng cách phát tín hiệu có điện áp −v, và bit “1” bằng cách phát điện áp +v bị ảnh hưởng bởi nhiễu. Gọi X là tín hiệu được phát đi, N là nhiễu với PDF fN (x) = 1√ . Tín hiệu 2π thu được cho bởi: Y = X + N . Giả thiết rằng P [1] = p. Tính PDF của Y .

Nếu bit “0” được phát, thì X = −v, do đó Y = −v + N . Biến cố Y ≤ x tương đương với −v + N ≤ x, và do đó N ≤ x + v.

28 / 76

Nếu bit “1” được phát, thì X = v, do đó Y = v + N . Biến cố Y ≤ x tương đương với v + N ≤ x, và do đó N ≤ x − v

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Sử dụng định lý xác suất tổng cộng, ta có:

FY (x) = FY (x|X = −v)P [0] + FY (x|X = v)P [1] = FN (x + v)(1 − p) + FN (x − v)p

Thực hiện vi phân hai vế theo x ta có:

fY (x) = fY (x|X = −v)P [0] + fY (x|X = v)P [1] = fN (x + v)(1 − p) + fN (x − v)p

29 / 76

e−(x+v)2 (1 − p) + e−(x−v)2 p = 1 √ 2π 1 √ 2π

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

30 / 76

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Giá trị kỳ vọng (µX)

Ký hiệu giá trị kỳ vọng của X: E[X], µX Xét lại giá trị kỳ vọng của một RV ngẫu nhiên:

(cid:88) µX = pX (xk)xk

Nói chung, chúng ta có thể diễn đạt giá trị kỳ vọng dưới dạng PDF như sau:

Definition Giá trị kỳ vọng của X được cho bởi

−∞

32 / 76

(cid:90) ∞ µX = E[X] = xfX (x)dx

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Trung bình µX là tâm khối của phân bố: Trung bình số học của tất cả các điểm được trọng số bởi mật độ "local" hoặc một trọng số xác định Khi X là rời rạc:

−∞

(cid:35) (cid:34) (cid:90) ∞ (cid:88) E[X] = dx x pX (xk)δ(x − xk)

−∞

k (cid:88)

(cid:20)(cid:90) ∞ (cid:88) = (cid:21) xδ(x − xk)dx pX (xk)

33 / 76

= xkpX (xk)

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Tương tự, chúng ta có thể biểu diễn các moment khác dưới dạng PDF của X:

Definition Moment bậc n-th của X được cho bởi

−∞

(cid:90) ∞ E[X n] = xnfX (x)dx

Giả thiết Y = g(X). Thì, giá trị kỳ vọng của Y được cho bởi

−∞

34 / 76

(cid:90) ∞ E[Y ] = g(x)fX (x)dx

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Example

Cho Y = a cos(ωt + Θ) với a, ω, t là hằng số, và Θ biến ngẫu nhiên phân bố đều trong khoảng [0, 2π]. Biến ngẫu nhiên Y hình thành ứng với giá trị pha Θ ngẫu nhiên. Tìm giá trị kỳ vọng của Y và giá trị kỳ vọng của Y 2.

0 0 = 0

(cid:90) 2π E[Y ] = E[a cos(ωt + Θ)] = a cos(ωt + θ) dθ 1 2π = −a sin(ωt + θ)|2π

35 / 76

cos(2ωt + 2Θ)] + E[Y 2] = E[a2 cos2(ωt + Θ)] = E[ a2 2 a2 2 (cid:90) 2π cos(2ωt + 2θ) dθ = = + 1 2π a2 2 a2 2 a2 2

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Phương sai (σ2

Ký hiệu phương sai của X: V AR[X] hoặc σ2 X

X = E[(X − µX )2] σ2

Definition Phương sai của X được tính bởi

X = E[X 2] − µ2 X

Biểu thức rút gọn: σ2

36 / 76

Độ lệch chuẩn của X là σX

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

37 / 76

σ2 X đo độ trải của PDF xung quanh µX

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Độ nghiêng (γX)

Definition Độ nghiêng của X được tính bởi:

(cid:19)3(cid:35) γX = E (cid:34)(cid:18) X − µX σX

γX đo độ bất đối xứng của PDF

38 / 76

bên trái bị nghiêng đuôi bên trái bị kéo dài bên phải bị nghiêng đuôi bên phải bị kéo dài

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Một số biến ngẫu nhiên quan trọng

1 Uniform

1 Bernoulli

2 Exponential

2 Binomial

3 Gaussian (normal)

3 Geometric

4 Gamma

4 Uniform

5 Laplacian

5 Poisson

6 Rayleigh

6 Zipf

7 Cauchy

8 Pareto

9 Beta

40 / 76

Biến ngẫu nhiên liên tục Biến ngẫu nhiên rời rạc

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố đều

Definition Biến ngẫu nhiên phân bố đều xuất hiện trong các trường hợp tất cả các giá trị trong một khoảng số thực xuất hiện như nhau. Biến ngẫu nhiên phân bố đều X trong khoảng [a, b] có PDF:

b−a , a ≤ x ≤ b 0,

(cid:40) 1 fX (x) = x < a và x > b

41 / 76

Tính CDF, Kỳ vọng, và Phương sai của biến ngẫu nhiên X.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố đều

Kết quả CDF

  FX (x) =  0, x < a x−a b−a , a ≤ x ≤ b x > b 1,

Kỳ vọng

E[X] = a + b 2 Phương sai

42 / 76

V AR[X] = (b − a)2 2

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố mũ

Definition Biến ngẫu nhiên phân bố mũ xuất hiện trong mô hình thời gian giữa các biến cố (ví dụ: thời gian giữa hai khách hàng để thực hiện cuộc gọi), và trong mô hình thời gian sống của thiết bị/hệ thống. Biến ngẫu nhiên phân bố mũ X với tham số λ có PDF:

(cid:40) fX (x) = 0, x < 0 λe−λx, x ≥ 0

43 / 76

Tính CDF, Kỳ vọng, và Phương sai của biến ngẫu nhiên X.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố mũ

Kết quả CDF (cid:40) FX (x) = 0, x < 0 1 − e−λx, x ≥ 0

Kỳ vọng

E[X] = 1 λ Phương sai

44 / 76

V AR[X] = 1 λ2

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố mũ

Definition Biến ngẫu nhiên phân bố mũ xuất hiện trong mô hình thời gian giữa các biến cố, và trong mô hình thời gian sống của thiết bị/hệ thống. Biến ngẫu nhiên phân bố mũ X với tham số λ có PDF:

(cid:40) fX (x) = 0, x < 0 λe−λx, x ≥ 0

45 / 76

Tính CDF, Kỳ vọng, và Phương sai của biến ngẫu nhiên X.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố Gauss (Chuẩn)

Definition Rất nhiều hiện tượng trong tự nhiên cũng như do con người tạo ra liên quan đến biến ngẫu nhiên X là tổng của nhiều biến ngẫu nhiên có cùng phân bố. Việc mô tả chính xác X dưới dạng các biến ngẫu nhiên thành phần quá phức tạp và khó thực hiện. Một cách tổng quát, khi số lượng biến ngẫu nhiên lớn, CDF của X tiến tới biến ngẫu nhiên phân bố Gauss, và được gọi là phân bố chuẩn. Biến ngẫu nhiên phân bố Gauss X có PDF:

√ e−(x−m)2/2σ2 , −∞ ≤ x ≤ ∞ fX (x) = 1 2πσ

với m và σ lần lượt là giá trị trung bình và độ lệch chuẩn của X.

46 / 76

Tính CDF của biến ngẫu nhiên X.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố Gauss (Chuẩn)

−∞

Kết quả CDF (cid:90) x √ P [X ≤ x] = e−(u−m)2/2σ2 du 1 2πσ

Đặt t = (u − m)/σ thì

−∞

(cid:19) (cid:90) (x−m)/σ e−t2/2dt = Φ FX (x) = (cid:18) x − m σ 1 √ 2π

với Φ(x) là CDF của biến ngẫu nhiên có m = 0 và σ = 1:

−∞

47 / 76

(cid:90) x e−t2/2dt Φ(x) = 1 √ 2π

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố Gauss (Chuẩn)

Tích phân trong biểu thức biểu diễn CDF của biến ngẫu nhiên phân bố Gauss có m = 0 và σ = 1 không có dạng biểu thức đóng (closed form) mà thường được tính thông qua giá trị Q với quan hệ:

Q(x) = 1 − Φ(x)

Hàm Q có thể tính bằng cách: Xấp xỉ bởi công thức:

(cid:20) 1 √ (cid:21) 1 √ Q(x) (cid:39) e−x2/2 2π (1 − a)x + a x2 + b

với a = 1/π và b = 2π. Tra bảng (trang sau) Và Q có một số tính chất sau:

48 / 76

Q(0) = 1/2 Q(−x) = 1 − Q(x)

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Biến ngẫu nhiên phân bố Gauss (Chuẩn)

49 / 76

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm của biến ngẫu nhiên

Definition Y = g(X) là hàm của biễn ngẫu nhiên X. Y cũng là một biến ngẫu nhiên. Xác suất để Y nhận một giá trị nào đó phụ thuộc vào hàm g(x) và CDF của X.

P [Y in C] = P [g(X) in C] = P [X in B]

−∞

51 / 76

(cid:90) ∞ E[g(X)] = g(x)fX (x)dx

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm của biến ngẫu nhiên

Example

52 / 76

Cho Y = aX + b với a (cid:54)= 0 là hằng số. Giả thiết X có CDF là FX (x). Tính CDF FY (y).

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm của biến ngẫu nhiên

Kết quả

a ),

a ] = FX ( y−b a ] = 1 − FX ( y−b

53 / 76

(cid:40) FY (y) = P [Y ≤ y] = P [X ≤ y−b P [X ≥ y−b a > 0 a ), a < 0

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm của biến ngẫu nhiên

Example

X là biến ngẫu nhiên có phân bố Gauss với giá trị trung bình m và độ lệch chuẩn σ:

√ e−(x−m)2/2σ2 , −∞ ≤ x ≤ ∞ fX (x) = 1 2πσ

54 / 76

Cho Y = aX + b với a (cid:54)= 0 là hằng số. Tính PDF fY (y).

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm của biến ngẫu nhiên

a ),

Kết quả Ta có: (cid:40) FY (y) = P [Y ≤ y] = FX ( y−b 1 − FX ( y−b a > 0 a ), a < 0

dFX ( y−b a ) dy

d(1−FX ( y−b dy

  a > 0 = fY (y) = dFY (y) dy = fX ( y−b a ) , = − fX ( y−b a ) a )) , a < 0 

√ e−(y−b−am)2/2(aσ)2 fY (y) = 1 2π|a|σ

55 / 76

Như vậy, Y cũng là một biến ngẫu nhiên phân bố Gauss với giá trị trung bình (b + am) và độ lệch chuẩn (aσ). Hàm tuyến tính của một biến ngẫu nhiên Gauss cũng là một biến ngẫu nhiên Gauss.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm của biến ngẫu nhiên

Example

X là biến ngẫu nhiên có phân bố Gauss với giá trị trung bình m và độ lệch chuẩn σ:

√ e−(x−m)2/2σ2 , −∞ ≤ x ≤ ∞ fX (x) = 1 2πσ

56 / 76

Cho Y = X 2. Tính CDF FY (y) và PDF fY (y). Nhận xét về phân bố của biến ngẫu nhiên Y .

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Hàm của biến ngẫu nhiên

Kết quả Ta có: √ √ y ≤ X ≤ y] FY (y) = P [Y ≤ y] = P [X 2 ≤ y] = P [−

√

y) − fX (−

−2

√ y) y , √

√

(cid:40) FY (y) = √ √ y), y < 0 y > 0 0, FX ( y) − FX (− (cid:40) = fY (y) = dFY (y) dy y < 0 y > 0 0, fX ( √ 2 (cid:40) √ √ fY (y) = 0, 1 √ y)(cid:3) , y < 0 y > 0 y) + fX (−

y−m)2/2σ2

y−m)2/2σ2 (cid:105)

(cid:2)fX ( (cid:104) e−( + e−(− fY (y) = 1 √ 2π √ 2 yσ

57 / 76

Như vậy, Y không có phân bố Gauss.

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Bất đẳng thức Markov và Chebyshev

Thông thường giá trị trung bình và phương sai của một RV không cung cấp đủ thông tin để xác định cdf/pdf. Tuy nhiên, chúng được dùng để xác định các đường biên xác suất.

Definition Bất đẳng thức Markov

59 / 76

P [X ≥ a] ≤ với X không âm E[X] a

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Bất đẳng thức Markov và Chebyshev

Example

60 / 76

Chiều cao trung bình của một học sinh lớp 1 là 100 cm. Tính đường bao trên của xác suất để chiều cao của một học sinh trong lớp lớn hơn hoặc bằng 150 cm.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Bất đẳng thức Markov và Chebyshev

Kết quả

61 / 76

P [X ≥ 150] ≤ = = 0, 67 E[X] 150 100 150

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Bất đẳng thức Markov và Chebyshev

Nếu biết trước biến ngẫu nhiên X có E[X] = m và V AR[X] = σ2, thì

Definition Bất đẳng thức Chebyshev

62 / 76

P [|X − m| ≥ a] ≤ σ2 a2

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Bất đẳng thức Markov và Chebyshev

Example

63 / 76

Một hệ thống máy tính đa người dùng có giá trị trung bình và độ lệch chuẩn của thời gian đáp ứng lần lượt là 15s và 3s. Ước tính xác suất để thời gian đáp ứng lệch so với giá trị trung bình nhiều hơn 5s.

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Bất đẳng thức Markov và Chebyshev

Kết quả

64 / 76

P [|X − 15| ≥ 5] ≤ 32 52 = 0, 36

Nội dung

1 Hàm phân bố tích lũy (CDF-Cumulative Distribution Function )

2 Hàm mật độ xác suất (Probability Density Function - PDF)

3 Các kỳ vọng

4 Một số biến ngẫu nhiên quan trọng

5 Hàm của biến ngẫu nhiên

6 Bất đẳng thức Markov và Chebyshev

7 Các phương pháp biến đổi

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

Các phương pháp chuyển đổi là công cụ hữu ích hỗ trợ giải các phương trình chứa vi phân và tích phân hàm.

Một số phương pháp biến đổi:

66 / 76

Hàm đặc trưng ΦX (ω) Hàm tạo xác suất GN (z) Hàm biến đổi Laplace của PDF X ∗(s)

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

Definition Hàm đặc trưng của một biến ngẫu nhiên X được định nghĩa bởi:

−∞

(cid:90) ∞ ΦX (ω) = E[ejωX ] = ejωxfX (x)dx

−∞

Nếu coi ΦX (ω) là phép biến đổi Fourier, thì phép biến đổi Fourier ngược sẽ là: (cid:90) ∞ fX (x) = ΦX (ω)e−jωxdω 1 2π

Nếu X là biến ngẫu nhiên rời rạc thì:

67 / 76

(cid:88) ΦX (ω) = pX (xk)ejωxk

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

Example

Biến ngẫu nhiên mũ có PDF:

fX (X) = λe−λx

với x ≥ 0 và λ > 0. Tính hàm đặc trưng:

(cid:90) ∞ ejωxλe−λxdx ΦX (ω) = E[ejωX ] =

68 / 76

(cid:90) ∞ = λ e−(λ−jω)xdx = λ λ − jω

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

Example

Biến ngẫu nhiên Geometric có:

pX (xk) = pX (k) = p(1 − p)k

với k = 0, 1, . . . Tính hàm đặc trưng:

∞ (cid:88)

(cid:88) ΦX (ω) = E[ejωX ] = pX (xk)ejωxk

k=0

69 / 76

= p(1 − p)kejωk = p [(1 − p)ejω]k = p 1 − (1 − p)ejω

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

70 / 76

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

2! + · · · + (jωx)n

Tính các moment của biến ngẫu nhiên X từ hàm đặc trưng ΦX (x) Khai triển ejωx = 1 + jωx + (jωx)2

−∞

(cid:21) (cid:20) (cid:90) ∞ 1 + jωx + + · · · + ΦX (ω) = fX (x)dx (jωx)2 2! (jωx)n n!

= 1 + jωE[X] + + · · · + (jω)2E[X 2] 2! (jω)nE[X n] n!

Vậy

71 / 76

= jnE[X n] ⇒ E[X n] = 1 jn (cid:12) dn (cid:12) (cid:12) dωn ΦX (ω) (cid:12) (cid:12)ω=0 (cid:12) dn (cid:12) (cid:12) dωn ΦX (ω) (cid:12) (cid:12)ω=0

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

Example Biến ngẫu nhiên mũ có PDF: fX (x) = λe−λx với x ≥ 0 và λ > 0. Và hàm đặc trưng:

ΦX (ω) = λ λ − jω

72 / 76

Tính E[X] và V AR[X] sử dụng hàm đặc trưng ΦX (ω).

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

Kết quả

1 E[X] = λ(−1) = 1 j d dω 1 j (cid:12) (cid:12) (cid:12) ΦX (ω) (cid:12) (cid:12)ω=0 (cid:12) (cid:12) (cid:12) (λ − jω)2 (−j) (cid:12) (cid:12)ω=0

= E[X] = 1 j λj (λ − jω)2 1 λ (cid:12) (cid:12) (cid:12) (cid:12) (cid:12)ω=0

1 E[X 2] = = 1 j2 (cid:12) d2 (cid:12) (cid:12) dω2 ΦX (ω) (cid:12) (cid:12)ω=0 (cid:12) (cid:12) (cid:12) (λ − jω)3 (−j) (cid:12) (cid:12)ω=0

= E[X 2] = 1 j2 −2λ (λ − jω)3 2 λ2

73 / 76

V AR[X] = E[X 2] − E2[X] = 1 j2 λj(−2) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12)ω=0 2 λ2 − 1 λ2 = 1 λ2

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi

Các phương pháp biến đổi

∞ (cid:88)

Definition Hàm tạo xác suất - Probability generating function GN (n) của một biến ngẫu nhiên N có giá trị nguyên không âm (biến ngẫu nhiên rời rạc không âm) được định nghĩa bởi:

k=0

GN (z) = E[zN ] = pN (k)zk

Biểu thức thứ nhất là giá trị kỳ vọng một hàm của N , zN . Biểu thức thứ hai là biến đổi Z của hàm PMF (pN (k)). Ngoài ra, mối quan hệ giữa hàm đặc trưng và hàm G là: ΦN (ω) = GN (ejω). Khi đó,

74 / 76

pN (k) = 1 k! dk dzk GN (z) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12)z=0

CDF PDF Các kỳ vọng Một số biến ngẫu nhiên quan trọng Hàm của biến ngẫu nhiên Bất đẳng thức Markov và Chebyshev Các phương pháp biến đổi