Bài giảng "Lý thuyết xác suất và thống kê toán học - Chương 6: Lý thuyết ước lượng" cung cấp cho người học các kiến thức: Hàm ướ lượng của một tham số chưa biết, ước lượng tham số theo phương pháp hợp lý cực đại,... Mời các bạn cùng tham khảo nội dung chi tiết.
AMBIENT/
Chủ đề:
Nội dung Text: Bài giảng Lý thuyết xác suất và thống kê toán học: Chương 6 - Phan Văn Tân
- LÝ THUYẾT
XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Phan Văn Tân
Bộ mô Khí tượng
- CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Bài toán: Cho X là đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc
f(x,θ)), dạng của F(x,θ) đã biết nhưng chưa biết θ. Hãy xác định θ
• Thực tế, rất khó hoặc không thể xác định chính xác giá trị θ nên
người ta chỉ ước lượng nó thông qua tập mẫu của X
• Giả sử có mẫu (X1, X2,…, Xn) của X, để thay thế cho θ ta lập đại
lượng thống kê θˆ( X 1 , X 2 ,..., X n )
• Định nghĩa: Đại lượng thống kê θˆ( X 1 , X 2 ,..., X n )
được chọn dùng để thay thế cho tham số θ được gọi là hàm ước
lượng của θ (hay ngắn gọn hơn là ước lượng của θ)
• Chú ý:θˆ( X 1 , X 2 ,..., X n ) là hàm của (X1,..,Xn) Î biến ngẫu nhiên
• Với mỗi (x1,…,xn) thì θˆ( X 1 , X 2 ,..., X n ) là một điểm trên trục số
⇒ θˆ( X 1 , X 2 ,..., X n ) còn gọi là ước lượng điểm của θ
- CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Ví dụ: Xét đại lượng ngẫu nhiên X với mẫu (X1, X2,…, Xn)
• Khi đó: mx = M [ X ], Dx ≡ σ x2 = D[ X ] = M [( X − mx ) 2 ]
là các đặc trưng chính xác (các tham số chính xác) của X
1 n
X = ∑ X i là một ước lượng mx
n i =1
~ 1 n
Dx ≡ s x = ∑ ( X i − X ) 2 là một ước lượng của Dx
2
n i =1
• Nói chung, ứng với một tham số θ có thể có nhiều cách ước
lượng khác nhau Î Cần chọn ước lượng nào tốt nhất
- CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Định nghĩa: Hàm ước lượng θˆ( X 1 ,..., X n ) của tham số θ được
gọi là ước lượng không chệch nếu:
M [θˆ( X 1 ,..., X n )] = θ
• Ví dụ: Kỳ vọng mẫu là ước lượng không chệch của kỳ vọng mx
1 n 1 n
1 n
M [ X ] = M [ ∑ X i ] = M [∑ X i ] = ∑ M [ X i ] = M [ X ] = mx
n i =1 n i =1 n i =1
• Phương sai mẫu là ước lượng chệch của phương sai Dx
~ 1 n 1 n
M [ Dx ] ≡ M [ s x ] = M [ ∑ ( X i − X ) ] = M [ ∑ ( X i − X ) 2 ]
2 2
n i =1 n i =1
Vì Xi nhận các giá trị của X và có cùng phân bố với X nên
M[Xi ] = M[X ] = M[X ]
- CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
~ 1 ⎡n
( 2⎤
⇒ M [ Dx ] = M ⎢∑ ( X i − M [ X i ]) − ( X − M [ X ]) ⎥ =
n ⎣ i =1
)
⎦
1 ⎡
( ⎤
)
n
= M ⎢∑ ( X i − M [ X ]) + ( X − M [ X ]) − 2( X i − M [ X ])( X − M [ X ]) ⎥ =
2 2
n ⎣ i =1 n n ⎦
1 n
n i =1
[
= ∑ M ( X i − M [ X ]) 2 ] =
1
∑
n i =1
D xi =
1
∑
n i =1
Dx = Dx
1 n
1
+ M [∑ ( X − M [ X ]) ] = M [n ( X − M [ X ]) 2 ] = M [( X − M [ X ]) 2 ] = D[ X ]
2
n i =1 n
n
2 n
2
− M [∑ ( X i − M [ X ])( X − M [ X ])] = − M [( X − M [ X ]) ∑ ( X i − M [ X i ])] =
n i =1 n i =1
2
~ = − M [( X − M [ X ])n( X − M [ X ])] =
⇒ M [ Dx ] = Dx − D[ X ] n
= −2 M [( X − M [ X ]) 2 ] = −2 D[ X ]
- CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
~ 1 ⎡n
( )
2⎤
⇒ M [ Dx ] = M ⎢∑ ( X i − M [ X i ]) − ( X − M [ X ]) ⎥ =
n ⎣ i =1 ⎦
~
M [ Dx ] = Dx − D[ X ]
⎡1 n ⎤ 1 ⎡n ⎤
D[ X ] = D ⎢ ∑ X i ⎥ = 2 D ⎢∑ X i ⎥
⎣ n i =1 ⎦ n ⎣ i =1 ⎦
Vì các Xi là độc lập, có cùng phân bố với X nên
⎡n ⎤ n n
1
D ⎢∑ X i ⎥ = ∑ D[ X i ] = ∑ D[ X ] = nD[ X ] = nDx ⇒ D[ X ] = Dx
⎣ i =1 ⎦ i =1 i =1 n
~ 1 n −1
M [ Dx ] = Dx − Dx = Dx ≠ Dx ≡ σ 2
n n
- CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
~ n −1 n −1 2
M [ Dx ] = Dx = σ
n n
~* *2 1 n ~ 1 n
• Nếu dùng Dx = sx = ∑ i
n − 1 i =1
( X − X ) 2
thay cho D x = ∑
n i =1
( X i − X ) 2
n
~* ~ ~ n ~
Khi đó: (n − 1) Dx = nDx = ∑ ( X i − X )2 ⇒ Dx* = Dx
i =1 n −1
~* n ~ n n −1
⇒ M [ Dx ] = M [ Dx ] = Dx = Dx = σ 2
n −1 n −1 n
~* *2 1 n
Tức Dx = sx = ∑
n − 1 i =1
( X i − X )2 là ước lượng không chệch của Dx
~
Đó cũng chính là lý do tại sao người ta thường dùng Dx*
Tuy nhiên, khi n đủ lớn thì tỷ số (n–1)/n≈1 do đó chúng hầu
như không sai khác nhau
- CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Độ chính xác của ước lượng không chệch
• Giả sử θˆ( X 1 ,..., X n ) là ước lượng không chệch của θ, và
D[θˆ( X ,..., X )] = σ 2
1 n θ
Từ bất đẳng thức Tchebychev ta có:
ˆ σ 2
1
P (| θ ( X 1 ,..., X n ) − θ |< εσ θ ) ≥ 1 − 2 2 = 1 − 2
θ
ε σθ ε
1
• Nếu chọn ε=3 ta có: P (| θˆ( X 1 ,..., X n ) − θ |< 3σ θ ) ≥ 1 − ≈ 0.8889
9
Î Với xác suất khá lớn, chênh lệch giữa θ và ước lượng của
nó không vượt quá 3 lần độ lệch chuNn
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Định nghĩa: Hàm ước lượng θˆ( X 1 ,..., X n ) của tham số θ được
gọi là ước lượng vững nếu với ∀ε>0 bất kỳ cho trước ta có
lim P (| θˆ( X 1 ,..., X n ) − θ |< ε ) = 1
n→ +∞
• Định lý: N ếu θˆ( X 1 ,..., X n ) là hàm ước lượng của θ sao cho:
a) θˆ( X ,..., X ) là ước lượng không chệch của θ hoặc
1 n
lim {M [θˆ( X 1 ,..., X n )] − θ } = 0 (độ chệch tiến tới 0–không chệch)
n→ +∞
b) nlim D[θˆ( X 1 ,..., X n )] = 0
→ +∞
thì θˆ( X 1 ,..., X n ) là ước lượng vững của θ
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Chứng minh:
• Áp dụng bất đẳng thức Tchebychev:
ˆ ˆ D[θˆ( X 1 ,..., X n )]
lim P(| θ ( X 1 ,..., X n ) − M [θ ( X 1 ,..., X n )] | < ε ) ≥ 1 −
n→ +∞ ε2
Viết lại:
D[θˆ( X ,..., X )]
lim P(| θˆ( X 1 ,..., X n ) − θ − ( M [θˆ( X 1 ,..., X n )] − θ ) | < ε ) ≥ 1 − 1 n
n→+∞ ε2
lim {M [θˆ( X 1 ,..., X n )] − θ } = 0
n→ +∞
lim D[θˆ( X 1 ,..., X n )] = 0
⇒ lim P(| θˆ( X 1 ,..., X n ) − θ | < ε ) ≥ 1 n→ +∞
n→+∞
• Ví dụ: Kỳ vọng mẫu là ước lượng vững, vì M [ X ] = M [ X ] = mx
1 D
D[ X ] = D[ X ] = x → 0 khi n → ∞
n n
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Định nghĩa: N ếu θˆ( X 1 ,..., X n ) là ước lượng không chệch của θ và
D[θˆ( X 1 ,..., X n )] không lớn hơn mọi hàm ước lượng không chệch khác
thì θˆ( X 1 ,..., X n ) được gọi là ước lượng hiệu quả của θ
• Định lý: Cho mẫu (X1,…,Xn) của X có phân bố f(x,θ) thỏa mãn
một số điều kiện nhất định và θˆ( X 1 ,..., X n )
là ước lượng không chệch bất kỳ của θ thì:
ˆ 1
D[θ ( X 1 ,..., X n )] ≥
⎡⎛ ∂ ln f ( x, θ ) ⎞ 2 ⎤
n × M ⎢⎜ ⎟ ⎥
⎢⎣⎝ ∂θ ⎠ ⎥⎦
Người ta gọi đây là bất đẳng thức thông tin hay bất đẳng
thức Crame–Rao
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Ví dụ: Cho X có phân bố chuNn N (μ,σ). Chứng minh rằng kỳ vọng
mẫu X là ước lượng hiệu quả của μ=M[X]
1 x−μ 2
1 − ( )
• Giải: Ta có: f ( x, μ ) = e 2 σ
2π σ
1 x−μ 2 ∂ ln f ( x, μ ) x − μ
⇒ ln f ( x, μ ) = − ln 2π σ − ( ) ⇒ =
2 σ ∂μ σ2
⎡⎛ ∂ ln f ( x, μ ) ⎞ 2 ⎤ ⎡⎛ X − μ ⎞ 2 ⎤ 1 1
⇒ M ⎢⎜⎜ ⎟⎟ ⎥ = M ⎢⎜ ⎟ ⎥ = 4 M [( X − μ ) ] = 2
2
⎢⎣⎝ ∂μ ⎠ ⎥⎦ ⎢⎣⎝ σ ⎠ ⎥⎦ σ
2
σ
1 1 σ2
= = = D[ X ]
⎡⎛ ∂ ln f ( x, θ ) ⎞ ⎤ n / σ
2 2
n
n × M ⎢⎜ ⎟ ⎥
⎢⎣⎝ ∂ θ ⎠ ⎥⎦ ⇒ X là ước lượng hiệu quả của μ
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Xét đại lượng ngẫu nhiên X có mật độ phân bố f(x,θ) với dạng của
f(x,θ) đã biết, còn θ chưa biết và cần phải ước lượng. Giả sử
(X1,…,Xn) là một mẫu của X. Khi đó, hàm
L(θ ) = f ( X 1 , θ ) × f ( X 2 , θ ) × ... × f ( X n , θ )
được gọi là hàm hợp lý của mẫu.
Gọi θˆ( X 1 ,..., X n ) là ước lượng của θ. Cần xác định θˆ( X 1 ,..., X n )
sao cho: L(θˆ( X 1 ,..., X n )) ≥ L(θ ) víi ∀θ ∈ Θ
Trong đó Θ là miền giá trị của θ
• Vì hàm logarit là hàm đơn điệu nên thay cho L(θ) người ta dùng
hàm H(θ)=lnL(θ), và θˆ( X 1 ,..., X n ) được xác định từ
H (θˆ( X ,..., X )) ≥ H (θ ) víi ∀θ ∈ Θ
1 n
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Khi đó, nếu tồn tại đạo hàm thì θˆ( X 1 ,..., X n )
là nghiệm của phương trình dH (θ )
=0
dθ
Phương trình này được gọi là phương trình hợp lý cực đại
N ghiệm θˆ( X 1 ,..., X n ) của phương trình này được gọi là
ước lượng hợp lý cực đại của θ
• N hư vậy, các bước để tìm ước lượng hợp lý cực đại của θ:
– Lập hàm hợp lý L(θ) của mẫu
– Tìm hàm H(θ)=ln L(θ)
dH (θ )
– Tìm nghiệm phương trình =0
dθ
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Ví dụ 1: Giả sử X∈N (μ,σ) với σ đã biết. Xác định ước lượng hợp
lý cực đại của μ, biết (X1,…,Xn) là một mẫu của X
• Giải: Lập hàm hợp lý
n
1 ⎡ 1 n 2⎤
L( μ ) = ∏ f ( X i , μ ) = exp ⎢ 2σ 2 ∑ i
− ( X − μ )
i =1 ( )
2π σ
n
⎣ i =1
⎥
⎦
1 n
(
⇒ H ( μ ) = ln L( μ ) = − 2 ∑ ( X i − μ ) 2 − n ln 2π σ
2σ i =1
)
dH ( μ ) 1 n n
⇒ = 2 ∑( Xi − μ) = 0 ⇒ ∑( Xi − μ) = 0
dμ σ i =1 i =1
n n n
1 n
⇒ ∑ X i − ∑ μ = 0 ⇒ nμ = ∑ X i ⇒ μˆ ( X 1 ,..., X n ) = ∑ X i = X
i =1 i =1 i =1 n i =1
d 2H (μ ) n
= − < 0 ⇒ μˆ là hàm hợp lý đạt giá trị cực đại
dμ 2
σ 2
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Ví dụ 2: Giả sử X∈N (μ,σ), trong đó cả μ và σ đều chưa biết. Tìm
ước lượng hợp lý cực đại của μ, σ biết (X1,…,Xn) là một mẫu của X
• Giải: Coi θ=(μ,σ). Từ ví dụ trước:
1 n
(
H (θ ) = ln L(θ ) = − 2 ∑ ( X i − μ ) 2 − n ln 2π σ
2σ i =1
)
∂H (θ ) n
= 0 ⇒ ∑ X i − nμ = 0
∂μ n i =1 n
4σ ∑ ( X i − μ ) 2
∑ ( X − μ ) 2
∂H (θ ) 2π i
n
= i =1
−n = i =1
− =0
∂σ 4σ 4
2π σ σ 3
σ
Giải ra ta được:
1 n 1 n
μˆ ( X 1 ,..., X n ) = ∑ X i = X σˆ ( X 1 ,..., X n ) = ∑ ( X i − X ) 2
n i =1 n i =1
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Nhận xét:
– Hàm hợp lý được lập trên cơ sở tập mẫu (X1,…,Xn) trong đó
các Xi là độc lập có cùng phân bố với X
– Mỗi nghiệm của phương trình hợp lý cực đại là một giá trị cụ
thể tính được từ tập mẫu nên ước lượng của tham số được gọi là
ước lượng điểm (xác định một điểm trên trục số)
– N ếu có nhiều tham số cần được ước lượng (như ví dụ 2), sau
khi lập hàm hợp lý cực đại, lấy đạo hàm bậc nhất ứng với từng
tham số và cho bằng 0 để nhận được một hệ phương trình
– Giải hệ này ta được các ước lượng tương ứng
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.3 Ước lượng tham số bằng khoảng tin cậy
• Định nghĩa: Khoảng tin cậy (θˆ1 , θˆ2 ) của tham số θ với độ tin cậy γ
là một khoảng với hai đầu mút θˆ1 = θˆ1 ( X 1 ,..., X n ), θˆ2 = θˆ2 ( X 1 ,..., X n )
và P(θˆ1 ( X 1 ,..., X n ) ≤ θ ≤ θˆ2 ( X 1 ,..., X n )) = γ
• Bài toán: Cho biến ngẫu nhiên X và mẫu (X1,…,Xn) của X. Hãy
xác định θˆ1 = θˆ1 ( X 1 ,..., X n ), θˆ2 = θˆ2 ( X 1 ,..., X n ) sao cho:
P(θˆ ( X ,..., X ) ≤ θ ≤ θˆ ( X ,..., X )) = γ với γ là một hằng số cho trước
1 1 n 2 1 n
• Nhận xét: Từ định nghĩa ta thấy, nếu γ càng lớn và khoảng (θˆ1 , θˆ2 )
càng nhỏ thì ước lượng của θ càng chính xác
• Giải: Xét một số ví dụ
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.3 Ước lượng tham số bằng khoảng tin cậy
• Ví dụ 1: Cho X∈N (μ,σ) với σ đã biết và (X1,…,Xn) là một mẫu
của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ
• Giải: Xét biến ngẫu nhiên U = X − μ Khi đó U∈N (0,1)
σ/ n Với γ cho
uγ 1 2
1 − x
2π −∫uγ
⇒ P(| U |≤ uγ ) = P( −uγ ≤ U ≤ uγ ) = e 2
dx = γ trước, giải ra
tìm được uγ
X −μ ⎛ σ σ ⎞
⇒ P( −uγ ≤ ≤ uγ ) = P⎜ X − uγ ≤ μ ≤ X + uγ ⎟=γ
σ/ n ⎝ n n⎠
⎡ σ σ ⎤
⇒ μ ∈ ⎢ X − uγ , X + uγ ⎥ với độ tin cậy γ
⎣ n n⎦
γ=0.95 => uγ=1.96; γ=0.99 => uγ=2.58;…
- CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.3 Ước lượng tham số bằng khoảng tin cậy
• Ví dụ 2: Cho X∈N (μ,σ) với σ chưa biết và (X1,…,Xn) là một mẫu
của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ
X −μ
• Giải: Ở đây ta xét biến ngẫu nhiên t = *
n
sx / n
1
*2
với sx = ∑
n − 1 i =1
( X i − X ) 2
Khi đó t∈St(n–1) Với γ cho
tγ trước, giải ra
⇒ P(| t |≤ tγ ) = P( −tγ ≤ t ≤ tγ ) = ∫ f ( x, n − 1)dx = γ tìm được uγ
−tγ
X −μ ⎛ s*x s*x ⎞
⇒ P( −tγ ≤ * ≤ tγ ) = P⎜⎜ X − tγ ≤ μ ≤ X + tγ ⎟⎟ = γ
sx / n ⎝ n n⎠
⎡ s*x s*x ⎤
⇒ μ ∈ ⎢ X − tγ , X + tγ ⎥ với độ tin cậy γ
⎣ n n⎦
Thêm vào BST
Báo xấu
Download
Vui lòng tải xuống để xem tài liệu đầy đủ
