Chương 3: Mô hình hồi quy bội

Chia sẻ: haclong054

Tham khảo bài thuyết trình 'chương 3: mô hình hồi quy bội', khoa học tự nhiên, toán học phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả

Bạn đang xem 10 trang mẫu tài liệu này, vui lòng download file gốc để xem toàn bộ.

Nội dung Text: Chương 3: Mô hình hồi quy bội

CHƯƠNG 3.


MÔ HÌNH H I QUI B I




H i qui b i Nguy n Th Minh Hi u 1
I. MÔ HÌNH H I QUI 3 BI N
I.1. D ng mô hình
Hàm h i qui t ng th (PRF):
E(Y|X2i ,X3i) = β1 + β2X2i + β3X3i
Yi = E(Y|X2i ,X3i) + ui = β1 + β2X2i + β3X3i + ui
Y: bi n ph thu c
X2, X3: bi n gi i thích
u: sai s ng u nhiên
i th t c a quan sát
H i qui b i Nguy n Th Minh Hi u 2
I.1. D ng mô hình
β1 : h s c h n
β1 = E(Y|X2=X3=0): cho bi t tác ñ ng trung bình
c a các bi n không có trong mô hình lên bi n
ph thu c và ñư c th hi n b ng giá tr trung
bình c a Y khi X2 = X3 =0

β2 ,β3 : g i là h s h i qui riêng.
∂E (Y ¦X )
β2 =
∂X 2

cho bi t s thay ñ i trung bình c a bi n ph
thu c Y khi X2 thay ñ i 1 ñơn v v i ñi u ki n X3
không ñ i.
H i qui b i Nguy n Th Minh Hi u 3
2. Các gi thi t OLS
1. Các bi n gi i thích là phi ng u nhiên
2. Kỳ v ng c a sai s ng u nhiên u b ng 0,
E(u|Xi) = 0
3. Phương sai c a u thu n nh t (b ng nhau)
var(u|Xi) = σ2 (v i ∀i)
4. Không có t tương quan gi a các y u t
(v i ∀i ≠ j)
ng u nhiên Cov(ui ,uj|Xi,Xj) = 0
5. u và X không tương quan v i nhau
Cov (ui, Xi) = 0
6. Gi a các bi n X2, X3 không có quan h tuy n
tính chính xác (ña công tuy n hoàn h o)
7. u có phân b chu n, u~N (0,σ2 ) 4
H i qui b i Nguy n Th Minh Hi u
3. Ư c lư ng các tham s c a mô hình
h i qui 3 bi n b ng phương pháp OLS

Yi = β1 + β 2 X 2i + β 3 X 3i + e i
ˆˆ ˆ

e i = Yi − β1 − β 2 X 2i − β 3 X 3i
ˆˆ ˆ

( )
n n 2
∑ e = ∑ Yi − β1 − β 2 X 2i − β 3 X 3i
ˆˆ ˆ ⇒ min
2
i
i =1 i =1




5
H i qui b i Nguy n Th Minh Hi u
3. Ư c lư ng các tham s c a mô hình
h i qui 3 bi n b ng phương pháp OLS
∂∑ e
( ) ( −1) = 0
2
n
= ∑ 2 Yi − β1 − β 2 X 2i − β3 X 3i
ˆˆ ˆ
i

∂β
ˆ i =1
1

∂∑ e
( )(−X
2
n
)=0
= ∑ 2 Yi − β1 − β 2 X 2i − β3 X 3i
ˆˆ ˆ
i

∂β
2i
ˆ i =1
2

∂ ∑ ei2
( )(−X
n
)=0
= ∑ 2 Yi − β1 − β 2 X 2i − β3 X 3i
ˆˆ ˆ
∂β
3i
ˆ i =1
3

H i qui b i Nguy n Th Minh Hi u 6
3. Ư c lư ng các tham s c a mô hình
h i qui 3 bi n b ng phương pháp OLS
ˆ n n n
nβ1 + β 2 ∑ X 2i + β 3 ∑ X 3i = ∑ Yi
ˆ ˆ

i =1 i =1 i =1

ˆ n n n n
β1 ∑ X 2i + β 2 ∑ X 2i + β 3 ∑ X 2i X 3i = ∑ Yi X 2i
ˆ ˆ
2

 i =1 i =1 i =1 i =1
n n n n
β1 ∑ X 3i + β 2 ∑ X 2i X 3i + β 3 ∑ X 3i = ∑ Yi X 3i
ˆ ˆ ˆ 2

 i =1 i =1 i =1 i =1


H i qui b i Nguy n Th Minh Hi u 7
3. Ư c lư ng các tham s c a mô hình
h i qui 3 bi n b ng phương pháp OLS
β1 = Y − β 2 X 2 − β 3 X 3
ˆ ˆ ˆ

n  n 2   n  n 
 ∑ yi x2i  ∑ x3i  −  ∑ yi x3i  ∑ x2i x3i 
β 2 =  i =1  i =1   i =1  i =1 
ˆ
2
 
n n n

∑ x2i ∑ x3i −  ∑ x2i x3i 
2 2

 i =1 
i =1 i =1


n  n 2   n  n 
 ∑ y i x3i  ∑ x 2 i  −  ∑ y i x 2 i  ∑ x 2 i x3i 
β 3 =  i =1   i =1   i =1   i =1 
ˆ
2
 
n n n

∑ x 2 i ∑ x3i −  ∑ x3i x3i 
2 2
H i qui b i 8
 i =1 
i =1 i =1
3. Ư c lư ng các tham s c a mô hình
h i qui 3 bi n b ng phương pháp OLS

y i = Yi − Y
x 3i = X 3 i − X 3
x 2i = X 2i − X 2

n
1
n
1
Y = ∑ Yi
X = ∑ Xi
n i =1
n i =1

β1 , β 2 , β3 ñư c g i là các ư c lư ng bình phương
ˆˆˆ

nh nh t 9
Nguy n Th Minh Hi u
4. Phương sai và ñ l ch chu n c a
các ư c lư ng bình phương nh nh t
n

∑x 2


var (β ) =
3i
σ
ˆ i =1 2
2 2
n 
n n

∑x ∑x −  ∑ x 2 i x 3i 
2 2
2i 3i
 i =1 
i =1 i =1


σ 2
=
∑x (1 − r )
2 2
2i 23

H i qui b i Nguy n Th Minh Hi u 10
3. U c lư ng các tham s c a mô hình
h i qui 3 bi n b ng phương pháp OLS
σ
σ2 2
ˆ
Không có nên s d ng thay th



∑e 2

σ = i
2
ˆ
n−3


H i qui b i Nguy n Th Minh Hi u 11
II. Mô hình h i qui k bi n t ng quát
1. Mô hình h i qui k bi n
• PRF:E(Y|X2 ,X3,...,Xk) = β1+β2X2i+β3X3i+...+βkXki
• Giá tr cá bi t: Yi = β1+β2X2i + β3X3i +...+ βkXki+ ui
ui : yêú t ng u nhiên
β1 : H s c h n
β2 , β3 ,..., βk: các h s h i qui (h s góc)
βk cho bi t s thay ñ i trung bình c a bi n ph
thu c, Y, khi Xk thay ñ i 1 ñơn v , các bi n ñ c
l p khác không ñ i.

H i qui b i Nguy n Th Minh Hi u 12
Mô hình h i qui k bi n
Bi u di n hàm h i qui dư i d ng ma tr n

 U1  1 X 21 X 31 ⋯ X k1 
β1 
Y1 
1 X 
U 
Y  β  X 32 ⋯ X k 2 
2 U =  2 X = 
Y= 2
β=
22

⋮ 
⋮ 
⋮  ⋮ 
 

  X 3n ⋯ X kn 
1 X 2 n
βk  U n 
Yn 
 

⇒ Y = Xβ + u

H i qui b i Nguy n Th Minh Hi u 13
2. Ư c lư ng các tham s b ng
phương pháp OLS

β
ˆ
• e=Y–X
• Phương pháp OLS ư c lư ng giá tr c a
các tham s β1 , β 2 ,..., β k sao cho:
ˆˆ ˆ
các

n
RSS = ∑ e = e′e ⇒ min
2
i
i =1


H i qui b i Nguy n Th Minh Hi u 14
2. Ư c lư ng các tham s b ng
phương pháp OLS

( )( )
RSS = Y − X β Y − Xβ
ˆ ˆ

= Y ′Y − β′X ′Y − Y ′Xβ + β′X ′Xβ
ˆ ˆˆ ˆ
= Y ′Y − 2β′X ′Y + β′X ′Xβ
ˆ ˆ ˆ
∂RSS
= −2 X ′Y + 2 X ′X β = 0
ˆ
∂βˆ
(X ′X ) ≠ 0 ⇒ β ˆ = (X ′X )−1 X ′Y
−1




β là ma tr n h s ư c lư ng OLS
ˆ 15
3. Gi thi t OLS trong mô hình k
bi n t ng quát
1. X2,X3,...,Xk là các bi n xác ñ nh, hay ma
tr n X xác ñ nh

u1   E ( u1 )  0 
u   E u   
 2  =  ( 2 )  = 0
E (u ) = E
2.
⋮  ⋮  ⋮ 
  
uu   E ( uu )  0 
 


H i qui b i Nguy n Th Minh Hi u 16
3. Gi thi t OLS trong mô hình k
bi n t ng quát
3. var(u) = E(u’u) =σ2I
4. cov ( ui , u j ) = 0 ∀i ≠ j
5. cov (X, u) = 0
6. Không có ña c ng tuy n gi a các bi n
ñ c l p hay h ng c a ma tr n X b ng k
7. ui phân b chu n. u∼N(0, σ2I)


H i qui b i Nguy n Th Minh Hi u 17
4. Ma tr n hi p phương sai c a β
ˆ

() ( ) ( )
 var β1 ⋯ cov β1 , β k 
cov β1 , β 2
ˆ ˆˆ ˆˆ
( ) () ( )
 ˆ ,β 
() cov β 2 , β1 var β ⋯ cov β 2 ˆ k 
ˆˆ ˆ
cov β = 
ˆ 2
 

( ) ( ) ()
 
cov β k , β1 cov β k , β 2 var β k 
ˆˆ ˆˆ ˆ

 
cov(β ) = [X’X]-1σ2
ˆ



H i qui b i Nguy n Th Minh Hi u 18
4. Ma tr n hi p phương sai c a β
ˆ

σ
σ2 2
ˆ
• không quan sát ñư c nên ñư c s
d ng thay th
n

∑e 2
i
RSS
σ= =
i =1
2
ˆ
n−k n−k
v i k là s h s có trong hàm h i qui


H i qui b i Nguy n Th Minh Hi u 19
III. Phân tích các h s c a mô hình

1. Kho ng tin c y và ki m ñ nh gi thi t các
h s h i qui - Ki m ñ nh T
Yi = β1 + β2X2i + β3X3i +...+ βkXki + ui
βi phân ph i chu n v i kì v ng βi, ñ l ch
ˆ
chu n σ β ˆ
i

βi − βi
ˆ
⇒ ti = ~ T (n − k )
()
se βi
ˆ

H i qui b i Nguy n Th Minh Hi u 20
a. Kho ng tin c y

• Kho ng tin c y ñ i x ng:
( )
() ()
ˆ − se β .t ( n − k ) < β < β + se β .t ( n − k )
βi ˆ ˆ ˆ
α /2 α /2
i i i i


• Kho ng tin c y t i ña (phía trái):
()
ˆ + se β .t ( n −k )
βi < βi ˆ
α
i


• Kho ng tin c y t i thi u (phía ph i):

()
ˆ − se β t ( n −k )
βi > βi ˆ

21
H i qui b i Nguy n Th Minh Hi u
b. Ki m ñ nh gi thi t
• H0 : βi = βi* (v i i=1,2,...,k)

Lo i ki m ñ nh Gi thi t H1 Mi n bác b
βi ≠ βi * |ti| > tα/2(n-k)
Hai phía
βi > βi * ti > tα(n-k)
Phía ph i
βi < βi * ti 1, R 2 ≤ R 2 ≤ 1 có nghĩa là n u tăng s bi n
,
gi i thích thì R 2 có th tăng nhưng luôn tăng ch m
hơn R2.
2 không âm nhưng R 2 có th âm
•R
2
• R là m t trong hai tiêu chu n (k thu t) ñ xét có
nên ñưa thêm bi n vào mô hình hay không.
+ R 2 tăng
+H s ng v i bi n m i ñưa vào có ý nghĩa v
m t th ng kê
H i qui b i Nguy n Th Minh Hi u 27
Ki m ñ nh s phù h p c a hàm h i qui

• H0: β2 =β3 =...=βk = 0 ⇔ R2 = 0
⇔ h i qui không phù h p
• H 1: ∃ β i ≠ 0 ⇔ R2 > 0
⇔ hàm h i qui phù h p
ESS /(k − 1) n−k R2 n − k
ESS
F= = ⋅ = ⋅
RSS /(n − k ) TSS − ESS k − 1 1 − R k − 1
2




• F ∼ Fα(k-1,n-k)
H i qui b i Nguy n Th Minh Hi u 28
III.3. Ki m ñ nh s thu h p h i qui

Yi = β1 + β2X2i + β3X3i +...+ βkXki + Ui
(UR)

H0: β2 = β3 = 0 = …= βr+1 = 0
H1: ∃βi ≠ 0, (i = 2, 3, .., r+1)
Gi thi t H0 cho r ng r h s b ng 0 ⇒ bao
g m r ràng bu c

Yi = β1 + βr+2Xr+2i + ...+ βkXki + Ui (R)
(R): hàm h i qui thu h p (r h s ) 29
3. Ki m ñ nh s thu h p h i qui (ti p)

• Các bư c ki m ñ nh
+ H i qui (UR) và (R), thu ñư c t ng bình
phương các ph n dư, RSSUR và RSSR
RSSUR có dfUR = n – k
RSSR có dfR = [n – (k – r)]
RSS R − RSSUR n − k
F= ⋅ ~ F (r , n − k )
RSSUR r

H i qui b i Nguy n Th Minh Hi u 30
3. Ki m ñ nh s thu h p h i qui (ti p)
• Do (UR) và (R) có cùng bi n ph thu c ⇒
TSSUR=TSSR = TSS

(TSS − ESS R ) − (TSS − ESSUR ) ⋅ n − k
F=
TSS − ESSUR r

R −R n−k
2 2
F= ⋅ ~ F (r , n − k )
UR R

1 − RUR
2
r
H i qui b i Nguy n Th Minh Hi u 31
V.1. D báo giá tr trung bình

ˆ = X ′ β là ư c lư ng c a E(Y|X ) v i
ˆ
Y0
• 0 0
kì v ng là X 0 β và phương sai là:
'



)
( ()
()
ˆ = var X ′β = X ′ cov β X
ˆ ˆ
var Y0 0 0 0

′σ 2 X ′X −1 X = σ 2 X ′ X ′X −1 X
= X0 ( )0 0( )0
σ
•σ2 không bi t, s d ng ˆ 2 thay th


ˆ ) = σ X ′ ( X ′X )−1 X
⇒ se(Y0 ˆ 0 0

H i qui b i Nguy n Th Minh Hi u 32
V.1. D báo giá tr trung bình (ti p)

V i m c ý nghĩa α, giá tr trung bình c a
bi n ph thu c tương ng v i vecto các
bi n ñ c l p X0 ñư c d báo n m trong
kho
kho ng:


() ()
( n −k )
( n−k )
Y − t se Y0 
se Y0 , Y0 + tα / 2
ˆ ˆˆ ˆ
 0 α /2 


H i qui b i Nguy n Th Minh Hi u 33
V.2. D báo giá tr cá bi t
ˆ = X ′ β là ư c lư ng c a Y v i kì
ˆ
Y0
• 0 0
v ng là X 0 β và phương sai là:
'



)
(
( )
ˆ = var X ′ β + σ 2
var Y0 − Y0 ˆ
0

1 + X ′ ( X ′X )−1 X 
=σ 2
 
0 0

σ
•σ2 không bi t, s d ng ˆ 2 thay th


ˆ ) = σ 1 + X ′ ( X ′X )−1 X
⇒ se(Y0 − Y0 ˆ 0 0

H i qui b i Nguy n Th Minh Hi u 34
V.2. D báo giá tr cá bi t (ti p)
• V i m c ý nghĩa α, giá tr cá bi t c a bi n
ph thu c tương ng v i vecto các bi n
ñ c l p X0 ñư c d báo n m trong kho ng

( ) ( )
Y0 − tα / 2( n −k ) se Y0 − Y0 , Y0 + tα / 2( n −k ) se Y0 − Y0 
ˆ ˆˆ ˆ
 




H i qui b i Nguy n Th Minh Hi u 35
M t s d ng hàm h i qui
• Hàm Cobb-Douglas (log - log)
β3 βk
β2
Y = β1 X 2 X 3 ... X k
⇔ ln Y = ln β1 + β 2 ln X 2 + β3 ln X 3 ... + β k ln X k

∂Y X i
ε = βi
=
Y

∂X i Y
Xi


H i qui b i Nguy n Th Minh Hi u 36
M t s d ng hàm h i qui
• Hàm log – lin
Yt = Y0(1 + r)t
VD:
ln(Yt) = ln(Y0) + t*ln(1 + r)
⇔ ln(Yt) = β1 + Xt*β2

dY
β2 = Y
dX
H i qui b i Nguy n Th Minh Hi u 37
M t s d ng hàm h i qui
• Hàm lin – log

β1 + β2ln(X)
VD: Y=

dY
β2 =
dX
X

H i qui b i Nguy n Th Minh Hi u 38
Đề thi vào lớp 10 môn Toán |  Đáp án đề thi tốt nghiệp |  Đề thi Đại học |  Đề thi thử đại học môn Hóa |  Mẫu đơn xin việc |  Bài tiểu luận mẫu |  Ôn thi cao học 2014 |  Nghiên cứu khoa học |  Lập kế hoạch kinh doanh |  Bảng cân đối kế toán |  Đề thi chứng chỉ Tin học |  Tư tưởng Hồ Chí Minh |  Đề thi chứng chỉ Tiếng anh
Theo dõi chúng tôi
Đồng bộ tài khoản