1
CHƯƠNG 3
HỒI QUY ĐA BIẾN
2
1. Biết được phương pháp ước
lượng bình phương nhỏnhất để
ước lượng hàm hồi quy đa biến
tổng thểdựa trên sốliệu mẫu
2. Hiểu các cách kiểm định những
giảthiết
MỤC
TIÊU
HỒI QUY ĐA BIẾN
NỘI DUNG
3
Mô hình hồi quy 3 biến
1
Mô hình hồi quy k biến
2
5
3 Dự báo
4
Mô hình hồi quy tổng thể PRF
Ý nghĩa: PRF cho biết trung bình có điều
kiện của Y với điều kiện đã biết các giá trị
cố định của biến X
2
và X
3.
Y: biến phụ thuộc
X
2
và X
3
: biến độc lập
β
1
: hệ số tự do
β
2 ,
β
3
: hệ số hồi quy riêng
3322132
),/( XXXXYE
3.1 Mô hình hồi quy 3 biến
5
Ý nghĩa hệ số hồi quy riêng: cho biết ảnh
hưởng của từng biến độc lập lên giá trị trung
bình của biến phụ thuộc khi các biến còn lại
được giữ không đổi.
Mô hình hồi quy tổng thể ngẫu nhiên:
u
i
: sai số ngẫu nhiên của tổng thể
iiii
uXXY
33221
3.1 Mô hình hồi quy 3 biến
6
Các giả thiết của mô hình
1. Giá trị trung bình của U
i
bằng 0
E(U
i
/X
2i,
X
3i
)=0
2. Phương sai của các U
i
là không đổi
Var(U
i
)=σ
2
3. Không có hiện tượng tự tương quan giữa các
U
i
Cov(U
i
,U
j
)=0; i≠j
4. Không có hiện tượng cộng tuyến giữa X
2
và X
3
5.U
i
có phân phối chuẩn: U
i
 N(0, σ
2
)
1. Giá trị trung bình của U
i
bằng 0
E(U
i
/X
2i,
X
3i
)=0
2. Phương sai của các U
i
là không đổi
Var(U
i
)=σ
2
3. Không có hiện tượng tự tương quan giữa các
U
i
Cov(U
i
,U
j
)=0; i≠j
4. Không có hiện tượng cộng tuyến giữa X
2
và X
3
5.U
i
có phân phối chuẩn: U
i
 N(0, σ
2
)
1
2
3
4
5
6
2
7
Hàm hồi quy mẫu:
iii
YYe ˆ
sai số của mẫu ứng với quan sát thứ i
3.1.1 Ước lượng các tham số
Sử dụng phương pháp bình phương
nhỏ nhất để ước lượng các tham số
321
ˆ
,
ˆ
,
ˆ
iii
XXY
33221
ˆˆˆ
ˆ
8
min)
ˆˆˆ
(
2
33221
2
iiii
XXYeQ
0)
ˆˆˆ
(2
ˆ
33221
1
iii
XXY
d
dQ
0))(
ˆˆˆ
(2
ˆ
233221
2
iiii
XXXY
d
dQ
0))(
ˆˆˆ
(2
ˆ
333221
3
iiii
XXXY
d
dQ
3.1.1 Ước lượng các tham số
9
2
32
2
3
2
2
323
2
32
2
)(
ˆ
iiii
iiiiiii
xxxx
xxxyxxy
2
32
2
3
2
2
322
2
23
3
)(
ˆ
iiii
iiiiiii
xxxx
xxxyxxy
ii
XXY
33221
ˆˆˆ
YYy
ii
XXx
ii
3.1.1 Ước lượng các tham số
10
Lưu ý
∑y
i2
= ∑Y
i2
– nY
i2
∑x
2i2
= ∑X
2i2
– nX
22i
∑x
3i2
= ∑X
3i2
– nX
23i
∑x
2i
y
i
= ∑X
2i
Y
i
– nX
2i
Y
i
∑x
3i
y
i
= ∑X
3i
Y
i
– nX
3i
Y
I
∑x
2i
x
3i
= ∑X
2i
X
3i
– nX
2i
X
3i
11
2
2
32
2
3
2
2
2
3
2
)(
)
ˆ
(
iiii
i
xxxx
x
Var
2
2
32
2
3
2
2
2
2
3
)(
)
ˆ
(
iiii
i
xxxx
x
Var
3.1.2 Phương sai của các ước lượng
2
2
32
2
3
2
2
3232
2
2
2
3
2
3
2
2
1
)
)(
2
1
()
ˆ
(
iiii
iiii
xxxx
xxXXxXxX
n
Var
12
3
)1(
3
ˆ
222
2
n
yR
n
e
ii
3.1.2 Phương sai của các ước lượng
σ
2
là phương sai của u
i
chưa biết nên dùng ước
lượng không chệch:
7
8
9
10
11
12
3
13
Hệ số xác định R
2
n
i
i
n
i
i
y
e
TSS
RSS
TSS
ESS
R
1
2
1
2
2
11
2
3322
2
ˆˆ
i
iiii
y
xyxy
R
Mô hình hồi quy 3 biến
)1(
)(
2
2
2
n
y
kn
e
R
i
i
Hệ số xác định hiệu chỉnh
Với klà tham số của mô hình,
kể cả hệ số tự do
Hệ số xác định
14
kn
n
RR
1
)1(1
22
Dùng để xét việc đưa thêm 1 biến vào mô
hình. Biến mới đưa vào mô hình phải thỏa 2
điều kiện:
- Làm tăng
- Hệ số hồi quy biến mới thêm vào mô hình
khác 0 có ý nghĩa
2
R
2
R
Hệ số xác định hiệu chỉnh
15
Với mức ý nghĩa hay độ tin cậy 1-
)
ˆ
;
ˆ
(
iiiii
)2/,3(
)
(
nii
tSE
3.1.4 Khoảng tin cậy
Với
16
1. Kiểm định giả thiết H
0
:
B1. Tính
B2. Nguyên tắc quyết định
Nếu |t
i
| > t
(n-3,/2)
: bác bỏ H
0
Nếu |t
i
| ≤ t
(n-3,/2)
: chấp nhận H
0
*
ii
)
ˆ
(
ˆ
*
i
ii
i
SE
t
3.1.5 Kiểm định giả thuyết
17
2. Kiểm định giả thiết đồng thời bằng không:
H
0
: b
2
= b
3
= 0; hay H
0
: R
2
=0
H
1
: ít nhất 1 tham số khác 0
Hay
B1. Tính
B2. Nguyên tắc quyết định
F > F
(2, n-3): Bác bỏ H
0
: Mô hình phù hợp
F ≤ F
(2, n-3): Chấp nhận H
0
: Mô hình không phù
hợp
2)1(
)3(
2
2
R
nR
F
3.1.5 Kiểm định giả thuyết
0:
2
1
RH
18
Bài tập
Với số liệu bài tập 4.1
1. Giả sử mối quan hệ giữa Y với X
2
và X
3
có thể biểu
diễn bằng hàm hồi quy tuyến tính. Hãy ước lượng
hàm này.
2. Kiểm định hệ số hồi quy của X
2
và X
3
trong hàm hồi
quy tổng thể bằng 0 với mức ý nghĩa 5% và cho biết
ý nghĩa của kết quả.
3. Để dự báo doanh thu ta nên dùng hàm nào trong
các hàm sau
3.1. Y
i
= α
1
+ α
2
X
2i
+U
i
3.2. Y
i
= β
1
+ β
2
X
3i
+ U
I
3.3. Y
i
= ϒ
1
+ ϒ
2
X
2i
+ ϒ
3
X
3i
+ U
i
4. Dự báo doanh thu trung bình (dự báo điểm) của một công ty
có chi phí quảng cáo là 23 triệu đồng và tiền lương của nhân
viên tiếp thị là 15 triệu đồng với hệ số tin cậy 95%.
13
14
15
16
17
18
4
19
Bài tập 4.2
Với số liệu bài tập 4.2.
1. Giả thiết E(Y/X
1
,X
2
) = β
0
+ β
1
X
1i
+ β2X
2i
. Dùng số liệu
của mẫu trên để tìm hàm hồi quy mẫu
2. Tìm ước lượng phương sai của sai số ngẫu nhiên
3. Tìm khoảng tin cậy của các hệ số hồi quy với hệ số
tin cậy 95%.
4. Kiểm định giả thiết H
0
: β
2
= 0; H
0
: β
3
= 0.
5. Tìm R
2
và Ṝ
2
6. Phải chăng cả hai yếu tố “tỷ lệ lao động nông nghiệp”
và “số năm được đào tạo” đều không ảnh hưởng đến
thu nhập.
20
Mô hình hồi quy tổng thể
Mô hình hồi quy mẫu ngẫu nhiên:
kikik
XXXXYE
...),.../(
2212
ikikii
eXXY
ˆ
...
ˆˆ
221
kikiiiiii
XXXYYYe
ˆ
...
ˆˆˆ
ˆ
33221
3.2 Mô hình hồi quy k biến
sai số của mẫu ứng với quan sát thứ i
21
3.2.1 Ước lượng các tham số
min
ˆ
...
ˆˆˆ
2
1
33221
1
2
n
i
kikiii
n
i
i
XXXYe
0
ˆ
...
ˆˆˆ
2
...
0
ˆ
...
ˆˆˆ
2
0
ˆ
...
ˆˆˆ
2
133221
1
2
2
1,33221
2
1
2
133221
1
1
2
ki
n
ikikiii
k
n
ii
i
n
iikkiii
n
ii
n
ikikiii
n
ii
XXXXY
e
XXXXY
e
XXXY
e
22
)
ˆ
;
ˆ
(
iiiii
)2/,(
).
ˆ
(
knii
tSE
3.2.2 Khoảng tin cậy
Với mức ý nghĩa hay độ tin cậy 1-
Với
23
2
3322
2
ˆ
...
ˆˆ
i
kiikiiii
y
xyxyxy
R
kn
n
RR
1
)1(1
22
Hệ số xác định
Hệ số xác định hiệu chỉnh
Với klà tham số của mô hình, kể cả hệ số
tự do
24
2
R
kn
n
RR
1
)1(1
22
Dùng để xem xét việc đưa thêm biến
vào mô hình. Biến mới đưa vào mô hình
phải thỏa 2 điều kiện:
- Làm tăng
- Biến mới có ý nghĩa thống kê trong mô
hình mới
2
R
Hệ số xác định hiệu chỉnh
19
20
21
22
23
24
5
25
1. Kiểm định giả thuyết về hệ số hồi quy
Kiểm định giả thuyết H
0
:
B1.Tính
B2. Nguyên tắc quyết định
Nếu |t
i
| > t
(n-k,/2)
: bác bỏ H
0
Nếu |t
i
| ≤ t
(n-k,/2)
: chấp nhận H
0
*
ii
)
ˆ
(
ˆ
*
i
ii
i
SE
t
3.2.3 Kiểm định các giả thuyết hồi quy
26
2. Kiểm định sự phù hợp của mô hình: kiểm
định giả thuyết đồng thời bằng không:
H
0
: b
2
= b
3
=…= b
k
= 0;
(H
1
: ít nhất 1 trong k tham số khác 0)
B1. Tính
B2. Nguyên tắc quyết định:
Nếu F > F
(k-1, n-k): Bác bỏ H
0
: Mô hình phù
hợp
Nếu F ≤ F
(k-1, n-k): Chấp nhận H
0
: Mô hình
không phù hợp
)1)(1(
)(
2
2
kR
knR
F
3.2.4 Kiểm định các giả thuyết hồi quy
27
Mô hình hồi quy
Cho trước giá trị
Dự báo giá trị trung bình và giá trị cá biệt của
Y với mức ý nghĩa hay độ tin cậy 1 - .
3.3 DỰ BÁO
kki
XXY
ˆ
....
ˆˆ
ˆ
221
0
0
2
0
....
1
k
X
X
X
28
* Ước lượng điểm
* Dự báo giá trị trung bình của Y
)
ˆ
;
ˆ
()/( 00000
YYXYE
)2/,(00 )
ˆ
(
kn
tYSE
)
ˆ
()
ˆ
(00 YVarYSE
0102
0.).(
ˆ
)
ˆ
(XXXXYVar TT
Với:
3.3 DỰ BÁO
00
2210
ˆ
...
ˆˆ
ˆ
kk
XXY
29
* Dự báo giá trị cá biệt của Y
Với:
)
ˆ
;
ˆ
(
'
00
'
000
YYY
)2/,(00
'
0
)
ˆ
(
kn
tYYSE
)
ˆ
()
ˆ
(
0000
YYVarYYSE
2
000
ˆ
)
ˆ
()
ˆ
(
YVarYYVar
3.3 DỰ BÁO
Ví dụ
30
Cho số liệu về doanh số bán (Y), chi phí chào hàng (X
2
)
và chi phí quảng cáo (X
3
) trong năm 2001 ở 12 khu
vực bán hàng của 1 công ty
1. Hãy ước lượng hàm hồi quy tuyến tính của Y theo
X
2
và X
3.
Ý nghĩa các hệ số hồi quy.
2. Tính khoảng tin cậy các hệ số hồi quy.
3. Kiểm định giả thiết về hệ số hồi quy và giả thiết
đồng thời
4. Nếu chi phí chào hàng là 100 triệu đ và chi phí
quảng cáo là 100 triệu đ thì doanh thu trung bình
và doanh thu là bao nhiêu?
25
26
27
28
29
30