Mô hình hồi quy kinh tế lượng sẽ cho chúng ta biết giá trị trung bình của
biến phụ thuộc Y sẽ thay đổi như thế nào theo biến độc lập X hoặc xu thế
I. Các khái niệm cơ bản II. Phương pháp OLS III. Độ phù hợp của hàm hồi quy
Bài tập ứng dụng
thay đổi của chính nó theo thời gian ( Y-1, Y-2, ….)
I.1.Phân tích hồi quy (regression analysis)
a. Bản chất của phân tích hồi quy Thuật ngữ “hồi quy” được Francis Galton sử dụng
vào năm 1886.
Là phân tích mối liên hệ phụ thuộc giữa một biến gọi là biến phụ thuộc (dependent variable) vào một là biến giải thích hoặc một số biến khác gọi (explanatory variable)
Biến phụ thuộc, ký hiệu là Y Biến giải thích, ký hiệu là X hoặc X1 , X2, …
Hồi quy là một công cụ cơ bản của Kinh tế lượng
Thí dụ: “Luận thuyết tiêu dùng của Keynes”
Y (chi tiêu)
E(Y/X=22)
0
14 16 18 20 22 X ( thu nhập)
Các thí dụ khác
Mức cầu – giá Tỷ lệ thay đổi của tiền lương – tỷ lệ thất nghiệp Tỷ lệ tiền mặt nắm giữ trong tổng thu nhập – tỷ
lệ lạm phát
Mức cầu – mức chi cho quảng cáo Sản lượng của một loại nông sản – lượng phân
bón, lượng mưa, nhiệt độ, v.v…
Mục đích của phân tích hồi qui
Ước lượng giá trị trung bình của biến phụ thuộc khi biết giá trị của biến độc lập, tức là phải ước lượng các tham số của mô hình.
Kiểm định các giả thuyết về bản chất của mối quan hệ giữa biến phụ thuộc và biến độc lập mà lý thuyết kinh tế đưa ra. Trong trường hợp này phải trả lời hai câu hỏi: - Có tồn tại quan hệ giữa biến phụ thuộc và biến độc lập hay không? - Nếu tồn tại quan hệ thì mức độ chặt chẽ như thế nào?
Dự báo giá trị trung bình của biến phụ thuộc khi biết
giá trị của biến độc lập.
b. Phân tích hồi quy và các quan hệ khác
Phân tích hồi quy nghiên cứu quan hệ thống kê (statistical relationship) Ta phân biệt với các quan hệ sau:
Phân tích hồi quy và quan hệ hàm số
(functional relationship)
Phân tích hồi quy và phân tích tương quan
(correlation analysis)
Phân tích hồi quy và quan hệ nhân quả
(causation relationship)
Phân tích hồi quy và quan hệ hàm số
- Trong quan hệ hàm số: + Ứng với mỗi giá trị của biến độc lập cho duy nhất một giá trị của biến phụ thuộc. + Các biến không phải là các biến ngẫu nhiên.
- Trong phân tích hồi quy + Ứng với mỗi giá trị cho trước của biến độc lập có thể có nhiều giá trị khác nhau của biến phụ thuộc. + Các biến là các biến ngẫu nhiên.
Phân tích hồi quy và phân tích tương quan
- Phân tích tương quan + Đo mức độ kết hợp tuyến tính giữa hai biến bằng hệ số tương quan. + Các biến có tính chất đối xứng.
- Trong phân tích hồi quy + Ước lượng và dự báo một biến trên cơ sở giá trị đã cho của các biến khác. + Các biến không có tính chất đối xứng.
Phân tích hồi quy và quan hệ nhân quả
- Quan hệ nhân quả là hệ hai chiều giữa hai đối tượng trong đó vai trò của các đối tượng được xác định rõ đâu là nguyên nhân và đâu là kết quả.
- Trong phân tích hồi quy biến giải thích không nhất thiết là nguyên nhân gây lên biến phụ thuộc, mối quan hệ giữa các biến được xác lập tuỳ thuộc vào mục đích nghiên cứu.
I.2. MH hồi quy tổng thể 2.1. Tổng thể
Ví dụ: (1) mối quan hệ giữa chi tiêu – thu nhập Tổng thể là tất cả các hộ gia đình có chi tiêu (có hoặc không có thu nhập) đo lường bằng đơn vị tiền tệ
X3
X4 X2
(2) mối quan hệ giữa lao động – sản lượng trong một nhà máy A Tổng thể là tất cả số lượng lao động nhà máy A đã thuê và sản lượng tương ứng từ khi nhà máy bắt đầu sản xuất đến thời điểm nghiên cứu X1
Xk
Tổng thể
(3) mối quan hệ giữa năng suất một loại lúa A – lượng mưa trong năm 2010 Tổng thể là năng suất của giống lúa A trên tất cả các mảnh ruộng trồng và lượng mưa đo được trên các mảnh ruộng đó trong năm 2010
2.2. Hàm hồi quy tổng thể
- Định nghĩa: Hàm hồi quy tổng thể là hàm số mô tả mối quan hệ
giữa E(Y) và X, xác định trên toàn bộ tổng thể
Xét mô hình gồm các biến độc lập (X) và 1 biến phụ thuộc (Y):
X= X1, X2, … , Xn (Y|Xi ) = (Y| X1), (Y|X2), …, (Y|Xn)
(Y|Xi ) ~ E (Y|Xi); var (Y|Xi)
(PRF): E (Y|Xi) = f(Xi )
2.2. Hàm hồi quy tổng thể
Y (chi tiêu)
(E|Y=X=22)
0
X ( thu nhập)
2.2. Hàm hồi quy tổng thể
Dạng của PRF xác định bởi lý thuyết kinh tế và thực tế số liệu kinh tế
Y Y
0 0 X X
2.2. Hàm hồi quy tổng thể
Xét hàm hồi quy tổng thể PRF có dạng đường thẳng:
E Y X /
(
)
1
k
)
i
2
1
X i ( i
(PRF) :
E Y X /
(
0)
1
i
)
2
:Là hệ số chặn, cho biết giá trị trung bình của Y khi X=0
dE Y X ( / dX
: Là hệ số góc, cho biết khi X tăng (giảm) 1 đơn vị thì trung bình của Y sẽ thay đổi bao nhiêu và thay đổi như thế nào.
2.3. Hàm hồi quy tuyến nh
Hàm hồi quy tổng thể được gọi là tuyến tính nếu hàm đó là bậc nhất với các hệ số
Phân biệt tuyến tính theo: - Hệ số
- Biến số
- Cả hai
Các hàm hồi quy phi tuyến có thể quy về hàm hồi quy tuyến tính (bài tập)
2.4. MH hồi quy tổng thể
U(+)
Y (chi tiêu)
Các giá trị Yi không trùng với E(Y|X):
Ui = Yi - E(Y|Xi )
U(-)
Ui là sai số ngẫu nhiên, nhiễu ngẫu nhiên
Giá trị cá biệt của Y: Yi = E(Y|Xi ) + Ui
0
X ( thu nhập)
2.4. MH hồi quy tổng thể
Nguyên nhân sự tồn tại của sai số ngẫu nhiên:
- Lý thuyết chưa đầy đủ
- Sự hạn chế của số liệu: không có số liệu hoặc có nhưng sai sót
- Tầm quan trọng của một biến
- Hành vi của con người có tính ngẫu nhiên
- Dạng hàm không đúng
2.4. MH hồi quy tổng thể
Mô hình hồi quy bội (k biến ) gồm: - 1 biến phụ thuộc + (k-1) biến độcl lập - k hệ số: 1 hệ số chặn và (k-1) hệ số góc
• Xét mô hình hồi quy bội dạng tuyến tính
PRF E Y X X (
:
/
,
,...,
X
)
X
X
...
X
i
k
ki
:
3 i X
1 ...
2 X
1
N
)
PRM Y i
2 i 2
1
ki X 3
i 3
i 2
2 k
ki
3 3 i U i ( i
2.4. MH hồi quy tổng thể
Ý nghĩa
* Hệ số chặn β1 = E(Y/X2i = X3i = …= Xki = 0) là giá
trị trung bình của Y khi X2i = X3i = …= Xki = 0.
j m
)
* Các hệ số góc βm cho biết khi Xm tăng (giảm) 1 đơn vị thì trung bình của Y thay đổi như thế nào trong điều kiện các biến Xj không thay đổi. (
E Y X X /
(
,...,
X
)
k
3
(
m
2
k
)
m
, X
2
m
I.3. MH hồi quy mẫu 3.1. Mẫu ngẫu nhiên
Mẫu ngẫu nhiên k chiều ( k ≥ 2) kích thước n:
W = {(X1i , X2i , …., Xki ), i= 1 ÷ n }
W2
W1
Tổng thể
3.2. Hàm hồi quy mẫu
Hàm hồi quy tuyến nh
Y (chi tiêu) Hàm hồi quy tổng thể (PRF):
E( Y|Xi ) = f(Xi )
Yi = f(Xi )
Ŷi = fˆ(Xi ) Hàm hồi quy mẫu (SRF):
Ŷi = fˆ(Xi )
0
X ( thu nhập)
3.2. Hàm hồi quy mẫu
Xét hàm hồi quy mẫu dạng phương trình đường thẳng:
(SRF) :
, :Là ước lượng các hệ số trong mô hình hồi quy
tổng thể
:Với mẫu cụ thể, cho biết trung bình của Y khi X=0
khoảng đơn vị
:Với mẫu cụ thể, cho biết khi X tăng (giảm) 1 đơn vị
thì trung bình của Y thay đổi khoảng
(đơn vị)
3.2. MH hồi quy mẫu
E ( Y|X)
Y (chi tiêu)
ei Yi = Ŷi + ei
ei = ȗi
Ŷi = fˆ(Xi )
0
X ( thu nhập)
Tổng thể (Population)
Mẫu (Sample)
PRF E Y X :
(
/
ˆ: S R F Y
X
i
ˆ ˆ 2 1
i
)i
X i
1
2
:
:
1 2
X U i i
ˆ ˆ 2 1
X e i i
PRM Y i N )
i ( 1
SRM Y i n )
1
i (
Sai số ngẫu nhiên Ui
Phần dư ei
Bài tập
Xét các mô hình bậc nhất với hệ số và biến số:
- Viết phương trình hồi quy trong tổng thể và mẫu
- Dấu của hệ số như nào là phù hợp với lý thuyết kinh tế
1. Mô hình lượng cầu (Qd) phụ thuộc vào giá bán (P) 2. Mô hình lượng cung ( Qs) phụ thuộc vào giá bán (P) và giá hàng cạnh tranh (Pct) 3. Mô hình sản lượng (Y) phụ thuộc vào vốn (K) và lao động (L) 4. Mô hình tổng chi phí (TC) phụ thuộc vào sản lượng (Q) 5. Mô hình tổng sản phầm quốc nội (GDP) phụ thuộc vào đầu tư trực ếp nước ngoài (FDI)
II. Phương pháp bình phương nhỏ nhất
E ( Y|X)
Y
Ý tưởng của phương pháp: e (+)
| Yi - Ŷi | = | ei | => min
Ŷi = fˆ(Xi ) e (-)
0
26
X
II.1. Nghiệm phương pháp bình phương nhỏ nhất
X
e i
ˆ Y Y i i
Y i
ˆ ˆ 1 2
i
n
n
n
2
2
)
X
)
f
)
ˆ Y Y ( i i
Y ( i
ˆ ˆ 2 1
i
ˆ ˆ ( , 2 1
2 e i
i
1
i
1
i
1
n
n
)
0
) 0
ˆ ˆ 1 2
X i
Y X i i
i
1
i
1
I ( )
n
n
n
n
)
) 0
X Y ( i i
ˆ ˆ 1 2
X i
ˆ 2
YX i i
0
X i
2 X i
1
i
1 i
i
1
i
1
n 2 ( Y i 1 i 2
ˆ ˆ n 1 2 ˆ 1
ˆ ˆ , ( 1 2 ˆ 1 ˆ ˆ , ( 1 2 ˆ 2
f f
27
Nghiệm của phương pháp OLS:
Y
II.1. Nghiệm phương pháp bình phương nhỏ nhất ˆ X 2
n
n
n
Y X i
i
i
Y i
X
. n
I ( )
i
1
i
1
i
(?)
1 n
n
2
X
)
n
X
(
i
2 i
i
1
i
1
ˆ 1 ˆ 2
n
X
X
i
i
1
n
Y
Y i
1 n 1 n
i
1
28
II.1. Nghiệm phương pháp bình phương
nhỏ nhất
Ví dụ tính toán: Cho bảng số liệu sau
Số hộ
TN (X)
CT (Y)
X2
X.Y
1
10
12
100
120
2
10
11
100
110
3
12
13
144
156
4
14
12
196
168
Beta^(1) = 6,22
5
14
13
196
182
6
16
16
256
256
7
16
14
256
224
8
18
17
324
306
9
18
15
324
270
10
20
16
400
320
Tổng
148
139
2296
2112
TBình
14.8
13.9
229.6
211.2 29
Beta^(2) = 0,52
II.1. Nghiệm phương pháp bình phương
nhỏ nhất
Ví dụ tính toán: Cho bảng số liệu sau
Số hộ
TN (X)
CT (Y)
1
10
12
100
120
2
10
11
100
110
3
12
13
144
156
4
14
12
196
168
-Chọn các mẫu khác nhau để tìm hệ số ước lượng theo phương pháp OLS
5
14
13
196
182
6
16
16
256
256
7
16
14
256
224
các mẫu khác nhau cho ra kết quả khác nhau
8
18
17
324
306
9
18
15
324
270
10
20
16
400
320
30
các hệ số ước lượng là các biến ngẫu nhiên
II.1. Nghiệm phương pháp bình phương
nhỏ nhất
Tính chất của các ước lượng bình phương nhỏ nhất:
- Là nghiệm duy nhất ứng với một mẫu cụ thể
- Là các ước lượng điểm của các hệ số
Tính chất của hàm hồi quy mẫu:
- Đi qua trung bình mẫu
- Giá trị trung bình của ước lượng bằng giá trị trung bình các quan sát
- Giá trị trung bình (tổng) phần dư bằng 0
- Các phần dư không tương quan với giá trị ước lượng
- Các phần dư không tương quan với biến độc lập
31
II.1. Nghiệm phương pháp bình phương nhỏ nhất
Xét mô hình hồi quy 3 biến: PRF E Y X X ) (
/
:
,
X
X
3 i X
2
X
3 3 i 1 N
)
:
2 i 2
1
2
i
1 3
3
i
2 i U i ( i
PRM Y i
,
,
) :
i
1
n
i
i
i
X
Trong mẫu ˆ: SRF Y i
2
i
i 3
:
X
X
1
n
)
SRM Y i
W Y X X ( 2 3 ˆ ˆ ˆ X 3 1 2 ˆ ˆ ˆ 3 2 1
2
i
3
i
e i ( i
,
là các ước lượng điểm của β1,β2,β3 là ước lượng điểm của E(Y/X2i,X3i)
ˆ ˆ ˆ , 1 3 2 ˆ iY ei là ước lượng điểm của Ui
32
II.1. Nghiệm phương pháp bình phương nhỏ nhất
,
Tìm
sao cho:
ˆ ˆ ˆ , 1 3 2
n
n
n
2
2
RSS
)
X
X
)
f
,
,
)
Min
ˆ Y Y ( i i
Y ( i
ˆ ˆ 2 1
2
i
ˆ 3
i 3
ˆ ˆ ˆ ( 3 2 1
2 e i
i
1
i
1
i
1
n
)
,
2
X
X
) 0
Y ( i
ˆ ˆ 2 1
2
i
ˆ 3
3
i
i
1
n
)
,
,
2
X
X
)
0
X Y ( 2 i i
ˆ ˆ 2 1
2
i
ˆ 3
i 3
i
1
n
)
,
,
2
X
X
) 0
X Y ( 3 i i
ˆ ˆ 2 1
2
i
ˆ 3
3
i
i
1
ˆ ˆ ˆ ( , 2 1 3 ˆ 1 ˆ ˆ ˆ ( 2 1 3 ˆ 2 ˆ ˆ ˆ ( 1 2 3 ˆ 3
f f f
33
Y
X
II.1. Nghiệm phương pháp bình phương nhỏ nhất ˆ X 3
ˆ 2
ˆ 1
2
3
n
n
n
n
(
)
(
)(
)
x y 2 i i
2 x 3 i
x y 3 i i
x x 3 2 i
i
)(
i
1
i
1
i
1
i
1
ˆ 2
n
n
n
2
(
)
(
)
2 x 3 i
x x 3 i 2
i
2 x )( 2 i
i
1
i
1
i
1
n
n
n
n
(
)(
)
)(
)
x y 3 i i
2 x 2 i
x y 2 i i
x x 3 2 i
i
(
i
1
i
1
i
1
i
1
ˆ 3
n
n
n
2
(
)
(
)
2 x 3 i
x x 3 2 i
i
2 x )( 2 i
i
1
i
1
i
1
34
I.2. Giả thiết phương pháp bình phương nhỏ nhất
Các giả thiết của mô hình
GT1: Biến độc lập là phi ngẫu nhiên GT2: Kỳ vọng của các SSNN bằng 0
E(Ui) = 0, i
GT3: Phương sai của các SSNN bằng nhau
Var(Ui) = Var(Uj) = 2 , i ≠ j
GT4: Các SSNN không tuơng quan với nhau
Cov(Ui ,Uj) = 0 , i ≠ j
GT5: Các SSNN và biến độc lập không tương quan với nhau
Cov(Ui , Xmi) = 0, i,m
2
(cid:0)
GT6: Các sai số ngẫu nhiên có phân phối chuẩn N ( 0 ,
)
iU
GT7: Các biến giải thích không có quan hệ tuyến tính – Ma trận
X là không suy biến.
II.2. Giả thiết phương pháp bình phương nhỏ nhất
Chất lượng của các ước lượng phụ thuộc vào:
- Dạng hàm của mô hình được lựa chọn
- Các giá trị biến độc lập và sai số ngẫu nhiên
- Kích thước mẫu
Trong thực tế chúng ta lưu ý thêm các giả thiết sau:
- Hàm hồi quy là tuyến tính theo hệ số
- Số quan sát lớn hơn số hệ số cần ước lượng (n>k)
- Các giá trị của biến độc lập có giá trị đủ lớn
- Hàm hồi quy được chỉ định đúng
36
II.3. Độ chính xác của các ước lượng
ˆ(
E ) 1 1
- Trung bình của ước lượng:
n
X
2 i
i
Var
ˆ( 2 )
;
Var U (
)
2
(
i
)
1
i
1 n
n
2 x i
i
1
n
n
X
X
2 i
2 i
SD
)
SD
)
Se
)
1
ˆ ( 1
ˆ( 1 i n n
ˆ 1 i ˆ ( 1 n n
2 x i
2 x i
i
1
i
1
37
- Phương sai của ước lượng:
II.3. Độ chính xác của các ước lượng ˆ(
E ) 2 2
- Trung bình của ước lượng:
Var
)
ˆ( 2
2 n
2 x i
i
1
ˆ
Se
)
SD
)
ˆ( 2
ˆ( 2
n
n
2 x i
2 x i
i
1
i
1
n
n
2 e i
2 e i
2 ˆ
ˆ
- Phương sai của ước lượng:
1 i n
(
2)
1 i n
(
2)
38
Với:
II.3. Độ chính xác của các ước lượng
- Trung bình của ước lượng:
Var
Cov
)
...
Cov
)
Cov
)
Var
)
Cov
)
Cov
ˆ( )
2
(
T X X
)
... ...
ˆ ˆ , ( 1 k ˆ ˆ , ( 2 k ...
)
)
...
Var
)
Cov
Cov
ˆ ) ( 1 ˆ ˆ ( , 1 2 ... ˆ ˆ ( , k 1
ˆ ˆ , ( 1 2 ˆ ( 2 ... ˆ ˆ , ( k 2
ˆ ( k
- Phương sai của các ước lượng được biểu diễn dưới dạng ma trận hiệp phương sai của các hệ số:
2ˆ
Te e k n
(
)
-Sai số tiêu chuẩn của hàm hồi quy:
II.3. Độ chính xác của các ước lượng
* Định lý Gauss – Markov: Với các giả thiết 1-5 của phương pháp OLS, các ước lượng OLS là các ước lượng tuyến tính, không chệch và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch.
ˆ,β β ˆ 1
2
là BLUE của 1 , 2
(Best Linear Unbiased Estimates)
40
III. Độ phù hợp của hàm hồi quy
Y
SRF
ei
Yi
41
0 Xi X
III.1. Phân tích phương sai
- Khái niệm phương pháp phân tích bằng phương sai (ANOVA) là phân tích toàn bộ sự biến thiên của biến ngẫu nhiên thành các bộ phận khác nhau mà có thể giải thích được và khảo sát từng bộ phận đó.
Toàn bộ sự biến thiên của biến phụ thuộc Y xung quanh giá trị trung bình của nó (TSS) có thể tách thành hai bộ phận:
1. Các biến thiên của Y được giải thích thông qua hàm hồi quy
(ESS), tức là thông qua các biến giải thích có mặt trong hàm hồi quy.
2. Các biến thiên của Y được giải thích bên ngoài mô hình (RSS),
42
tức là không thông qua các biến giải thích có mặt trong hàm hồi quy.
;
1
n )
ˆ i
i
III.1. Phân tích phương sai ˆ ˆ ˆ Y Y Y Y e Y Y y i Y Y e ( i i i i i i ˆ y y i i 2 2 ˆ y y i i
e i 2 e i
ˆ2 e y i i
n
n
n
n
2
2 y i
2 e i
ˆ e y i i
2 ˆ y i
1 i
i
1
1 i
i
1
n
n
n
n
0
(?)
ˆ e y i i
2 y i
2 ˆ y i
2 e i
i
1
i
1
i
1
i
1
43
III.1. Phân tích phương sai
TSS = ESS + RSS
n
n
2
TSS
y
Y
)
2 i
Y ( i
i
1
i
1
n
n
n
n
2
2
ESS
ˆ y
ˆ Y
)
Y
)
2 i
ˆ Y ( i
ˆ Y ( i
ˆ 2 2
2 x i
i
1
i
1
i
1
i
1
n
n
2
RSS
)
2 e i
Y ( i
ˆ Y i
i
1
i
1
44
III.2. Hệ số xác định
R2 cho biết hàm hồi quy (các biến độc lập trong mô hình) giải thích được bao nhiêu % sự thay đổi của biến phụ thuộc Y
Nó được sử dụng để đặc trưng cho mức độ thích hợp của hàm hồi quy
III.3. Hệ số xác định điều chỉnh
2
2
R
1
1 (1
R
)
RSS n k ) /( TSS n 1) /(
1 n n k
- Nếu k > 1 thì
=> số biến giải thích tăng lên thì tăng chậm hơn
- nhưng có thể âm