Đa cộng tuyến
Bản chất của đa cộng tuyến Ước lượng trong trường hợp có đa
cộng tuyến
Hậu quả của đa cộng tuyến Phát hiện đa cộng tuyến Các biện pháp khắc phục
Bản chất của đa cộng tuyến
Đa cộng tuyến là gì ? Ragnar Frisch: Đa cộng tuyến có nghĩa là
sự tồn tại mối quan hệ tuyến tính “hoàn hảo” hoặc chính xác giữa một số hoặc tất cả các biến giải thích trong một mô hình hồi qui.
Xét hàm hồi qui tuyến tính k-1 biến độc
lập:
Yi = 1 + 2X2i + 3X3i + … + kXki +
Ui
Nếu tồn tại các số 2, 3, …… k sao cho:
2X2i + 3X3i + …… + kXki = 0 Với i ( i = 2, 3, k…) không đồng thời
bằng không thì giữa các biến Xi (i = 2, 3, …k) xảy ra hiện tượng đa cộng tuyến hoàn hảo.
Nói cách khác là xảy ra trường hợp một biến giải thích nào đó được biểu diễn dưới dạng một tổ hợp tuyến tính của các bi n còn l i.
Nếu 2X2i + 3X3i + …… + kXki + vi = 0, Với vi là sai số ngẫu nhiên thì ta có hiện tượng đa cộng tuyến không hoàn hảo giữa các biến giải thích.
Nói cách khác là một biến giải thích nào đó có tương quan với một số biến giải thích khác.
Ví dụ
10
15
18
24
30
X2
50
75
90
120
150
X3
X*
52
75
97
129
152
3
X3i = 5X2i, vì vậy có cộng tuyến hoàn hảo
giữa X2 và X3 ; r23 = 1
X2 và X3* không có cộng tuyến hoàn hảo, nhưng hai biến này có tương quan chặt chẽ.
Lưu ý
Giả định về sự đa cộng tuyến liên quan đến mối quan hệ tuyến tính giữa các biến Xi, và không đề cập đến các mối quan hệ phi tuyến tính.
Xem xét mô hình:
Yi = 0 + 1Xi + 2Xi
2 + 3Xi
3 + ui,
Rõ ràng Xi
2 và Xi
3 có mối quan hệ hàm số với Xi nhưng phi tuyến tính nên không vi phạm giả định về đa cộng tuyến.
Minh họa bằng hình ảnh
Ước lượng trong trường hợp có đa cộng tuyến
1. Trường hợp có đa cộng tuyến hoàn
hảo
Trường hợp đa cộng tuyến hoàn hảo,
các hệ số hồi qui không xác định và các sai số chuẩn của chúng là vô hạn. Xét mô hình hồi qui 3 biến dưới dạng
sau:
Yi = 2 X2i + 3 X3i + ei
giả sử X3i = X2i , mô hình trên có thể được biến đổi thành: Yi = (2+ 3)X2i + ei = 0 X2i + ei
Chúng ta có thể ước lượng được 0 nhưng
không thể tách riêng được 2 và 3
Như vậy, trong trường hợp đa cộng tuyến hoàn hảo, không thể có lời giải duy nhất cho các hệ số hồi qui riêng, i.
Trong trường hợp đa cộng tuyến hoàn hảo, phương sai và sai số chuẩn của 2 và 3 là vô hạn.
Ước lượng của 2 trong hàm hồi quy 3 biến
như sau:
Các hệ số ước lượng không xác định: chúng ta
không tách rời tác động của từng biến Xi lên Y do không thể giả định X2 thay đổi trong khi X3 không đổi.
Giả sử X3i = X2i:
Ước lượng trong trường hợp có đa cộng tuyến
2. Trường hợp có đa cộng tuyến không
hoàn hảo
Đa cộng tuyến hoàn hảo thường
không xảy ra trong thực tế.
Xét mô hình hồi qui 3 biến dưới dạng
sau:
yi = 2 x2i + 3 x3i + ei
Giả định x3i = x2i + vi Với 0 và vi là sai số ngẫu nhiên. Trong trường hợp này, các hệ số hồi qui 2 và 3 có thể ước lượng được:
Ước lượng trong trường hợp đa cộng tuyến không hoàn hảo
Ta có thể ước lượng được các này nhưng s.e. sẽ rất lớn.
Hậu quả của đa cộng tuyến Nếu có cộng tuyến gần hoàn hảo: Các ước lượng vẫn BLUE, nhưng: Phương sai và hiệp phương sai của các
r23 là hệ số tương quan giữa X2 và X3.
Khi r23 1, các giá trị trên
ước lượng OLS lớn.
Hậu quả của đa cộng tuyến Nếu có cộng tuyến gần hoàn hảo: 2. Khoảng tin cậy rộng hơn.
2 = t /2 se ( );
khoảng tin cậy của 2 và 3 (với độ tin cậy 1 – ) là: ^ 2 ^ 3
^ 2 ^ 3
3 = t /2 se ( );
trong đó:
se ( ) = ^ 2
se ( ) = ^ 3
1(
1(
2 ix 2
2 ix 3
2 r 23)
2 r 23)
Hậu quả của đa cộng tuyến
Nếu có cộng tuyến gần hoàn hảo: 3. Tỉ số t "không có ý nghĩa".
khi kiểm định giả thuyết H0: 2 = 0, chúng ta sử dụng tỷ số t.
t
)
ˆ 2 ˆ(se 2
và so sánh giá trị ước lượng của t với
giá trị tra
bảng (tới hạn) của t.
Trong trường hợp cộng tuyến cao thì sai số
chuẩn sẽ rất lớn và do đó làm cho giá trị t sẽ nhỏ đi, kết quả là sẽ làm tăng chấp nhận giả thuyết H0.
Hậu quả của đa cộng tuyến Nếu có cộng tuyến gần hoàn hảo: 3. R2 cao nhưng tỉ số t ít có ý nghĩa.
Đa cộng tuyến cao: - một hoặc một số tham số tương quan (hệ số góc riêng) không có ý nghĩa về mặt thống kê - R2 trong những trường hợp này lại rất cao (trên 0,9). - kiểm định F thì có thể bác bỏ giả thuyết cho rằng 2 = 3 = … = k = 0.
Hậu quả của đa cộng tuyến Nếu có cộng tuyến gần hoàn hảo: 4. Các ước lượng OLS và sai số chuẩn của chúng trở nên rất nhạy với những thay đổi nhỏ trong dữ liệu.
5. Dấu của các ước lượng của các hệ số hồi
qui có thể sai
6. Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình sẽ thay đổi về dấu hoặc thay đổi về độ lớn của các ước lượng.
Ví dụ: hậu quả của đa cộng tuyến
Xét 2 mẫu sau:
Ví dụ: hậu quả của đa cộng tuyến Phương trình hồi quy của từng mẫu:
Phát hiện đa cộng tuyến
1. Hệ số R2 lớn nhưng tỷ số t nhỏ 2. Tương quan cặp giữa các biến giải thích
cao
3. Sử dụng mô hình hồi qui phụ 4. Sử dụng yếu tố phóng đại phương sai
(VIF)
Hệ số R2 lớn nhưng tỷ số t nhỏ
Đây là triệu chứng “kinh điển” của đa
cộng tuyến,
Nếu R2 cao, chẳng hạn, >0,8 và F
test bác bỏ giả thuyết 2 = 3 = … = k = 0, nhưng t test cho từng i lại chấp nhận H0.
2. Tương quan giữa các cặp biến giải thích
cao
Stata: corr my anh nhat duc phap
| my anh nhat duc phap
-----+---------------------------------------------
my | 1.0000
anh | 0.8121 1.0000
nhat | 0.4515 0.5235 1.0000
duc | 0.2168 0.1510 0.2436 1.0000
phap | 0.9244 0.8933 0.6042 0.1739 1.0000
Nếu tương quan cặp giữa các biến giải
thích cao (lớn hơn 0, 8) thì có thể xảy ra hiện tượng đa cộng tuyến.
3. Sử dụng mô hình hồi qui phụ Hồi qui một biến giải thích X nào đó theo
các biến còn lại.
Tính R2 và F cho mỗi mô hình theo công
2
knR ( ) 2 k )(R1(
)1
thức:
F =
Kiểm định giả thuyết H0: R2 = 0, tức giả
thuyết biến X tương ứng không tương quan tuyến tính với các biến còn lại. Nếu giả thuyết H0 được chấp nhận, thì không có cộng tuyến.
4. Sử dụng nhân tố phóng đại phương sai
(VIF)
1(
)
Đối với hàm hồi qui có hai biến giải thích X2 và X3, VIF được định nghĩa như sau:
1 2 23r
VIF =
2 > 0,9) thì
Khi có đa cộng tuyến. Khi r23 = 1 thì VIF tiến đến vô hạn. Nếu không có cộng tuyến giữa X2 và X3 thì VIF bằng 1. Kinh nghiệm: nếu VIF của 1 biến vượt quá
10 (điều này xảy ra nếu Rj biến này được coi là có cộng tuyến cao.
tu
AL
Q
Các biện pháp khắc phục 1. Sử dụng thông tin tiên nghiệm: Dựa vào kinh nghiệm khi làm việc với các mô hình Ví dụ hàm sản xuất Cobb-Douglas: t
eK t
t
(5.17) Qt là sản lượng sản phẩm được sản
xuất ở thời kỳ t
Lt là lao động ở thời kỳ t; Kt là vốn ở
thời kỳ t; Ut là sai số ngẫu nhiên
A, , là các tham số chúng ta cần
ước lượng
Lấy Lôgarit tự nhiên (5.17):
lnQt = ln A + ln Lt + ln Kt + Ut
Đặt ẩn số ta được:
* A
* Q t
* L t
* UK t
t
Giả sử K và L có tương quan rất cao, điều này dẫn đến phương sai của các ước lượng sẽ lớn. Giả sử, từ một nguồn thông tin nào đó, ta biết được hàm sản xuất mà ta đang xét thuộc ngành có kỳ vọng sinh lợi không đổi theo qui mô, nghĩa là + = 1.
*
thay = 1 - , ta được:
* * AKQ t
* t
* * ( AUKL ) t
* t
t
YUX t t
* t
Như vậy, thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập của mô hình xuống chỉ còn một biến.
Các biện pháp khắc phục 2. Loại trừ biến giải thích ra khỏi mô hình, định lại dạng mô hình: Bước 1: Xem cặp biến giải thích nào có quan hệ chặt chẽ. Giả sử X2, X3…Xk là các biến độc lập, Y là biến phụ thuộc và X2, X3 có tương quan chặt chẽ với nhau. Bước 2: Tính R2 đối với các hàm hồi qui: có mặt cả hai biến; không có mặt một trong hai biến. Bước 3: Ta loại biến mà giá trị R2 tính được khi không có mặt biến đó là lớn hơn.
Các biện pháp khắc phục 3. Thu thập thêm số liệu hoặc lấy mẫu mới 4. Sử dụng sai phân cấp một Ví dụ từ hàm hồi qui: yt = 1 + 1x1t + 2x2t + ut, ta suy ra yt-1 = 1 + 1x1,t-1 + 2x2,t-1 + ut-1, Trừ hai vế cho nhau, ta được: yt – yt – 1 = 1(x1,t – x1,t – 1) + 2(x2,t – x2,t – 1) + (ut – ut – 1) Hay:
yt = 1 x1,t + 2 x2,t + et,
Mặc dù, x1 và x2 có quan hệ tuyến tính, nhưng không có nghĩa sai phân của
Các biện pháp khắc phục
5. Giảm tương quan trong hàm hồi qui đa thức. Trong thực hành, để giảm tương quan trong hồi qui đa thức, người ta thường sử dụng dạng độ lệch (lệch so với giá trị trung bình). Nếu sử dụng dạng độ lệch mà không giảm đa cộng tuyến thì người ta có thể phải xem xét đến kỹ thuật “đa thức trực giao”.
Các biện pháp khắc phục
6. Một số biện pháp khắc phục khác. Hồi qui thành phần chính; hồi qui dạng sóng
