ĐA CỘNG TUYẾN

Chia sẻ: Nguyễn Thị Lan | Ngày: | Loại File: DOC | Số trang:11

Thêm vào BST

Báo xấu

473
lượt xem 131
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

I.GIỚI THIỆU VỀ ĐA CỘNG TUYẾN: Thông thường các biến độc lập không có mối quan hệ tuyến tính, nếu quy tắc này bị vi phạm sẽ có hiện tượng đa cộng tuyến. Như vậy, đa cộng tuyến là hiện tượng các biến độc lập trong mô hình phụ thuộc lẫn nhau và thể hiện được dưới dạng hàm số

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: ĐA CỘNG TUYẾN

A. LÍ THUYẾT: I.GIỚI THIỆU VỀ ĐA CỘNG TUYẾN: Thông thường các biến độc lập không có mối quan hệ tuyến tính, nếu quy tắc này bị vi phạm sẽ có hiện tượng đa cộng tuyến. Như vậy, đa cộng tuyến là hiện tượng các biến độc lập trong mô hình phụ thu ộc lẫn nhau và thể hiện được dưới dạng hàm số II. CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN R 2 cao nhưng tỉ số t thấp 1. Trong trường hợp R 2 cao (thường R 2 > 0,8) mà tỉ số t thấp thì đó chính là dấu hiệu của hiện tượng đa cộng tuyến . Tương quan cặp giữa các biến giải thích cao 2. Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả năng có tồn tại đa cộng tuyến. Tuy nhiên tiêu chuẩn này thường không chính xác. Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến. Thí dụ, ta có 3 biến giải thích X 1 , X 2 , X 3 như sau X 1 = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0) X 2 = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) X 3 = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0) Rõ ràng X 3 = X 2 + X 1 nghĩa là ta có đa cộng tuyến hoàn hảo, tuy nhiên tương quan cặp là: r 12 = -1/3 ; r 13 = r 23 =0,59 Như vậy đa cộng tuyến xảy ra mà không có sự bảo trước cuả tương quan cặp những dẫu sao nó cũng cung cấp cho ta những kiểm tra tiên nghiệm có ích. Xem xét tương quan riêng 3. Vì vấn đề được đề cập đến dựa vào tương quan bậc không. Farrar và Glauber đã đề nghị sử dụng hệ số tương quan riêng. Trong hồi quy của Y 2 đối với các biến X 2 , X 3 ,X 4 . Nếu ta nhận thấy răng r 1, 234 cao trong khi đó 2 2 2 r 12,34 ; r 13, 24 ; r 14, 23 tương đối thấp thì điều đó có thể gợi ý rằng các biến X 2 , X 3 và X 4 có tương quan cao và ít nhất một trong các biến này là thừa. Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng đa cộng tuyến.
Hồi quy phụ 4. Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ. Hồi quy phụ là hồi quy mỗi một biến giải thích X i theo các biến giải thích còn lại. R 2 được tính từ hồi quy này ta ký hiện R i2 Mối liên hệ giữa F i và R i2 : Ri2 /(k − 2) F= (1 − Ri2 ) /( n − k + 1) F i tuân theo phân phối F với k – 2 và n-k +1 bậc tự do. Trong đó n là , k là số biến giải thích kể cả hệ số chặn trong mô hình. R i2 là hệ số xác định trong hồi quy của biến X i theo các biến X khác. Nếu F i tính được vượt điểm tới hạn F i (k-2,n-k+1) ở mức ý nghĩa đã cho thì có nghĩa là X i có liên hệ tuyến tính với các biến X khác. Nếu F i có ý nghĩa về mặt thống kê chúng ta vẫn phải quyến định liệu biến X i nào sẽ bị loại khỏi mô hình. Một trở ngại của kỹ thuật hồi quy phụ là gánh nặng tính toán. Nhưng ngày nay nhiều chương trình máy tính đã có thể đảm đương được công việc tính toán này. Nhân tử phóng đại phương sai 5. Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến X i , ký hiệu là VIF(X i ). VIF(X i ) được thiết lập trên cơ sở của hệ số xác định R i2 trong hồi quy của biến X i với các biến khác nhau như sau: 1 VIF(X i ) = 1 − R 2 (5.15) i Nhìn vào công thức (5.15) có thể giải thích VIF(X i ) bằng tỷ số chung của phương sai thực của β 1 trong hồi quy gốc của Y đối với các biến X và phương sai của ước lượng β 1 trong hồi quy mà ở đó X i trực giao với các biến khác. Ta coi tình huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với nhau, và VIF so sánh tình huông thực và tình huống lý tưởng. Sự so sánh này không có ích nhiều và nó không cung cấp cho ta biết phải làm gì với tình huống đó. Nó chỉ cho biết rằng các tình huống là không lý tưởng. Đồ thị của mối liên hệ của R i2 và VIF là 0
V IF 100 50 2 Ri 10 0,9 1 1
Như hình vẽ chỉ ra khi R i2 tăng từ 0,9 đến 1 thì VIF tăng rất mạnh. Khi R i2 =1 thì VIF là vô hạn. Có nhiều chương trình máy tính có thể cho biết VIF đối với các biến độc lập trong hồi quy. 6. Độ đo Theil Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các biến giải thích. Một độ đo mà xem xét tương quan của biến giải thích với biến được giải thích là độ đo Theil. Độ đo Theil được định nghĩa như sau: k m = R - ∑ ( R 2 - R 2i ) 2 − i=2 Trong đó R 2 là hệ số xác định bội trong hồi quy của Y đối với các biến X 2 , X 3 … X k trong mô hình hồi quy: Y = β 1 + β 2 X 2i + β 3 X 3i + ……. + β k X ki + U i R 2 i là hệ số xác định bội trong mô hình hồi quy của biến Y đối với các − biên X 2 , X 3 , … ,X i −1 , X i +1 , … ,X k Đại lượng R 2 - R 2 i được gọi là “đóng góp tăng thêm vào” vào hệ số xác − định bội. Nếu X 2 , X 3 … X k không tương quan với nhau thì m = 0 vì những đóng góp tăng thêm đó cộng lại bằng R 2 . Trong các trường hợp khác m có thể nhận giá trị âm hoặc dương lớn. Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có 2 biến giải thích X 2 và X 3 . Theo ký hiệu đã sử dụng ở chương trước ta có: 2 2 m = R 2 - ( R 2 - r 12 ) – (R 2 – r 13 ) 2 2 Tỷ số t liên hệ với tương quan riêng r 12,3 , r 13, 2 Trong phần hồi quy bội ta đã biết: 2 2 2 R 2 = r 12 + (1- r 12 ) r 13, 2 2 R 2 = r 13 + (1- r 13 ) r 12,3 2 2 Thay 2 công thức này vào biểu thức xác định m ta được: 2 2 m = R 2 - (r 12 + (1- r 12 ) r 13, 2 - r 12 ) - ( r 13 + (1- r 13 ) r 12,3 - r 13 ) 2 2 2 2 2 2 2 2 = R 2 - ((1- r 12 ) r 13, 2 + (1- r 13 ) r 12,3 ) 2 2 2 Đặt 1- r 12 = w 2 ; 1- r 13 = w 3 và gọi là các trọng số. Công thức (5.16) 2 được viết lại dưới dạng
2 2 m = R 2 - (w 2 r 13, 2 + w 3 r 12,3 ) Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng có trọng số của các hệ số tương quan riêng. Như vậy chúng ta đã biết một số độ đo đa cộng tuyến nhưng tất cả đều có ý nghĩa sử dụng hạn chế. Chúng chỉ cho ta những thông báo rằng sự việc không phải là lý tưởng. Còn một số độ đo nữa nhưng liên quan đến giá trị riêng hoặc thống kê Bayes chúng ta không trình bày ở đây. Biện pháp khắc phục III. 1. Sử dung thông tin tiên nghiêm ̣ ̣ Môt trong cac cach tiêp cân để giai quyêt vân đề đa công tuyên là phai ̣ ́ ́ ́ ̣ ̉ ́ ́ ̣ ́ ̉ tân dung thông tin tiên nghiêm hoăc thông tin từ nguôn khac đê ̉ ước lượng ̣ ̣ ̣ ̣ ̀ ́ cac hệ số riêng. ́ Thí dụ : ta muôn ước lượng ham san xuât cua 1 quá trinh san xuât nao đó có ́ ̀ ̉ ́̉ ̀ ̉ ́̀ ̣ dang : Qt =AL Trong đó Qt là lượng san phâm được san xuât thời kỳ t ; Lt lao đông thời ̉ ̉ ̉ ́ ̣ kỳ t ; Kt vôn thời kỳ t ; Ut là nhiêu ;A , α, β là cac tham số mà chung ta cân ́ ̃ ́ ́ ̀ ước lượng .Lây ln cả 2 vế (5.17) ta được : ́ LnQt = LnA + αlnLt + βKt Ut ̣ Đăt LnQt = Q*t ; LnA = A* ; LnLt = L*t = A* + αL*t + βK*t + Ut Ta được Q*t (5.18) Giả sử L|K và L có tương quan rât cao dĩ nhiên điêu nay sẽ dân đên ́ ̀ ̀ ̃ ́ phương sai cua cac ước lượng cua cac hệ số co gian cua ham san xuât lớn . ̉ ́ ̉ ́ ̃ ̉ ̀ ̉ ́ Giả sử từ 1 nguôn thông tin có lới theo quy mô nao đó mà ta biêt ̀ ̀ ́ được răng nganh công nghiêp nay thuôc nganh cso lợi tức theo quy mô ̀ ̀ ̣ ̀ ̣ ̀ không đôi nghia là α + β =1 .Với thông tin nay ,cach xử lý cua chung ta sẽ ̉ ̃ ̀ ́ ̉ ́ là thay β = 1 - α vao (5.18) và thu được : ̀
= A* + αL*t + ( 1 - α )K*t + Ut (5.19) Q*t Q*t – K*t = A* + α(L*t – K*t ) + Ut Từ đó ta được ̣ Q*t – K*t = Y*t và L*t – K*t = Z*t ta được Đăt = A* + α Z*t + Ut Y*t Thông tin tiên nghiêm đã giup chung ta giam số biên đôc lâp trong mô ̣ ́ ́ ̉ ́ ̣̣ ̀ ́ ̀ ́ hinh xuông con 1 biên Z*t µ́ ̣µ µ Sau khi thu được ước lượng α cua α thì β tinh được từ điêu kiên β = 1 ̉ ̀ µ –α 2. Thu thâp số liêu hoăc lây thêm mâu mới ̣ ̣ ̣́ ̃ Vì đa công tuyên là đăc trưng cua mâu nên có thể có mâu khac liên quan ̣ ́ ̣ ̉ ̃ ̃ ́ đên cung cac biên trong mâu ban đâu mà đa công tuyên có thể không ́ ̀ ́ ́ ̃ ̀ ̣ ́ nghiêm trong nữa. Điêu nay có thể lam được khi chi phí cho viêc lây mâu ̣ ̀ ̀ ̀ ̣́ ̃ khac có thể châp nhân được trong thực tế . ́ ́ ̣ Đôi khi chỉ cân thu thâp them số liêu , tăng c ỡ mâu co ́ thê ̉ lam giam tinh ̀ ̣ ̣ ̃ ̀ ̉ ́ ̣ ̉ ̣ ́ nghiêm trong cua đa công tuyên . 3. Bỏ biên ́ Khi có hiên tượng đa công tuyên nghiêm trong thì cach “ đ ơn gian nhât ̣ ̣ ́ ̣ ́ ̉ ́ “là bỏ biên công tuyên ra khoi phương trinh. Khi phai sử dung biên phap ́ ̣ ́ ̉ ̀ ̉ ̣ ̣ ́ nay thì cach thức tiên hanh như sau : ̀ ́ ́ ̀ Giả sử trong mô hinh hôi quy cua ta có Y là biên đ ược giai thich con X2 ̀ ̀ ̉ ́ ̉ ́ ̀ .X3 …Xk là cac biên giai thich . Chung ta thây răng X2 tương quan chăt ́ ́ ̉ ́ ́ ́ ̀ ̣ chẽ với X3 .Khi đó nhiêu thông tin về Y chứa ở X2 thì cung chứa ở X3 ̀ ̃ .Vây nêu ta bỏ 1 trong 2 biên X2 hoăc X3 ̣ ́ ́ ̣ Khoi mô hinh hôi quy , ta sẽ giai quyêt được vân đề đa công tuyên nhưng sẽ ̉ ̀ ̀ ̉ ́ ́ ̣ ́ mât đi 1 phân thông tin về Y . ́ ̀
Băng phep so sanh R2 và R 2 trong cac phep hôi quy khac nhau mà có và ̀ ́ ́ ́ ́ ̀ ́ không có 1 trong 2 biên chung ta có thể quyêt đinh nên bỏ biên nao trong ́ ́ ̣́ ́ ̀ biên X2 và X3 khoi mô hinh . ́ ̉ ̀ Thí dụ R2 đôi với hôi quy cua Y đôi với tât cả cac biên X1X2X3 …Xk là ́ ̀ ̉ ́ ́ ́ ́ 0.94; R2 khi loai biên X2 là 0.87 và R 2 khi loai biên X3 là 0.92 ;như vây ̣ ́ ̣ ́ ̣ trong trường hợp nay ta loai X3 ̀ ̣ Chung ta lưu ý 1 han chế cua biên phap nay là trong cac mô hinh kinh tế ́ ̣ ̉ ̣ ́ ̀ ́ ̀ có những trường hợp đoi hoi nhât đinh phai có biên nay hoăc biên khac ở ̀ ̉ ̣́ ̉ ́ ̀ ̣ ́ ́ trong mô hinh .Trong trường hợp như vây viêc loai bỏ 1 biên phai được cân ̀ ̣ ̣ ̣ ́ ̉ nhăc cân thân giữa sai lêch khi bỏ 1 biên công tuyên với viêc tăng phương ́ ̉ ̣ ̣ ́ ̣ ́ ̣ sai cua cac ước lượng hệ số khi biên đó ở trong mô hinh . ̉ ́ ́ ̀ 4. Sử dung sai phân câp 1 ̣ ́ Thủ tuc được trinh bay trong chương 7 – tự tương quan .Măc dù biên ̣ ̀ ̀ ̣ ̣ phap nay có thể giam tương quan qua lai giữa cac biên nhưng chung cung ́ ̀ ̉ ̣ ́ ́ ́ ̃ có thể được sử dung như 1 giai phap cho vân đề đa công tuyên . ̣ ̉ ́ ́ ̣ ́ Thí dụ Chung ta có số liêu chuôi thời gian biêu thị liên hệ giữa cac biên Y ́ ̣ ̃ ̉ ́ ́ và cac biên phụ thuôc X2 và X3 theo mô hinh sau : ́ ́ ̣ ̀ Yt = β 1 + β 2 X 2t + β 3X 3t+ U t (5.20) Trong đó t là thời gian . Phương trinh trên đung với t thì cung đung với t- ̀ ́ ̃ ́ 1 nghia là : ̃ Yt-1 = β 2 + β 2 X 2t-1 + β 3X 3t-1 + U t-1 (5.21) Từ (5.20) và (5.21) ta được : Yt – Yt-1 = β 2 (X 2t - X 2t-1 ) + β 3 (X 3t - X 3t-1) + U t - U t-1 (5.22) Đặt yt = Yt – Yt-1 x2t = X 2t - X 2t-1 x3t = X 3t - X 3t-1 Vt = U t - U t-1
Ta được : yt = β 2 x2t + β 3 x3t + Vt (5.23) Mô hinh hôi quy dang (5.23) thường lam giam tinh nghiêm trong cua đa ̀ ̀ ̣ ̀ ̉ ́ ̣ ̉ công tuyên vì dù X2 và X3 có thể tương quan cao nhưng không có lý do ̣ ́ tiên nghiêm nao chăc chăn răng sai phân cua chúng cung tương quan cao. ̣ ̀ ́ ́ ̀ ̉ ̃ Tuy nhiên biên đôi sai phân bâc nhât sinh ra 1 sô ́ bân đê ̀ chăng han nh ư ́ ̉ ̣ ́ ́ ̉ ̣ số hang sai số Vt trong (5.23) có thể không thoa man giả thiêt cua mô hinh ̣ ̉ ̃ ́ ̉ ̀ hôi quy tuyên tinh cổ điên là cac nhiêu không tương quan .Vây thì biên phap ̀ ́́ ̉ ́ ̃ ̣ ̣ ́ sửa chữa nay có thể lai con tôi tệ hơn căn bênh . ̀ ̣̀ ̀ ̣ 5.Giam tương quan trong hôi quy đa thức ̉ ̀ Net khac nhau cua hôi quy đa thức là cac biên giai thich xuât hiên với ́ ́ ̉ ̀ ́ ́ ̉ ́ ́ ̣ luy thừa khac nhau trong mô hinh hôi quy .Trong thực hanh để giam t ương ̃ ́ ̀ ̀ ̀ ̉ quan trong hôi quy đa thức người ta thường sử dung dang độ lêch .Nêu ̀ ̣ ̣ ̣ ́ viêc sử dung dang độ lêch mà vân không giam đa công tuyên thù người ta ̣ ̣ ̣ ̣ ̃ ̉ ̣ ́ có thể phai xem xet đên kỹ thuât “ đa thức trực giao “. ̉ ́́ ̣ 6. Môt số biên phap khac ̣ ̣ ́ ́ Ngoai cac biên phap đã kể trên người ta con sử dung 1 số biên phap khac ̀́ ̣ ́ ̀ ̣ ̣ ́ ́ nữa để cứu chữa căn bênh nay như sau : ̣ ̀ ̀ ̀ ̀ ́ - hôi quy thanh phân chinh - Sử dung cac ước lượng từ bên ngoai ̣ ́ ̀ Nhưng tât cả cac biên phap đã trinh bay ở trên có thể lam giai phap cho ́ ́ ́ ̀ ̀ ̀ ̉ ́ vân đề đa công tuyên như thế nao con phụ thuôc vao ban chât cua tâp số liêu ́ ̣ ́ ̀ ̀ ̣ ̀ ̉ ̣́̉ ̣ và tinh nghiêm trong cua vân đề đa công tuyên. ́ ̣ ̉ ́ ̣ ́
B. BÀI TẬP Bài 1 Theo một cuộc điều tra về mức sống của các hộ gia đình ở một địa phương, người ta tiến hành thu thập số liệu trên 1 mẫu tiêu biểu với các biến như sau: • Chi phí tiêu dùng Y (triệu đồng/ năm) Thu nhập X2 (triệu đồng/ năm) • Tiền tích lũy X3 (triệu đồng) • Ta có bảng số liệu thu thập được : Y 70 65 90 95 110 115 120 140 155 150 X2 80 100 120 140 160 180 200 220 240 260 X3 810 1009 1273 1425 1633 1876 2052 2201 2435 2686 Bài 2 Cho bảng số liệu sau. Trong đó: Y: sản lượng dầu thô (đơn vị: nghìn tấn) X: kim ngạch xuất khẩu dầu thô (đơn vị: nghìn tấn) Z: vốn đầu tư khai thác (đơn vị trăm triệu đồng) Yêu cầu: Hãy phát hiện hiện tượng đa cộng tuyến và tìm biện pháp khắc phục. Cho α = 5%. x y z 2.9975 13.0394 26.444 3.2615 13.2836 71.3427 3.9534 13.6048 129.8
5.3669 13.937 230.7305 6.0973 14.3781 341.7524 7.2072 14.5893 481.4634 7.8243 15.2548 601.2952 8.1796 15.7597 696.9732 9.5359 15.9621 863.8135 10.7118 16.1865 1003.6598 11.9966 16.8256 1144.594 13.9931 17.6121 1287.8756 15.9544 18.2776 1420.5488 17.1974 18.8364 1569.5317 18.4503 18.8881 1814.2707