Bài giảng Kinh tế lượng: Chương 3 - Bùi Huy Khôi

09/09/2014<br /> <br /> HỒI QUY ĐA BIẾN<br /> <br /> CHƯƠNG 3<br /> B<br /> HỒI QUY ĐA BIẾN<br /> <br /> MỤ C<br /> TIÊU<br /> <br /> 1. Biết đư ợc phương phá p ước<br /> lượng bình phương nhỏ nhất để<br /> ước lượng hàm hồi quy đa biến<br /> tổng thể dựa trên số liệu mẫu<br /> 2. Hiểu các cách kiểm định những<br /> giả thiết<br /> <br /> 2<br /> <br /> NỘI DUNG<br /> 1<br /> <br /> Mô hình hồi quy 3 biến<br /> <br /> 2<br /> <br /> Mô hình hồi quy k biến<br /> <br /> 3<br /> <br /> 3.1 Mô hình hồi quy 3 biến<br /> �Mô hình hồi quy tổng thể PRF<br /> <br /> Dự báo<br /> <br /> E (Y / X 2 , X 3 ) = β1 + β 2 X 2 + β3<br /> X3<br /> kiện của Y với điều kiện đã biết các giá trị<br /> Ý nghĩa: PRF cho biết trung bình có điều<br /> cố định của biến X2 và X3.<br /> �Y:<br /> biến phụ thuộc<br /> biến độc lập<br /> �X2 và X3:<br /> �β1 :<br /> hệ số tự do<br /> hệ số hồi quy riêng<br /> �β2 , β3 :<br /> <br /> 5<br /> <br /> 3<br /> <br /> 4<br /> <br /> 3.1 Mô hình hồi quy 3 biến<br /> Ýnghĩahệsốhồiquyriêng:chobiếtảnh<br /> hưởngcủatừngbiếnđộclậplêngiátrịtrung<br /> bìnhcủabiếnphụthuộckhicácbiếncònlại<br /> đượcgiữkhôngđổi.<br /> �Mô hình hồi quy tổng thể ngẫu nhiên:<br /> <br /> Yi = β 1 + 2 X2i +β 3 X3i + u i<br /> β<br /> u : sai số ngẫu nhiên của tổng thể<br /> i<br /> <br /> 5<br /> <br /> Các giả thiết của mô hình<br /> 1. Giá trị trung bình của Ui bằng 0<br /> ng<br /> át t gb<br /> c a<br /> E(U / 2 3 = 0<br /> E Ui /X2i, X3i)=0<br /> P<br /> 2. Phương sai của các Ui là không đổ<br /> ng sa củ c á<br /> à hôn đổi<br /> Var(Ui)=σ2<br /> Var(U )<br /> K ôn có hiện ợng t ư ơn quan g<br /> 3. Không c h ệ tượng tự tương quan giữa<br /> gi<br /> á<br /> các<br /> c c Ui<br /> ) 0 i≠j<br /> Cov(U<br /> ≠<br /> Cov Ui ,Uj )=0; i≠<br /> 4. Không c h ệ tượng c ng tuyến giữa X2<br /> ữa<br /> ôn có hiện ợng cộng uy<br /> K<br /> à<br /> và X3<br /> v X<br /> 5.Ui có phân phối chuẩn: Ui N (0, σ2 )<br /> 0<br /> U ó â p ố ch ẩ n<br /> 6<br /> <br /> 1<br /> <br /> 09/09/2014<br /> <br /> 3.1.1 Ước lượng các tham số<br /> <br /> 3.1.1 Ước lượng các tham số<br /> <br /> Q= ∑ei 2 = ∑ (Y ­ 1βˆ ­ βˆ2iX<br /> i<br /> 2<br /> ˆ<br /> ­β<br /> <br /> Hàm hồi quy mẫu:<br /> <br /> dQ<br /> =­2∑ (Yi βˆ1 ­ βˆ<br /> ˆ<br /> dβ1<br /> X 2<br /> ­<br /> <br /> ˆ<br /> ˆ<br /> Yi = βˆ1 + ˆ 2 X 2i + β3 X 3i + ei<br /> β<br /> sai số của mẫu ứng với quan sát thứ i<br /> <br /> Sử dụng phương pháp bình phương<br /> nhỏ nhất để ước lượng các tham số<br /> βˆ , βˆ , βˆ<br /> 2<br /> <br /> X 3i )2 → min<br /> <br /> ­βˆ3 X 3i) =<br /> 0<br /> <br /> dQ<br /> = 2∑ (Yi ­βˆ1 ­βˆ2 X 2i ­βˆ3 X 3i )(­ X2i ) =<br /> dβˆ 2<br /> 0<br /> <br /> ei = Yi ­ˆ i<br /> Y<br /> <br /> 1<br /> <br /> 2i<br /> <br /> 3<br /> <br /> dQ 2 (Y ˆ<br /> = ∑ i ­β 1 ­βˆ2 X 2i ­ βˆ X )(­ X ) =<br /> ˆ<br /> dβ 3<br /> 0 3 3i<br /> 3i<br /> <br /> 3<br /> <br /> 7<br /> <br /> 8<br /> <br /> Năm<br /> <br /> Sản lượng<br /> QD(Y)<br /> <br /> Giá bán (X2)<br /> <br /> Chi phí quảng<br /> cáo (X3)<br /> <br /> 2002<br /> 2003<br /> <br /> 100<br /> <br /> 80<br /> <br /> 40<br /> <br /> 80<br /> <br /> 100<br /> <br /> 30<br /> <br /> 2004<br /> <br /> 70<br /> <br /> 120<br /> <br /> 25<br /> <br /> 2005<br /> <br /> 69<br /> <br /> 140<br /> <br /> 20<br /> <br /> 2006<br /> <br /> 58<br /> <br /> 160<br /> <br /> 19<br /> <br /> 2007<br /> 2008<br /> <br /> 49<br /> 43<br /> <br /> 180<br /> 200<br /> <br /> 15<br /> 14<br /> <br /> 2009<br /> <br /> 41<br /> <br /> 220<br /> <br /> 10<br /> <br /> 2010<br /> <br /> 38<br /> <br /> 240<br /> <br /> 11<br /> <br /> 2011<br /> <br /> 36<br /> <br /> 260<br /> <br /> 10<br /> <br /> 3.1.1 Ước lượng các tham số<br /> <br /> ∑y x 2 ∑x3 2­ ∑y x3i ∑x 2 x3 i<br /> i<br /> i<br /> i<br /> i<br /> βˆ2 =<br /> ∑ x 22i ∑ x32i ­ ∑ x 2ix 3i ) 2<br /> (<br /> βˆ3 =<br /> <br /> i<br /> <br /> ∑yix3i∑ x22i ­ ∑ yi x2i∑ x2i x3i<br /> ∑x ∑x<br /> <br /> ­ ∑x2i x3i )2<br /> (<br /> βˆ1 = Y βˆ2 X 2i ­βˆ3 X 3i<br /> 2<br /> 2i<br /> <br /> xi = X i<br /> ­<br /> <br /> ­<br /> X<br /> <br /> 2<br /> 3i<br /> <br /> y i = Yi ­ Y<br /> 9<br /> <br /> 3.1.2 Phương sai của các ước lượng<br /> <br /> Hệ số xác định<br /> <br /> 2<br /> X22∑ x32i + X 3 ∑ x22i ­2 X2 X 3 ∑ x2i x3i<br /> <br /> 1<br /> Var (βˆ1 ) = (<br /> ∑x22i∑ x32i ­ ∑x2i x3i )2<br /> +<br /> n<br /> (<br /> ∑x3 2i<br /> Var (βˆ2 )<br /> σ2<br /> ∑ x 22i ∑ x32i ­ ∑ x 2ix 3i ) 2<br /> =<br /> ( 2<br /> <br /> )σ 2<br /> <br /> n<br /> <br /> ESS<br /> RSS<br /> =1<br /> =1<br /> R =<br /> TSS ­ TSS ­<br /> 2<br /> <br /> ∑e<br /> <br /> 2<br /> i<br /> <br /> i=1<br /> n<br /> <br /> ∑y<br /> <br /> 2<br /> i<br /> <br /> i<br /> =1<br /> <br /> ∑ x2i<br /> ˆ<br /> σ2<br /> Var (β 3 )<br /> 2<br /> ∑x2i∑ x32i ­ (∑x2i x3i )2<br /> =<br /> σ2 là phương sai của ui chưa biết nên dùng ước<br /> lượng không chệch:<br /> ∑ ei 2 = (1 R2 )∑ i y2<br /> σˆ 2 =<br /> n­ 3 ­ n­ 3<br /> <br /> Hệ số xác định R2<br /> <br /> 11<br /> <br /> ˆ<br /> β2 ∑yi x2i + ˆ 3 ∑yi<br /> β<br /> x3i<br /> ∑yi2<br /> <br /> Mô hình hồi quy 3 biến R2 =<br /> Hệ số xác định hiệu chỉnh<br /> Với k là tham số của mô hình,<br /> kể cả hệ số tự do<br /> <br /> 2<br /> <br /> ∑ e (n ­ k)<br /> i<br /> <br /> R<br /> <br /> 2<br /> <br /> =<br /> <br /> ∑y<br /> <br /> 2<br /> i<br /> <br /> ( n ­ 1)<br /> 12<br /> <br /> 2<br /> <br /> 09/09/2014<br /> <br /> 3.1.4 Khoảng tin cậy<br /> <br /> Hệ số xác định hiệu chỉnh<br /> <br /> n­ 1<br /> R2 = 1 ­ (1 ­ 2R<br /> n­ k<br /> )<br /> Dùng R 2 để xét việc đưa thêm 1 biến vào mô<br /> hình. Biến mới đưa vào mô hình phải thỏa 2<br /> điều kiện:<br /> <br /> Với mức ý nghĩa α hay độ tin cậy 1- α<br /> <br /> β i ∈ ( βˆ i ­ ε i ; βˆ i + ε i )<br /> Với<br /> <br /> ε<br /> <br /> 2<br /> <br /> - Làm R tăng<br /> - Hệ số hồi quy biến mới thêm vào mô hình<br /> khác 0 có ý nghĩa<br /> <br /> i<br /> <br /> = SE ( βˆ i ) t( n ­ 3 ,α<br /> <br /> /2)<br /> <br /> 13<br /> <br /> 14<br /> <br /> 3.1.5 Kiểm định giả thiết<br /> <br /> 1. Kiểm định giả thiết H0: β i = β i<br /> B1. Tính<br /> <br /> ti =<br /> <br /> 3.1.5 Kiểm định giả thiết<br /> *<br /> <br /> 2. Kiểm định giả thiết đồng thời bằng không:<br /> H0: β2 = β3 = 0;<br /> (H1: ít nhất 1 tham số khác 0)<br /> B1. Tính<br /> 2<br /> <br /> βiˆ ­β*<br /> i<br /> SE (βˆi )<br /> <br /> R (n ­ 3)<br /> (1 R 2 ) 2<br /> ­<br /> B2. Nguyên tắc quyết định<br /> F =<br /> <br /> B2. Nguyên tắc quyết định<br /> �Nếu |ti | > t(n-3,α/2): bác bỏ H0<br /> �Nếu |ti | ≤ t(n-3,α/2) : chấp nhận H0<br /> <br /> �F > Fα(2, n-3): Bác bỏ H0: Mô hình phù hợp<br /> �F ≤ Fα(2, n-3): Chấp nhận H0: Mô hình không<br /> phù hợp<br /> 15<br /> <br /> 16<br /> <br /> 3.2 Mô hình hồi quy k biến<br /> <br /> 3.2.1 Ước lượng các tham số<br /> <br /> ∑e =∑(Y ­βˆ ­βˆ X ­βˆ X ­...­βˆ )→min<br /> n<br /> <br /> Mô hình hồi quy tổng thể<br /> <br /> E (Y / X2 ,... Xk ) = β 1 + β2 X2i + ... β k Xki<br /> +<br /> Mô hình hồi quy mẫu ngẫu nhiên:<br /> <br /> ˆ<br /> Yi = βˆ1 +βˆ2 X 2i + ... + βˆ<br /> X<br /> k<br /> <br /> 2<br /> <br /> n<br /> <br /> 2<br /> i<br /> <br /> ki<br /> <br /> + ei<br /> <br /> sai số của mẫu ứng với quan sát thứ i<br /> <br /> ˆ ­<br /> ei =Yi ­ˆ i =Yi ­β1 ˆ β2X2iˆ­β3X3i<br /> Y<br /> ­...­βk X ki<br /> <br /> i<br /> <br /> i =1<br /> n<br /> <br /> ∂∑ e<br /> i<br /> <br /> 1<br /> <br /> 2<br /> <br /> 2i<br /> <br /> 3<br /> <br /> 3i<br /> <br /> k<br /> <br /> ki<br /> <br /> i =1<br /> <br /> X<br /> <br /> 2<br /> <br /> =<br /> ∂β 1<br /> ­2<br /> n<br /> ∂ ∑ e2<br /> i<br /> i=1<br /> =<br /> ∂β 2 ­2<br /> ...<br /> i=<br /> 1<br /> <br /> Y<br /> ∑( i ­βˆ ­βˆ X i ­βˆ X i ­<br /> i<br /> n<br /> <br /> 1<br /> <br /> =1<br /> <br /> 2<br /> <br /> 2<br /> <br /> 3<br /> <br /> ...­<br /> <br /> Y<br /> ∑( ­βˆ ­βˆ X<br /> n<br /> <br /> i=1<br /> <br /> 3<br /> <br /> i<br /> <br /> 1<br /> <br /> 2<br /> <br /> 2i<br /> <br /> βˆk X ki<br /> <br /> )0<br /> =<br /> <br /> )<br /> <br /> ­βˆ3 X 3i ­ βˆk X ki, X 2 i =0<br /> ...­<br /> <br /> n<br /> <br /> ∂ ∑ e2<br /> i<br /> <br /> ˆ<br /> <br /> i=1<br /> <br /> ∂β k<br /> 17<br /> <br /> =<br /> ­2<br /> <br /> Y<br /> ∑(i ­βˆ ­βˆ X i ­βˆ X i ­<br /> i<br /> n<br /> <br /> =<br /> 1<br /> <br /> 1<br /> <br /> 2<br /> <br /> 2<br /> <br /> 3<br /> <br /> 3<br /> <br /> )<br /> <br /> βˆk X ki X ki =0<br /> <br /> ...­<br /> 18<br /> <br /> 3<br /> <br /> 09/09/2014<br /> <br /> Hệ số xác định<br /> <br /> 3.2.2 Khoảng tin cậy<br /> Với mức ý nghĩa α hay độ tin cậy 1- α<br /> <br /> R2 =<br /> <br /> β i ∈ (βˆi ­ εi ; βˆi + εi )<br /> Với<br /> <br /> βˆ ∑ yxi + 3βˆ i yx + k ∑ i kiyx<br /> ∑ 3i + ... βˆ<br /> 2<br /> i 2<br /> <br /> ∑y<br /> <br /> 2<br /> i<br /> <br /> Hệ số xác định hiệu chỉnh<br /> <br /> ε i = SE i).t (n ­k ,α/ 2)<br /> (βˆ<br /> <br /> n<br /> R 2 =1­ (1­ R ­1<br /> n ­k<br /> 2<br /> )<br /> <br /> Với k là tham số của mô hình, kể cả hệ số<br /> tự do<br /> 19<br /> <br /> Hệ số xác định hiệu chỉnh<br /> <br /> 20<br /> <br /> 3.2.3 Kiểm định các giả thiết hồi quy<br /> <br /> n­ 1<br /> R2 = 1 (1 ­ R2<br /> n­ k<br /> ­ )<br /> Dùng R 2 để xem xét việc đưa thêm biến vào<br /> mô hình. Biến mới đưa vào mô hình phải<br /> thỏa 2 điều kiện:<br /> - Làm R 2 tăng<br /> - Biến mới có ý nghĩa thống kê trong mô<br /> hình mới<br /> <br /> 1. Kiểm định giả thiết về hệ số hồi quy<br /> <br /> KiểmđịnhgiảthiếtH0:<br /> B1.Tính<br /> <br /> ti =<br /> <br /> β i = β i*<br /> <br /> βˆ ­i *<br /> i<br /> (<br /> SEββˆi )<br /> <br /> B2. Nguyên tắc quyết định<br /> �Nếu |ti | > t(n-k,α/2) : bác bỏ H0<br /> �Nếu |ti | ≤ t(n-k,α/2) : chấp nhận H0<br /> <br /> 21<br /> <br /> 3.2.4 Kiểm định các giả thiết hồi quy<br /> <br /> 22<br /> <br /> 3.3 DỰ BÁO<br /> <br /> 2. Kiểm định sự phù hợp của mô hình: kiểm<br /> định giả thiết đồng thời bằng không:<br /> H0: β2 = β3 =…= βk = 0;<br /> (H1: ít nhất 1 trong k tham số khác 0)<br /> R 2 ( n ­ k)<br /> F=<br /> B1. Tính<br /> (1 R 2 )( k ­ 1)<br /> ­<br /> B2. Nguyên tắc quyết định:<br /> �Nếu F > Fα(k-1, n-k): Bác bỏ H0: Mô hình phù<br /> hợp<br /> �Nếu F ≤ Fα(k-1, n-k): Chấp nhận H0: Mô hình<br /> không phù hợp<br /> 23<br /> <br /> Mô hình hồi quy<br /> Yˆi = βˆ1 + βˆ 2 X 2 + ....<br /> +<br /> <br /> βˆk X k<br /> <br /> ⎡ ⎤<br /> ⎥<br /> 1 0⎥<br /> X<br /> ⎥2 ⎥<br /> 0<br /> Cho trước giá trị X = ⎥ ⎥<br /> ..<br /> .. 0 ⎥<br /> ⎥ k<br /> ⎥<br /> Dự báo giá trị trung bình và giá trị cá biệt của<br /> ⎣<br /> Y với mức ý nghĩa α hay độ tin cậy 1 - α.<br /> X<br /> 24<br /> <br /> 4<br /> <br /> 09/09/2014<br /> <br /> 3.3 DỰ BÁO<br /> <br /> 3.3 DỰ BÁO<br /> <br /> * Ước lượng điểm<br /> <br /> * Dự báo giá trị cá biệt của Y<br /> <br /> ˆ<br /> Yˆ0 = β1 + ˆ X 20 + ... βˆk X k<br /> +<br /> β2 bình của Y<br /> * Dự báo giá trị trung<br /> ) ∈ (Yˆ ­ ε<br /> 0<br /> 0<br /> ;Yˆ<br /> ˆ )t ( n­ k ,α / 2 )<br /> ε0 = SE (Y 0<br /> <br /> E(Y / X<br /> <br /> Với:<br /> <br /> 0<br /> <br /> 0<br /> <br /> + ε0 )<br /> <br /> 0T<br /> <br /> T<br /> <br /> ( X .X )<br /> <br /> Với:<br /> <br /> ˆ<br /> ε0' = SE(Y 0 ­ Y 0 )t ( n­ k,α / 2 )<br /> <br /> SE (Y 0­ Yˆ0 )<br /> =<br /> <br /> SE (Yˆ0 ) = Var (Yˆ 0)<br /> Var (Y ˆ ) =σˆ 2 X<br /> 0<br /> <br /> ˆ<br /> Y 0 ∈ ( Y 0 ­ ε 0' ;Yˆ 0 + ε 0' )<br /> <br /> 0<br /> <br /> ­<br /> 1<br /> <br /> .X<br /> <br /> Var (Y 0­ Yˆ0 )<br /> <br /> ˆ<br /> Var(Y0 ­Y0 ) =VarˆY0 )<br /> (<br /> σˆ<br /> +<br /> <br /> 0<br /> <br /> 25<br /> <br /> 2<br /> <br /> 26<br /> <br /> 5<br /> <br />