Chương 4: Mô hình hồi qui đa biến

Chia sẻ: Nguyễn Quang Pháp | Ngày: | Loại File: PPT | Số trang:62

0
321
lượt xem
104
download

Chương 4: Mô hình hồi qui đa biến

Mô tả tài liệu
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Hệ số hồi qui cũng được ước lượng thông qua sử dụng phương pháp bình phương bé nhất như trong phân tích hồi qui đơn. Giá trị ước lượng phù hợp của Y trong quan sát thứ i phụ thuộc vào giá trị ước lượng b1, b2, và b3.Sai số ei trong quan sát thứ i là sự khác biệt giữa giá trị thực tế và giá trị ước lượng phù hợp của Y.

Chủ đề:
Lưu

Nội dung Text: Chương 4: Mô hình hồi qui đa biến

  1. Chương 4 Mô hình hồi qui đa biến
  2. Mô hình hồi qui đa với 2 biến giải thích Yi = β 1 + β 2 X 2 i + β 3 X 3 i + ui ˆ Yi = b1 + b2 X 2 i + b3 X 3 i Hệ số hồi qui cũng được ước lượng thông qua sử dụng phương pháp bình phương bé nhất như trong phân tích hồi qui đơn. Giá trị ước lượng phù hợp của Y trong quan sát thứ i phụ thuộc vào giá trị ước lượng b1, b2, và b3. 11
  3. Mô hình hồi qui đa với 2 biến giải thích Yi = β 1 + β 2 X 2 i + β 3 X 3 i + ui ˆ Yi = b1 + b2 X 2 i + b3 X 3 i ˆ ei = Yi − Yi = Yi − b1 − b2 X 2 i − b3 X 3 i Sai số ei trong quan sát thứ i là sự khác biệt giữa giá trị thực tế và giá trị ước lượng phù hợp của Y. 12
  4. Mô hình hồi qui đa với 2 biến giải thích RSS = ∑ ei2 = ∑ (Yi − b1 − b2 X 2 i − b3 X 3 i ) 2 Chúng ta cũng xác định tổng bình phương của các sai số RSS và lựa chọn b1, b2, và b3 làm sao để tối thiểu hóa giá trị này. 13
  5. Mô hình hồi qui đa với 2 biến giải thích RSS = ∑ ei2 = ∑ (Yi − b1 − b2 X 2 i − b3 X 3 i ) 2 = ∑ (Yi 2 + b12 + b2 X 2 i + b3 X 3 i − 2b1Yi − 2b2 X 2 iYi 2 2 2 2 − 2b3 X 3 iYi + 2b1b2 X 2 i + 2b1b3 X 3 i + 2b2 b3 X 2 i X 3 i ) = ∑ Yi 2 + nb12 + b2 ∑ X 2 i + b3 ∑ X 3 i − 2b1 ∑ Yi 2 2 2 2 − 2b2 ∑ X 2 iYi − 2b3 ∑ X 3 iYi + 2b1b2 ∑ X 2 i + 2b1b3 ∑ X 3 i + 2b2 b3 ∑ X 2 i X 3 i ∂RSS ∂RSS ∂RSS =0 =0 =0 ∂b1 ∂b2 ∂b3 Đầu tiên, chúng ta triển khai biểu thức RSS và sau đó chung ta sử dụng điều kiện đạo hàm hay vi phân bậc một của biểu thức để tìm cực tiểu. 14
  6. Mô hình hồi qui đa với 2 biến giải thích b1 = Y − b2 X 2 − b3 X 3 ∑( X − X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 ) 2 2i − ∑( X 3i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) b2 = ∑ ( X 2 i − X 2 ) 2 ∑ ( X 3 i − X 3 ) 2 − ( ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) ) 2 Chúng ta có 3 phương trình cho 3 tham số chưa biết. Giải phương trình để tìm b1, b2, và b3, Chúng ta có thể có các giá trị của các tham số được tìm như trên. Giá trị của b3 giống với giá trị của b2, với các giá trị của chỉ số 2 và 3 được thay thế lẫn nhau.) 15
  7. Mô hình hồi qui đa với 2 biến giải thích b1 = Y − b2 X 2 − b3 X 3 ∑( X − X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 ) 2 2i − ∑( X 3i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) b2 = ∑ ( X 2 i − X 2 ) 2 ∑ ( X 3 i − X 3 ) 2 − ( ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) ) 2 Biểu thức của b1 được mở rộng một cách trực tiếp từ mô hình hồi qui đơn. 16
  8. Mô hình hồi qui đa với 2 biến giải thích b1 = Y − b2 X 2 − b3 X 3 ∑( X − X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 ) 2 2i − ∑( X 3i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) b2 = ∑ ( X 2 i − X 2 ) 2 ∑ ( X 3 i − X 3 ) 2 − ( ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) ) 2 Tuy nhiên, biểu thức cho các hệ số hồi qui tương đối phức tạp hơn so với hệ số hồi qui trong mô hình hồi qui đơn. 17
  9. Mô hình hồi qui đa với 2 biến giải thích b1 = Y − b2 X 2 − b3 X 3 ∑( X − X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 ) 2 2i − ∑( X 3i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) b2 = ∑ ( X 2 i − X 2 ) 2 ∑ ( X 3 i − X 3 ) 2 − ( ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) ) 2 Nhìn chung sẽ rất nhiều biến thì dùng biều biểu thức đại số thông thường là không đủ. Vì thế, cần phải sử dụng biểu thức dạng ma trận. 18
  10. Mô hình hồi qui đa với 2 biến giải thích . reg EARNINGS S EXP Source | SS df MS Number of obs = 540 -------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010 -------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91 ------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213 ------------------------------------------------------------------------------ ˆ EARNINGS = −26.49 + 2.68 S + 0.56 EXP Đây là kết quả hồi qui đối với 540 quan sát từ số liệu thực tế. 19
  11. Mô hình hồi qui đa với 2 biến giải thích . reg EARNINGS S EXP Source | SS df MS Number of obs = 540 -------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010 -------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91 ------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213 ------------------------------------------------------------------------------ ˆ EARNINGS = −26.49 + 2.68 S + 0.56 EXP Kết quả chỉ ra rằng thu nhập tăng lên bởi 2,68 đồng cho một năm đến trường và 0,56 đồng cho mỗi năm kinh nghiệm. 20
  12. Mô hình hồi qui đa với 2 biến giải thích . reg EARNINGS S EXP Source | SS df MS Number of obs = 540 -------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010 -------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91 ------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213 ------------------------------------------------------------------------------ ˆ EARNINGS = −26.49 + 2.68 S + 0.56 EXP Theo lý thuyết, hệ số chặn chỉ ra rằng cá nhân không đến trường và không có kinh nghiệm làm việc sẽ có thu nhập trên giờ –$26.49. 21
  13. Mô hình hồi qui đa với 2 biến giải thích . reg EARNINGS S EXP Source | SS df MS Number of obs = 540 -------------+------------------------------ F( 2, 537) = 67.54 Model | 22513.6473 2 11256.8237 Prob > F = 0.0000 Residual | 89496.5838 537 166.660305 R-squared = 0.2010 -------------+------------------------------ Adj R-squared = 0.1980 Total | 112010.231 539 207.811189 Root MSE = 12.91 ------------------------------------------------------------------------------ EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105 EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837 _cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213 ------------------------------------------------------------------------------ ˆ EARNINGS = −26.49 + 2.68 S + 0.56 EXP Rõ ràng, đây là điều không thể. Giá trị thấp nhất của S trong mẫu là 6. Chúng ta đã có một ước tính không có ý nghĩa bởi vì chúng ta có ước tính quá xa từ số liệu thực tế. 22
  14. Đặc điểm của hệ số hồi qui đa
  15. Đặc điểm của hệ số hồi qui đa A.1: Mô hình là tuyến tính trong các tham số và được xác định rõ. Y = β + β X + ... + β X + u 1 2 2 k k A.2: Không có mối quan hệ tương quan chính xác giữa các biến độc lập ở trong mẫu. A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0 A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập A.6 Yếu tố ngẫu nhiên có phân phối chuẩn Từ mô hình hồi qui đơn đến mô hình hồi qui đa, chúng bắt đầu bằng nhắc lại các giả định của mô hình hồi qui đơn. 1
  16. Đặc điểm của hệ số hồi qui đa A.1: Mô hình là tuyến tính trong các tham số và được xác định rõ. Y = β + β X + ... + β X + u 1 2 2 k k A.2: Không có mối quan hệ tương quan chính xác giữa các biến độc lập ở trong mẫu. A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0 A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập A.6 Yếu tố ngẫu nhiên có phân phối chuẩn Chỉ có giả thiết A.2 là khác. Trước đây, giả thiết phát biểu rằng cần có sự thay đổi trong biến X. Chúng ta sẽ giải thích sự khác nhau qua các slide sau. 2
  17. Đặc điểm của hệ số hồi qui đa A.1: Mô hình là tuyến tính trong các tham số và được xác định rõ. Y = β + β X + ... + β X + u 1 2 2 k k A.2: Không có mối quan hệ tương quan chính xác giữa các biến độc lập ở trong mẫu. A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0 A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập A.6 Yếu tố ngẫu nhiên có phân phối chuẩn Trong trường hợp các giả định của mô hình có hiệu lực, các ước lượng theo phương pháp bình phương bé nhất trong mô hình hồi qui tổng thể là ước lượng không chệch và hiệu quả giống như mô hình hồi qui đơn. 3
  18. Đặc điểm của hệ số hồi qui đa Y = β1 + β 2 X 2 + β 3 X 3 + u ˆ Y = b1 + b2 X 2 + b3 X 3 ∑ ( X 2 i − X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 ) 2 − ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) b2 = ∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2i − X 2 )( X 3 i − X 3 ) ) 2 2 2 Chúng ta cũng không chúng minh tính hiệu quả của các ước lượng, tuy nhiên chúng ta chỉ ra một cách cơ bản tính không chệch của chúng 4
  19. Đặc điểm của hệ số hồi qui đa Y = β1 + β 2 X 2 + β 3 X 3 + u ˆ Y = b1 + b2 X 2 + b3 X 3 ∑ ( X 2 i − X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 ) 2 − ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) b2 = ∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2i − X 2 )( X 3 i − X 3 ) ) 2 2 2 Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u ) = β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u Bước đầu tiên là thay thế cho giá trị của Y từ mối quan hệ thực. Thành phần của Y trong b2 thực tế là Yi trừ đi giá trị trung binh của nó. Vì thế, để cho thuân tiện chúng ta nên có biểu thức cho thành phần này. 5
  20. Đặc điểm của hệ số hồi qui đa Y = β1 + β 2 X 2 + β 3 X 3 + u ˆ Y = b1 + b2 X 2 + b3 X 3 ∑ ( X 2 i − X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 ) 2 − ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 ) b2 = ∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2i − X 2 )( X 3 i − X 3 ) ) 2 2 2 Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u ) = β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u b2 = β 2 + ∑ a i*2 ui Sau khi thay thếy, chúng ta có thể dễ dàng tách b2 thành 2 thành phần đó là giá trị thực β 2 cộng với biểu thức kết hợp giữa các giá trị của yếu tố ngẫu nhiên trong mẫu. 6

CÓ THỂ BẠN MUỐN DOWNLOAD

Đồng bộ tài khoản