Bài giảng Mô hình hồi qui đa bội

Chia sẻ: Lavie Lavie | Ngày: | Loại File: PDF | Số trang:29

Thêm vào BST

Báo xấu

87
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Mô hình hồi qui đa bội trình bày về các giả thiết của mô hình hồi qui; hàm phân phối mẫu là hàm phân phối chuẩn; kiểm định t; kiểm định giả thiết; kiểm định kết hợp tuyến tính; kiểm định F; biến giả - đa cộng tuyến và một số nội dung khác.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Mô hình hồi qui đa bội

Mô hình hồi qui đa bội y = β0 + β1x1 + β2x2 + . . . βkxk + u 2. Suy diễn thống kê (Statistical Inference) Economics 20 - Prof. Anderson 1
Các giả thiết của mô hình hồi qui Chúng ta biết rằng, với các giả thuyết (tương tự như của mô hình hồi qui giản đơn) phương pháp OLS là phương pháp cho ta ước lượng BLUE, Để có thể tiến hành kiểm định thống kê, chúng ta cần có thêm giả thiết về u Giả thiết là u độc lập với các x1, x2,…, xk và u có phân phối chuẩn, với trung trung binh là 0 và phương sai là σ2: u ~ Normal(0,σ2) Economics 20 - Prof. Anderson 2
Các giả thiết của mô hình hồi qui Chúng ta có thể tóm tắt các giả thiết về mô hình hồi qui như sau: y|x ~ Normal(β0 + β1x1 +…+ βkxk, σ2) Hiện tại chúng ta sẽ giả thiết là hàm phân phối của chúng ta là hàm phân phối chuẩn. Tuy nhiên trong nhiều trường hợp, hàm phân phối này không phải là phân phối chuẩn. Nếu chúng ta có mẫu lớn, thì chúng ta không cần phải giả thiết về phân phối chuẩn. Economics 20 - Prof. Anderson 3
Mô hình hồi qui 1 biến có phương sai đồng nhất và Có phân phối chuẩn y f(y|x) . E(y|x) = β + β x 0 1 . Phân phối chuẩn x1 x2 Economics 20 - Prof. Anderson 4
Hàm phân phối mẫu là hàm phân phối chuẩn Do mỗi ước lượng đều là một hàm tuyến tính của các biến phân phối chuẩn, nên từng bi (i = 0,1, ..., k) cũng có phân phối chuẩn. Công thức tính phương sai của β phức tạp nên không trình bày ở đây Æ Tham khảo sách!!! STATA βˆ j ~ Normal [β j , Var (βˆ )], nên j (βˆ − β ) (0,1 ) ( ) j j ~ Normal sd βˆ j Economics 20 - Prof. Anderson 5
Kiểm định t Voi các gia thiêt cua OLS (βˆ − β ) ( ) j j ˆ ~ t n − k −1 se β j Đây là hàm phân phôi t, chu không phai phân phôi chuân boi vì chúng ta phai dùng σˆ 2 đê uoc luong cho σ 2 Đô tu do là : n − k − 1 Economics 20 - Prof. Anderson 6
Kiểm định t Khi biết được phân phối mẫu (sampling distribution) của ước lượng (đã chuẩn hóa) thì chúng ta có thể tiến hành kiểm định Xây dựng một giả thuyết như: H0: βj=0 Nếu chấp nhận giả thuyết trống, tức là chấp nhận rằng xj không có quan hệ/tác động gì với y, sau khi đã tính toán tới tác động của các biến x khác (controlling for other x’s) Economics 20 - Prof. Anderson 7
Tóm tắt cho giả thuyết H0: βj = 0 Thường là kiểm định hai phía Nếu bác bỏ giả thuyết trống, thì thường ta phát biểu rằng “biến xj có ý nghĩa về mặt thống kê ở mức ý nghĩa là α % – thường là 5%” Nếu chúng ta không thể bác bỏ giả thuyết trống, chúng ta thường phát biểu là “biến xj không có ý nghĩa về mặt thống kê ở mức ý nghĩa α % ” Economics 20 - Prof. Anderson 8
Kiểm định các giả thuyết khác Ta có thể kiểm định xem b có bằng một giá trị khác hay không, ví dụ như H0: βj = aj Khi đó, công thức sử dụng sẽ là (βˆ − aj ) t= ( ) j , se βˆ j nêu a j = 0 - - > xem o trên Economics 20 - Prof. Anderson 9
Kiểm định kết hợp tuyến tính Ngoài việc kiểm định xem β1 có bằng một giá trị cụ thể nào hay không, ta có thể kiểm định xem β1 có bằng một tham số nào khác hay không, ví dụ H0 : β1 = β2 Ta xây dựng một kiểm định thống kê t như βˆ1 − βˆ 2 t= ( se βˆ1 − βˆ 2 ) Economics 20 - Prof. Anderson 10
Kiểm định kết hợp tuyến tính Với STATA, việc kiểm định như vậy rất dễ In Stata, sau khi chạy mô hình reg y x1 x2 … xk Mà ta muốn kiểm định β1 = β2 , ta chỉ việc gõ câu lệnh test x1 = x2 và sau đó sẽ thu được giá trị p- value đối với kiểm định này Economics 20 - Prof. Anderson 11
Kiểm định F Các kiểm định từ trước đến giờ, chúng ta chỉ xem xét môt điều kiện hạn chế (linear restriction) như β1 = 0 hoặc β1 = β2 ) Tuy nhiê, nhiều khi chúng ta muốn kiểm định kết hợp nhiều giả thuyết về các tham số của mô hình một cách đồng thời Một ví dụ điển hình là ta muốn kiểm định xem một nhóm các tham số có đồng thời cùng bằng 0 hay không ( “exclusion restrictions” ) Economics 20 - Prof. Anderson 12
Kiểm định F Khi đó giả thuyết trống có dạng H0: βk-q+1 = 0, ... , βk = 0 Giả thuyết thay thế là H1: Giả thuyết H0 không đúng Chúng ta không thể sử dụng kiểm định t với từng tham số, bởi vì chúng ta muốn biết q tham số cùng có ý nghĩa về mặt thống kê ở một mức ý nghĩa nhất định. Bởi vì hoàn toàn có thể là ở mức ý nghĩa đó, không có tham số nào có ý nghĩa một cách riêng lẻ cả. Economics 20 - Prof. Anderson 13
Kiểm định F Để kiểm định được ta phải ước lượng 2 mô hình. Một mô hình gọi là mô hình hạn chế (restricted model) trong đó không có các biến xk-q+1,, …, xk , và môt hình nữa, gọi là mô hình không hạn chế (unrestricted model) trong đó có đầy đủ các biến x Về mặt trực giác, ta muốn xem phần SSR có thay đổi đủ lớn, để đưa các biến xk-q+1,, …, xk vào mô hình hay không F≡ (SSRr − SSRur ) q , where SSRur (n − k − 1) r - " restricted" ur - " unrestricted" Economics 20 - Prof. Anderson 14
R2 k SSR k f= = ( ) 1 − R (N − k − 1) SSE (N − k − 1) 2 Economics 20 - Prof. Anderson 15
Kiểm định F Số kiểm định F luôn là số vì SSR của mô hình hạn chế luôn nhỏ hơn mô hình không hạn chế Về cơ bản, F cho biết SSR tăng lên một cách tương đối khi chuyển từ mô hình hạn chế sang mô hình không hạn chế. q = số lượng hạn chế, hoặc dfr – dfur n – k – 1 = dfur Economics 20 - Prof. Anderson 16
Kiểm định F Để quyết định xem việc SSR tăng lên có đủ lớn khi chuyển từ mô hình không hạn chế sang mô hình hạn chế, ta cần biết được phân phối mẫu của F Phân phối mẫu của F là , F ~ Fq,n-k-1, trong đó q cho biết độ tự do của tử số, và n – k – 1 cho biết độ tự do của mẫu số Economics 20 - Prof. Anderson 17
Kiểm định F f(F) Bác bỏ H0 với Không bác bỏ mức ý nghĩa α nếu F > c Bác bỏ (1 − α) α 0 c F Economics 20 - Prof. Anderson 18
Ví dụ kiểm định F, qui mô lớp – điểm số reg testscr str expn_stu pctel, r; Regression with robust standard errors Number of obs = 420 F( 3, 416) = 147.20 Prob > F = 0.0000 R-squared = 0.4366 Root MSE = 14.353 ------------------------------------------------------------------------------ | Robust testscr | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- str | -.2863992 .4820728 -0.59 0.553 -1.234001 .661203 expn_stu | .0038679 .0015807 2.45 0.015 .0007607 .0069751 pctel | -.6560227 .0317844 -20.64 0.000 -.7185008 -.5935446 _cons | 649.5779 15.45834 42.02 0.000 619.1917 679.9641 ------------------------------------------------------------------------------ NOTE test str expn_stu; The test command follows the regression ( 1) str = 0.0 There are q=2 restrictions being tested ( 2) expn_stu = 0.0 F( 2, 416) = 5.43 The 5% critical value for q=2 is 3.00 Prob > F = 0.0047 Stata computes Economics the p-value for you 20 - Prof. Anderson 19
F dưới dạng R 2 Nhiều khi SSR có thể là quá lớn, ta sử dụng một công thức khác Ta biết với mọi mô hình hồi qui ta có SSR = SST(1 – R2), thay thế vào công thức trên cho SSRu và SSRur F≡ −R q (R 2 ur 2 r ) ( 1 − R (n − k − 1)2 ur ) Economics 20 - Prof. Anderson 20