Bài giảng Nguyên lý thống kê: Chương 2 - Hồi quy đơn biến

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:14

Thêm vào BST

Báo xấu

2
lượt xem 0
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng "Nguyên lý thống kê" Chương 2 - Hồi quy đơn biến, được biên soạn với mục tiêu nhằm giúp sinh viên nắm được những kiến thức như biết được phương pháp ước lượng bình phương nhỏ nhất để ước lượng hàm hồi quy tổng thể dựa trên số liệu mẫu; hiểu các cách kiểm định những giả thiết. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Nguyên lý thống kê: Chương 2 - Hồi quy đơn biến

CHƯƠNG 2 HỒI QUY ĐƠN BIẾN HỒI QUY ĐƠN BIẾN 1. Biết được phương pháp ước lượng bình phương nhỏ nhất để ước lượng hàm hồi quy tổng MỤC thể dựa trên số liệu mẫu TIÊU 2. Hiểu các cách kiểm định những giả thiết 2 Tiêu Nguyên Thảo NỘI DUNG 1 Mô hình 2 Phương pháp bình phương nhỏ nhất (OLS) 3 Kiểm định giả thiết 4 5 3 Tiêu Nguyên Thảo 1
2.1 MÔ HÌNH Mô hình hồi quy tuyến tính hai biến PRF dạng xác định  E(Y/Xi) = f(Xi)= β1 + β2Xi dạng ngẫu nhiên  Yi = E(Y/Xi) + Ui = β1 + β2Xi + Ui SRF dạng xác định Yˆi  ˆ 1  ˆ 2 X i  dạng ngẫu nhiên Y i  Yˆi  e i  ˆ 1  ˆ 2 X i  e i 4 Tiêu Nguyên Thảo 2.1 MÔ HÌNH Trong đó  ˆ 1 : Ước lượng cho b1  ˆ 2 : Ước lượng cho b2  ˆ Yi : Ước lượng cho E(Y/Xi)  Sử dụng phương pháp bình phương nhỏ nhất thông thường (OLS) để tìm ˆ1 , ˆ 2 5 Tiêu Nguyên Thảo 2.1 MÔ HÌNH Y SRF ˆ 2 PRF 2 1 ˆ 1 X Hình 2.1: Hệ số hồi quy trong hàm hồi quy PRF và SRF 6 Tiêu Nguyên Thảo 2
2.2 PHƯƠNG PHÁP OLS Giả sử có n cặp quan sát (Xi, Yi). Tìm giá trị Ŷi sao cho Ŷi gần giá trị Yi nhất, tức ei= |Yi - Ŷi| càng nhỏ càng tốt.  Hay, với n cặp quan sát, muốn n n 2  e i2   Y i  ˆ 1  ˆ 2 X i   min i 1 i 1 7 Tiêu Nguyên Thảo 2.2 PHƯƠNG PHÁP OLS  Bài ˆ ˆ toán thành tìm  1 ,  2 sao cho f  min Điều kiện để đạt cực trị là:  n     e i2   i 1    n ˆ ˆ   2 Yi  b 1  b 2 X i  0 b1ˆ i 1  n     e i2  n  i 1 ˆ b 2    ˆ  ˆ 2  Yi  b1  b 2 X i X  0 i  i 1 8 Tiêu Nguyên Thảo 2.2 PHƯƠNG PHÁP OLS Hay n n n ˆ 1  ˆ 2  X i   Yi i 1 i 1 n n n ˆ1  X i  ˆ 2  X i 2   X iY i i 1 i 1 i 1 9 Tiêu Nguyên Thảo 3
2.2 PHƯƠNG PHÁP OLS Giải hệ, được n n Yi X i   X i  Yi ˆ ˆ 1  Y   2 X ˆ 2  i 1 n 2 n X i2   X  i i 1 n xi  Xi  X y x i i ˆ b2  i 1 n yi  Yi  Y 2 x i 1 i 10 Tiêu Nguyên Thảo 2.2 PHƯƠNG PHÁP OLS Với  Y  Yi X   Xi n n là trung bình mẫu (theo biến)   xi  X i  X yi  Yi  Y gọi là độ lệch giá trị của biến so với giá trị trung bình mẫu 11 Tiêu Nguyên Thảo CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH TSS (Total Sum of Squares - Tổng bình phương sai số tổng cộng) TSS   (Yi  Y ) 2   Yi 2  n.(Y ) 2   yi2 ESS: (Explained Sum of Squares - Bình phương sai số được giải thích) ˆ ˆ ESS   (Yi  Y ) 2  (  ) 2  xi2 RSS: (Residual Sum of Squares - Tổng bình phương sai số) ˆ ˆ RSS   ei2   (Yi  Yi )2   yi2   22  xi2 12 Tiêu Nguyên Thảo 4
CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH Y SRF ESS ˆ Yi TSS RSS Yi Xi X Hình 2.3: Ý nghĩa hình học của TSS, RSS và ESS Tiêu Nguyên Thảo 13 HỆ SỐ XÁC ĐỊNH R2 Ta chứng minh được: TSS = ESS + RSS ESS RSS hay 1  TSS TSS Hàm SRF phù hợp tốt với các số liệu quan ˆ sát (mẫu) khi Yi gần Yi . Khi đó ESS lớn hơn RSS. Hệ số xác định R2: đo mức độ phù hợp của hàm hồi quy mẫu. Tiêu Nguyên Thảo 14 HỆ SỐ XÁC ĐỊNH R2 n 2 ESS RSS e i R2  1 1 in1  TSS TSS 2 y i1 i Trong mô hình 2 biến n ˆ  22  x i2 R2  n i 1  y i2 i 1 15 Tiêu Nguyên Thảo 5
TÍNH CHẤT CỦA HỆ SỐ XÁC ĐỊNH R2 0≤ R2≤1 Cho biết % sự biến động của Y được giải thích bởi các biến số X trong mô hình. R2 =1: đường hồi quy phù hợp hoàn hảo R2 =0: X và Y không có quan hệ Nhược điểm: R2 tăng khi số biến X đưa vào mô hình tăng, dù biến đưa vào không có ý nghĩa. =>Sử dụng R2 điều chỉnh (adjusted R2 -R2) để quyết định đưa thêm biến vào mô hình. 16 Tiêu Nguyên Thảo HỆ SỐ XÁC ĐỊNH ĐIỀU CHỈNHR2 2 n 1 R  1 (1 R2 ) nk • Khi đưa thêm biến vào mô hình màR2 tăng thì nên đưa biến vào và ngược lại. 17 Tiêu Nguyên Thảo HỆ SỐTƯƠNG QUAN r Hệ số tương quan r: đo mức độ chặt chẽ của quan hệ tuyến tính giữa 2 đại lượng X và Y. n  i 1 yi xi r  n n  y i2  x i2 i 1 i 1 18 Tiêu Nguyên Thảo 6
TÍNH CHẤT HỆ SỐTƯƠNG QUAN r -1≤ r ≤1 Có tính chất đối xứng: r XY = r YX Nếu X, Y độc lập theo quan điểm thống kê thì hệ số tương quan giữa chúng bằng 0. r đo sự kết hợp tuyến tính hay phụ thuộc tuyến tính, không có ý nghĩa để mô tả quan hệ phi tuyến. 19 Tiêu Nguyên Thảo HỆ SỐTƯƠNG QUAN r Có thể chứng minh được 2 r   R và r cùng dấu với ˆ 2 ˆ VD: Y i  6 , 25  0 , 75 X i Với R2 = 0,81 => r = 0,9 20 Tiêu Nguyên Thảo 2.3 Các giả thiết của phương pháp OLS Giả thiết 1: Các giá trị Xi được xác định trước và không phải là đại lượng ngẫu nhiên Giả thiết 2: Kỳ vọng hoặc trung bình số học của các sai số là bằng 0 (zero conditional mean), nghĩa là E(U/Xi) = 0 21 Tiêu Nguyên Thảo 7
2.3 Các giả thiết của phương pháp OLS  Giả thiết 3: Các sai số U có phương sai bằng nhau (homoscedasticity) Var(U/Xi) = σ2  Giả thiết 4: Các sai số U không có sự tương quan, nghĩa là Cov(Ui, Ui’) = E(UiUi’) = 0, nếu i  i’ 22 Tiêu Nguyên Thảo 2.3 Các giả thiết của phương pháp OLS Giả thiết 5: Các sai số U độc lập với biến giải thích Cov(Ui, Xi) = 0 Giả thiết 6: Đại lượng sai số ngẫu nhiên có phân phối chuẩn Ui ~ N(0, δ2 ) 23 Tiêu Nguyên Thảo Định lý Gauss-Markov Định lý: Với những giả thiết (từ 1 đến 5) của mô hình hồi quy tuyến tính cổ điển, mô hình hồi quy tuyến tính theo phương pháp bình phương nhỏ nhất là ước lượng tuyến tính không chệch tốt nhất. 24 Tiêu Nguyên Thảo 8
2.4 TÍNH CHẤT CÁC ƯỚC LƯỢNG OLS ˆ ˆ 1 ,  2 được xác định một cách duy nhất với n cặp giá trị quan sát (Xi , Yi) ˆ ˆ 1 ,  2 là các đại lượng ngẫu nhiên, với các mẫu khác nhau, giá trị của chúng sẽ khác nhau Đo lường độ chính xác các ước lượng bằng sai số chuẩn (standard error – se). 25 Tiêu Nguyên Thảo Sai số chuẩn của các ước lượng OLS var: phương sai se: sai số chuẩn 2: phương sai nhiễu của tổng thể 2 = Var (Ui ) -> thực tế khó biết được giá trị 2 -> dùng ước lượng không chệch 2 ˆ  2  e i n2 26 Tiêu Nguyên Thảo Sai số chuẩn của các ước lượng OLS 2 ˆ 1 ˆ var(1 )  X i . 2 ˆ ˆ se(1 )  var(1 ) n xi2 ˆ ˆ 2 ˆ ˆ 2 var(2 )  2 se(2 )  var(2 ) x i 27 Tiêu Nguyên Thảo 9
Sai số chuẩn của các ước lượng OLS Sai số chuẩn của hồi quy: là 2 ˆ  e i độ lệch tiêu chuẩn các giá trị n2 Y quanh đường hồi quy mẫu 28 Tiêu Nguyên Thảo Tính chất đường hồi quy mẫu SRF ˆ ˆ 1. SRF đi qua trung bình mẫu Y  1  2 X ˆ 2. Y  Y 3. e  0 i  4. Y e  0 i 5. e X  0 i i 29 Tiêu Nguyên Thảo 2.5 KIỂM ĐỊNH GIẢ THIẾT 1. Kiểm định giả thiết về hệ số hồi quy H 0 :  i   i* Hai phía: H1 :  i   i* Phía phải: H 0 : i   i* H1 :  i   i* Phía trái: H 0 :  i   i* H1 :  i   i* 30 Tiêu Nguyên Thảo 10
1. Kiểm định giả thiết về hệ số hồi quy H 0 :  i   i* H 1 :  i   i* Cách 1: Phương pháp giá trị tới hạn Bước 1: Tính t ˆ   2* t  2 SE ( ˆ 2 ) Bước 2: Tra bảng t-student để có giá trị tới hạn t( n  2 , / 2 ) Bước 3: Quy tắc quyết định Nếu t  t( n  2, / 2 ) bác bỏ H0. Nếu t  t( n  2, / 2 ) chấp nhận H0. 31 Tiêu Nguyên Thảo f(t) 1-a a/2 a/2 Miền chấp nhận Ho Miền bác bỏ Ho Miền bác bỏ Ho -t t a/2 a/2 -4 -3 -2 -1 0 1 2 3 4 t 32 Tiêu Nguyên Thảo 1. Kiểm định giả thiết về hệ số hồi quy Cách 2: Phương pháp khoảng tin cậy Khoảng tin cậy của bi: ˆ ˆ ˆ i  (i   i ; i   i ) i  t(n2,1 / 2) SE(i ) với mức ý nghĩa  trùng với mức ý nghĩa của H0 Quy tắc quyết định ˆ ˆ - Nếu i*  (i   i ; i  i ) chấp nhận H0 - Nếu i  (i i ˆi i ˆ   ;    ) bác bỏ H * 0 33 Tiêu Nguyên Thảo 11
1. Kiểm định giả thiết về hệ số hồi quy Cách 3: Phương pháp p-value Bước 1: Tính ˆ * i  i ti  ˆ SE (  i ) Bước 2: Tính P (T  t i )  p Bước 3: Quy tắc quyết định - Nếu p ≤ : Bác bỏ H0 - Nếu p > : Chấp nhận H0 34 Tiêu Nguyên Thảo 1. Kiểm định giả thiết về hệ số hồi quy Loại GT H0 H1 Miền bác bỏ Hai phía βi = βi* βi ≠ βi* |t|>t/2 (n-2) Phía phải βi ≤ βi* βi > βi* t>t (n-2) Phía trái βi ≥ βi* βi < βi* t βi* 1-a a Miền bác bỏ Ho t a 0 t 36 Tiêu Nguyên Thảo 12
Kiểm định phía trái f(t) H0 : βi ≥ βi* H1 : βi < βi* 1-a a Miền bác bỏ Ho -t a 0 t 37 Tiêu Nguyên Thảo 2. Kiểm định sự phù hợp của mô hình Kiểm định giả thiết H0: R2 = 0 (tương đương H0: β2= 0) với mức ý nghĩa  hay độ tin cậy 1 -  Bước 1: R 2 (n  2) Tính F  1 R2 a. Phương pháp giá trị tới hạn Bước 2: Tra bảng F với mức ý nghĩa  và hai bậc tư do (1, n-2) Bước 3: Quy tắc quyết định - Nếu F > F(1,n-2): Bác bỏ H0 - Nếu F ≤ F(1,n-2): Chấp nhận H0 38 Tiêu Nguyên Thảo 2. Kiểm định sự phù hợp của mô hình b. Phương pháp p-value Bước 2: Tính p-value= p (F(1,n-2)>F) Bước 3: Quy tắc quyết định - Nếu p ≤  : Bác bỏ H0 - Nếu p > : Chấp nhận H0 39 Tiêu Nguyên Thảo 13
Thống kê F F =0,05 Miền bác bỏ Ho Miền chấp nhận Ho 40 F(1,n-2) Tiêu Nguyên Thảo 14