Mô hình hồi quy tuyến tính đơn: Bài giảng Lý thuyết xác suất và thống kê toán

Bài 3: Mô hình hồi quy tuyến tính đơn

BÀI 3. MÔ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN

Mục tiêu

Sau khi kết thúc bài, học viên sẽ hiểu được những vấn đề sau đây:

 Ý tưởng của phương pháp bình phương tối thiểu (OLS) và cách sử dụng OLS để ước lượng các hệ số hồi quy.

 Ý nghĩa của các hệ số hồi quy ước lượng.  Các giả thiết cơ bản của phương pháp OLS.  Hệ số xác định r2 đo độ phù hợp của

hàm hồi quy.

 Khoảng tin cậy và kiểm định giả

thuyết cho các hệ số hồi quy.

 Phân tích phương sai – kiểm định về

sự phù hợp của mô hình.

 Dự báo.

Hướng dẫn học

Nội dung

• Phương pháp OLS.

• Các giả thiết cơ bản của phương pháp bình

 Đề nghị học viên ôn lại phần ước lượng và kiểm định giả thiết trong môn lý thiết xác suất và thống kê toán.

phương tối thiểu.

• Hệ số xác định r2 đo độ phù hợp của hàm

hồi quy mẫu.

 Theo dõi kỹ bài giảng.  Xem các ví dụ cho mỗi phần bài giảng.  Làm các ví dụ và trả lời câu hỏi trắc nghiệm.

• Ước lượng khoảng cho hệ số hồi quy.

• Kiểm định giả thuyết về các hệ số hồi quy.

• Phân tích phương sai trong mô hình hồi quy.

• Dự báo.

STA301_Bài 3_v1.0013101214

23

Bài 3: Mô hình hồi quy tuyến tính đơn

TÌNH HUỐNG DẪN NHẬP

Tình huống

Công ty dầu ăn Tường An đang xem xét việc giảm giá bán sản phẩm (loại bình 5 lít) để tăng lượng hàng bán ra, đồng thời quảng bá sản phẩm của mình đến khách hàng. Người quản lí của công ty muốn tính toán xem nếu sản phẩm này được giảm giá đi 1000 đồng/lít thì lượng hàng trung bình bán ra sẽ thay đổi thế nào. Đồng thời, nếu như giảm giá 1000 đồng cho 1 lít mà lượng hàng bán thêm được là nhiều hơn 50000 sản phẩm thì công ty sẽ tiến hành 1 chiến dịch khuyến mại trong 1 tháng với giá giảm đi là 10000/lít. Để tiến hành nghiên cứu này, phòng marketing của công ty đã dựa vào các số liệu bán hàng của công ty trong vòng 15 tháng qua (n =15 quan sát) để thu thập số liệu về giá bán (P) và lượng bán (Q) cho loại dầu ăn này. Nghiên cứu viên sau khi tiến hành các thống kê mô tả đã quyết định dùng hàm cầu dạng tuyến tính để xem xét ảnh hưởng của giá đến lượng bán:

    1

P u 2 i

 . i

Dùng số liệu của mẫu, ước lượng được hàm hồi quy mẫu có dạng

ˆQ 6227 30.43P 



Câu hỏi

 Theo kết quả của mô hình, khi giá giảm 1 đơn vị, lượng hàng bán ra thay đổi thế nào?  Liệu khi giá giảm đi 1000 đồng 1 lít thì lượng hàng bán thêm lớn hơn được 50000 sản phẩm

như các nhà nghiên cứu muốn kiểm tra không?

 Giá bán quyết định bao nhiêu % trong sự thay đổi của lượng bán?  Nếu giá bán là 150000 đồng 1 bình thì lượng bán dự báo là bao nhiêu?

24

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

Nội dung bài này giới thiệu một mô hình hồi quy đơn giản nhất và đưa ra các phương pháp ước lượng, kiểm định giả thiết và dự báo. Đó là mô hình hồi quy tuyến tính đơn hay còn được gọi là mô hình hồi quy 2 biến, mô hình đề cập đến một biến độc lập X và một biến phụ thuộc Y. Trong bài này chúng ta sẽ ước lượng hàm hồi quy tổng thể PRF dựa trên thông tin mẫu. Mặc dù có rất nhiều phương pháp ước lượng hàm hồi quy tổng thể nhưng chúng ta sẽ sử dụng phương pháp thường dùng là phương pháp bình phương tối thiểu (OLS) (Ordinary Least Square).

Ước lượng tham số hồi quy bằng phương pháp bình phương tối thiểu

3.1. BÀI TOÁN

Cho biến độc lập X và biến phụ thuộc Y, giả sử ta có hàm hồi quy tổng thể (PRF) có dạng tuyến tính:

Y E(Y | X ) u





(3.1)

    1

X u  i

Với một mẫu quan sát

(X , Y ),(X , Y ),...,(X , Y ) 2

Ta có: hàm hồi quy mẫu (SRF)

ˆY

(3.2)

ˆ     1

và:



 (3.3)

Y i

ˆ     1

ˆ X u Y u  i

x X x





ˆ,  là các ước lượng của ˆ

iˆu là ước lượng





y Y y i

của

   iˆu được coi là phần dư.

iu ,

Từ (3.3) ta có:





ˆ ˆu Y Y i i

Vấn đề đặt ra là sử dụng các dữ liệu của X và Y để tìm ước lượng tốt nhất cho

,  2

Tức là ta cần phải xác định

thỏa mãn tổng bình phương các phần dư đạt giá trị nhỏ nhất. ˆ,  sao cho: ˆ

đạt min.

f (

)

ˆ u



ˆ ˆ    2

(Y i

ˆ     1

X ) i



f (

)

Trong các bài giảng về giải tích nhiều biến ta đã được trang bị phương pháp tìm giá trị cực tiểu, cực đại của ˆ hàm f (X, Y) . Vậy để hàm 1   đạt giá trị nhỏ nhất

n n 2 2 1 i 2 i 1  i 1 

thì

ˆ,  phải là nghiệm của hệ phương trình ˆ

1 2

)



X ) 0 

2(Y i

ˆ     1



(3.4)

n 2 2 i i 1 

)





X ) 0 

2X (Y i i

ˆ     1



ˆ ˆ    f ( , 1  ˆ   1  ˆ ˆ f ( ,     1  ˆ  

n 2 2 i i 1  2

ˆ ˆ n    1

n n

Y i

  X 

(3.5)

Suy ra:

ˆX  



2 i i 1  i 1  n n n

X Y i i



     ˆ 

1 i 2 2 i i 1  i 1  i 1 

25

Bài 3: Mô hình hồi quy tuyến tính đơn

Ta có:

Y ; XY



X ; Y i

X Y i i



1 n

i 1 



2 X ; Y i



 2 Y . i

1 n i 1  n 1 n

i 1  1 n

i 1 

Phương trình (3.5) dẫn đến:

ˆ X Y 

(3.6)



    1  ˆX ˆ     1

Giải hệ phương trình (3.6) ta thu được nghiệm

XY (X)(Y)  2 X (X) 

(3.7)

ˆY  

 ˆ    2   ˆ    1

Ta đặt



(Y Y) 



Y n(Y) 



nY n(Y) 



n n 2 2 2 2 YY i 2 i i 1  i 1 



X n(X) 



nX n(X) 

(X X)  i



(X X)(Y Y)

X Y n(X)(Y)

nXY n(X)(Y)













n n 2 2 2 2 XX 2 i i 1  i 1  n n



Khi đó (3.7) có thể viết lại là

XY i i i i i 1  i 1 

S S ˆY  

 ˆ    2    ˆ 

Phương pháp tìm các ước lượng

ˆ,  như trên được gọi là phương pháp bình phương ˆ

1 2

tối thiểu.

1 2

3.1.1. Tính chất của tham số hồi quy mẫu ước lượng bằng phương pháp bình phương tối thiểu. Phương pháp bình phương tối thiểu đem lại các ước lượng với các tính chất như sau:

ˆ,  được xác ˆ

 Ứng với một mẫu

((X , Y ), (X , Y ),...(X , Y )) cho trước, hệ số n

định duy nhất.

ˆY

đi qua điểm có

 Đường thẳng của phương trình hồi quy mẫu (SRF)

1 2 1 1 2 2 n

ˆ ˆ     1

toạ độ giá trị trung bình (X, Y).

ˆY bằng giá trị trung bình của các quan sát

 Giá trị trung bình của các ước lượng của

i i 2

hay

ˆY Y

iY tức là: n n

ˆY 

 Y . i

1 n

i i 1  i 1 

26

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

 Giá trị trung bình các phần dư

iˆu bằng 0

 ˆu

ˆY không tương quan, tức là:

 Các phần dư

i i 1 

iˆu và i

ˆˆu Y 0.



 Các phần dư

i i i 1 

iˆu và iX không tương quan, tức là:



ˆu X 0. i



Bây giờ ta sẽ chứng minh một số tính chất trên:

o Hiển nhiên vì hệ phương trình (3.6) có nghiệm duy nhất.

ˆ,  là một hàm của mẫu. ˆ

o Hiển nhiên vì giá trị của

i i 1 

o Thay điểm (X, Y) vào phương trình hồi quy mẫu, ta có:

ˆ ˆ     1

1 2

ˆY  

ˆ    1

ˆ Y



o Ta có:

ˆ Y i

ˆ ˆ    1

n n







1 n

ˆ X

i 2 i 1  i 1 

ˆ     1 Y.



Suy ra ngay





o Ta có:

ˆu Y Y . i i



ˆ Y nY nY 0. 



n n n n

(Y Y )  i

  ˆu 

  Y  i

o Rõ ràng từ:

i i i i 1  i 1  i 1  i 1 





ˆ ˆu Y i i

ˆ ˆ (Y Y )Y  i

n n n n

ˆ Y Y i i



ˆ  Y

i i 2 i i 1  i 1  i 1  i 1 





Y ( i

ˆ ˆ    1

X ) i

ˆ ˆ (    1

X ) i



n n 2 2 2 i 1  i 1 

ˆ  

ˆ   1

ˆ n Y n XY n(   2

ˆ ˆ 2      1 1 2

2 X ) 2 2

ˆˆu Y

(

ˆ  

X ) 0. 



ˆ ˆ (      1

ˆ ˆ ( X    2 1

ˆ ˆ      1 2

1  n  i 1

n 2 2 X ) i i 1 2 2 2 1 2 2

ˆˆu Y 0.

Vậy

(3.8)



i i i 1 

27

Bài 3: Mô hình hồi quy tuyến tính đơn



o Dễ dàng thấy

ˆˆ u Y i i

ˆ u ( i

ˆ ˆ    1

X ) i

n n



2 i 1  i 1 

ˆ   1

n n

ˆ   ˆ u

 . ˆ u X i

Từ tính chất 4 và 5 ta có

i 2 i i 1  i 1 



n n

ˆ ˆ u Y 0 i

  ˆ u 

i i i 1  i 1 

Vậy ta có:



ˆu X 0. i



i i 1 

VÍ DỤ 3.1

Thu thập số liệu về điểm học tập của học sinh và mức thu nhập hàng năm của bố mẹ ta có bảng số liệu sau:

Thu nhập (x) (triệu/năm)

105 60

Điểm trung bình (y)

8.75 7.5

6.25 8.75 7.5 5.0 9.5

6.5

Hãy tìm hàm hồi quy mẫu và tính các đặc trưng của nó

Các giả thiết cơ bản của phương pháp bình phương tối thiểu

3.1.2.

Khi phân tích hồi quy, mục đích của chúng ta là tìm phương trình hồi quy mẫu thông qua việc ước lượng các hệ số ,  . Dựa vào dữ liệu mẫu ta thu được các ước lượng ˆ,

tương ứng là

ˆ   Nhưng

,  . Vì thế ta chưa biết

1 2

ˆ,  là các ước lượng điểm của ˆ được chất lượng của các ước lượng này thế nào. Ta cần đưa ra một số các giả thiết của phương trình bình phương tối thiểu để thu được các ,  . Từ đó ta cũng sẽ thu ước lượng tốt nhất cho

1 2 1 2 1 2

được giá trị

E(Y | X ) .

1 2

ˆY là ước lượng tốt nhất cho Chất lượng của các ước lượng sẽ phụ thuộc vào các yếu tố sau:

 Dạng hàm của mô hình được chọn.

 Phụ thuộc vào các

i i

 Phụ thuộc vào cỡ của mẫu.

Vấn đề về dạng hàm của mô hình được lựa chọn chúng ta sẽ xem xét ở bài 7. Ta sẽ đưa ra các giả thiết cho iu để các ước lượng thu được không chệch và có

iX và iu .

phương sai nhỏ nhất.

 Giả thiết 1: Biến giải thích X có giá trị quan sát

iX khác với ít nhất 1 giá trị còn

lại, tức là phương sai mẫu hiệu chỉnh không suy biến:

iX và





(X X)  i

1   n 1  i 1

n 2 '2 S X

28

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

 Giả thiết 2: Giá trị trung bình của sai số có thể mang dấu âm hoặc dương đối với

mỗi giá trị quan sát nhưng về mặt trung bình thì bằng 0.

 Giả thiết 3: Các giá trị của X được cho trước và không ngẫu nhiên, tức là mỗi

được cho trước và không phải là biến ngẫu nhiên. Điều đó có nghĩa là

là không tương quan với nhau.







iX iu iX và





CoV(X , u ) E(X u ) E(X ) E(u ) i i X E(u ) X E(u ) 0. i

i i i i

Giả thiết này có một ý nghĩa rất quan trọng là nếu X và u có được tương quan thì khi X thay đổi, u cũng sẽ thay đổi. Vì thế giá trị kỳ vọng của Y sẽ khác

   1

i i i

 Giả thiết 4: Phương sai sai số thuần nhất (không đổi)

j  .

2X.

Var(u ) Var(u )  j

 Giả thiết 5: Không có tương quan giữa các

2   i

CoV(u , u ) 0

j  .

iu , tức là:

Với các giả thiết đã nêu, khi đó ta có tính chất của các ước lượng theo phương pháp bình phương tối thiểu như sau:

i j

Định lý Gauss-Markov

Giả sử ta có mô hình hồi quy tuyến tính, khi đó với các giả thiết 1-5 ta có ước lượng bình phương tối thiểu là các ước lượng tuyến tính không chệch và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch.

Định lý Gauss-Markov cho một khẳng định là các

ước lượng

ˆ,  của ˆ

,  có được bằng phương pháp bình phương tối thiểu là các

ước lượng không chệch và có phương sai tối thiểu trong các ước lượng không chệch của

,  .

1 2 1 2

1 2

Sai số của phương pháp bình phương tối thiểu

3.1.3.

,  theo phương pháp bình phương tối

ˆ,  của ˆ Trong phần 3.1 ta có các ước lượng 1 thiểu là

ˆ   2

XY (X)(Y)  2 X (X) 

X .

ˆY  

ˆ   1





2 1 2

Đặt:





x X X i y Y Y i

   

29

Bài 3: Mô hình hồi quy tuyến tính đơn

Khi đó ta có:

ˆY  

ˆ   1

n n

x y i

ˆ   

 2 x . i

Với các giả thiết 1-5 của phương pháp bình phương nhỏ nhất, ta có phương sai và độ lệch chuẩn của các ước lượng là

2 i i 1  i 1 

;

ˆVar(

se(

;

)   2

ˆ )   2

 n



2 i 2 i i 1  i 1 

n n



;

se(

ˆVar(



ˆ )   1

)   1

2 i 2 i 2 i 1  n i 1  n



, se: sai số tiêu chuẩn (standard error).

với

 

Var(u ) i

2 chưa biết nên dựa vào dữ liệu mẫu đã cho ta 2ˆ được xác định 2 là

thu được ước lượng của bằng công thức sau:

2 i 2 i i 1  i 1 

ˆ u

n n



ˆ   

ˆ là sai số tiêu chuẩn của ước lượng (standard error of the estimate).

2 i 2 i 2 ˆ   i 1  n 2  i 1  n 2 

Hệ số xác định

3.2.

Cho hai biến X và Y, để xác định mối quan hệ của X và Y có dạng tuyến tính hay không ta đưa ra một đại lượng để đo mức độ phụ thuộc tuyến tính giữa X và Y.

Ta có:



ˆ ˆ  Y Y u i

2r đo độ phù hợp của hàm hồi quy mẫu:

ˆ Y Y Y Y u Y Y u

 

 



ˆ  

i i

ˆ y

ˆ u

(3.9)



y   i

i i i i i

Bình phương hai vế của (3.9) ta có:

i i

ˆ y

ˆ u







n n n n

  

 ˆ ˆ y u i

2 i 2 i 2 i i i 1  i 1  i 1  i 1 

ˆ u

ˆ y



n n

 

2 i 2 i i 1  i 1 

ˆ u

ˆ  

(3.10)

n n

 

2 2 2 i 2 i i 1  i 1 

30

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

Đặt:

TSS

(3.11)



(Y Y) 

  y 

TSS (Total sum of squares) gọi là tổng bình phương các sai lệch giữa

n n 2 2 i i i 1  i 1 

trung bình Y .

iY với giá trị

(3.12)

ESS

ˆ y



ˆ  

(Y Y )  i



 x

ESS (Explained sum of squares) là tổng bình phương các

ˆY và trung bình của nó.

sai lệch giữa giá trị

n n n 2 i 2 i 2 2 2 i i 1  i 1  i 1 

(3.12)

RSS

  (3.13)

phương sai lệch giữa giá trị quan sát

RSS (Residual sum of squares) là tổng tất cả các bình ˆY nhận

2 ˆ u . i i 1 

Từ (3.10), (3.11), ( 3.12), (3.13) ta có:

TSS ESS RSS

(3.14)





Chia hai vế cho TSS ta có:



ESS RSS  TSS TSS

iY và giá trị được từ hàm hồi quy hay gọi là tổng các phần dư.

ˆ u

(Y Y) 



(3.15)





(Y Y) 



n n 2 2 i i i 1  n i 1  n 2 2 i i i 1  i 1 

ˆ(Y Y) 



Đặt:



ESS TSS

(Y Y) 



(3.16)

Từ (3.14) và (3.15) ta có: 2 r

1  

RSS TSS

ˆy

ˆ 

2 2

2 i

2 2

(X X)  i



(3.17)

Ta có:



 

i 1  n

2 Sˆ X 2 S Y

(Y Y) 

2 i



i 1 

trong đó:

;



(Y Y) 

2 S X

(X X)  i

2 S Y

1   n 1  i 1

n 2 i 2 i 1  n 2 i i 1 

31

Bài 3: Mô hình hồi quy tuyến tính đơn

x y i



là phương sai mẫu của X và Y. Ngoài ra vì

nên (3.17) có thể được viết

ˆ   2

i 1  n

2 i



i 1 

lại như sau:

x y i



i 1 

  

(3.18)



2 i

   n   x

i 1 

Từ (3.18) ta có:



x y i

X Y i i



  ( X )( Y ) i i

1 n

i 1 



(Y Y) 

2 i

(X X)  i

  x



i 1 



n n

 





 n X ( X )  i

 n Y ( Y )  i



  

  

Ta thấy rằng r chính là hệ số tương quan mẫu của X và Y.

Các tính chất của hệ số tương quan:

r có thể âm hoặc dương.



   1 r 1.



r có tính chất đối xứng r(X, Y)

r(Y, X).





 

 Nếu X aX c

 a, b > 0, c, d là



hằng số ta có r(X , Y )

r(Y, X)

   và Y bY d,  

 Nếu X,Y độc lập thì r = 0.

r đo độ phụ thuộc tuyến tính giữa X và Y.



i i i i 1  i 1  n n n n 2 2 2 i 2 i i 1  i 1  i 1  i 1  n  n X Y ( X )( Y ) i i 1       

Phân bố xác suất của các tham số hồi quy mẫu

3.3.

Trong phần trước ta đã thu được các ước lượng điểm của 2 theo phương pháp bình phương nhỏ nhất (OLS) dựa trên các giả thiết cơ bản về sai số ngẫu nhiên

1 và



iu là:



2   .

Var(u ) i



Cov(u , u ) 0 ,

j  .

iE(u ) 0.

32

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

Khi đó các ước lượng điểm thu được tương ứng là

1 2

chúng ta cần xác định được phân phối xác suất của

ˆ,  có tính chất không chệch và ˆ có phương sai nhỏ nhất. Tuy nhiên, các ước lượng điểm không cho ta biết được độ sai lệch của chúng so với giá trị thực, vì vậy ước lượng khoảng cho ta nhiều thông tin hơn so với ước lượng điểm. Để có thể tìm được ước lượng khoảng cho các tham số ,  2 ˆ . Các phân phối xác suất

ˆ và

này phụ thuộc vào phân phối xác suất của

1 2

xác suất của

iu . Vậy ta đưa thêm giả thiết về phân phối

N(0;

Giả thiết:

iu như sau:

Với giả thiết thêm vào đó,

ˆ,  còn có các tính chất sau: ˆ

2 ) , iu có phân phối chuẩn

ˆ,  là các ước lượng vững, tức là khi cỡ mẫu đủ lớn thì chúng hội tụ đến giá trị ˆ



1 2

,  .

1 2

ˆ có phân phối chuẩn với



1 2



ˆE(

ˆVar(

)

(3.19)

)   ,

   



2 i 2 1 2 1 1 1 i 1  n



)

;

tức là

  . Từ đó biến ngẫu nhiên

ˆ   1

2 i i 1 



ˆ    1 1  1

có phân phối chuẩn tắc N(0;1).



2 1 1

2 có phân phối chuẩn với:

ˆE(

(3.20)

ˆVar(

)

)   ,

   

 n

2 2 2 2 2



2 i i 1 

)

;

tức là

có phân phối chuẩn tắc

  . Do đó biến ngẫu nhiên



ˆ   2

ˆ    2 

N(0;1).

2 2 2 2 2

 Thống kê

có phân phối khi-bình phương với n 2 bậc tự do.

ˆ (n 2)  2 

ˆ,  có phương sai nhỏ nhất trong số các ước lượng không chệch ˆ

 Các ước lượng

2 2  

của

,  .

1 2

Từ giả thiết của

Ta có

1 2

Y i

    1

X u .  i

bậc tự do. Vậy ta có

thể tìm được khoảng ước lượng cho các tham số

quy luật phân phối chuẩn tắc và khi bình phương với (n 2) 2 .

,  và 2

2 có 2 i iu ta thu được các thống kê Z và

33

Bài 3: Mô hình hồi quy tuyến tính đơn

Ước lượng khoảng cho hệ số hồi quy

3.4.

Trong mục 3.3 với giả thiết về phân phối chuẩn N(0;

) của

iu ta có:

;

ˆ   1

2 )   1

  ; )

ˆ   2

2 2

với các phương sai

,  được xác định trong

2 1

2 2

(3.19) và (3.20). Tuy nhiên vì phương sai

2 chưa biết, nên các phương sai

2 ,  cũng 2

2 1

chưa biết, vì vậy ta dùng ước lượng không chệch của

2 là:

ˆu

2 i



2 ˆ  



i 1  n 2 

RSS n 2 

Khi đó các thống kê:

và



T 1

T 2

2 )

ˆ    2 ˆSe( 

ˆ    1 1 ˆSe( )  1

với:

Se(

Var(

se(

Var(

ˆ )   1

ˆ  ; ) 1

ˆ )   2

ˆ  . ) 2

Các thống kê này có phân phối student với (n – 2) bậc tự do. Đồng thời, thống kê

2  

(n 2) 

ˆ  

có phân phối khi bình phương với (n – 2) bậc tự do.

3.4.1. Khoảng ước lượng cho 1β

Với độ tin cậy 1  cho trước, ta có:





   ,

T 1

(n 2)  





với

là phân vị mức

(n 2)  t 

 của phân phối Student 2

1T , tức là:

} 1

P{ t 



  

(n 2)  

ˆ    1 1 ˆ ) se(  1

Từ đó dẫn đến

se(

)

se(

)} 1

   .

(n 2)  

ˆ   1

ˆ       1

ˆ  1

Vậy với mẫu cụ thể ta có khoảng ước lượng cho 1 là:

se(

))

(    

ˆ ˆ );   

(n 2)  

ˆ  1

34

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

3.4.2. Khoảng ước lượng cho 2β

Tương tự như trên ta có, với độ tin cậy 1  cho trước thì:









1   

T 2

(n 2)  

2 )

ˆ    2 ˆSe( 

    

    

Từ đó,

Se(

)

Se(

)

ˆ 

   .

ˆ   2

ˆ       2

(n 2)  





Vậy với mỗi mẫu cụ thể ta có khoảng ước lượng cho 2 là:

Se(

)

   

ˆ ˆ );   

ˆ 

(n 2)  





Khoảng ước lượng cho

3.4.3. 2σ

Ta thấy thống kê

2  

ˆ (n 2)  2 

có phân phối khi-bình phương với (n-2) bậc tự do. Do đó:

} 1

2   

 

  

/ 2;n 2

2  1 



2 



ˆ (n 2)   2 

/ 2

 

/ 2

với

và

là các giá trị phân vị mức 1

và

của phân phối



/ 2;n 2

2 



2  1  2 (n 2) 



Từ đó ta có:

ˆ  

2   

1   

/ 2;n 2

ˆ (n 2)   2  

(n 2) 2  1 

  

    

Vậy với mẫu cụ thể và độ tin cậy 1  , ta có khoảng ước lượng cho

2 là:

ˆ  

(

;

)

2  

/ 2;n 2

ˆ (n 2)   2  

 

(n 2) 2  1 

 

Kiểm định giả thuyết về các hệ số hồi quy

3.5.

Kiểm định giả thuyết thống kê là một trong những nhiệm vụ quan trọng của nhà kinh   thì Y sẽ độc lập tế lượng. Chẳng hạn, trong mô hình hồi quy (3.1) ta thấy nếu

với X, tức là X không ảnh hưởng tới sự thay đổi của Y . Tuy nhiên, ta lại chưa biết

2

có bằng 0 hay không vì vậy ta cần kiểm định giả thuyết này. Trong các mục trước, chúng ta đã đưa ra các ước lượng điểm và ước lượng khoảng cho hệ số hồi quy ,  . Các ước lượng khoảng này sẽ giúp ta giải quyết bài toán

kiểm định giả thuyết về

,  . 2

35

Bài 3: Mô hình hồi quy tuyến tính đơn

Ta đã biết bài toán kiểm định giả thuyết gồm các bước cơ bản sau:

 Bước 1: Thiết lập giả thuyết

0H và đối thuyết

1H .

 Bước 2: Xây dựng tiêu chuẩn thống kê để kiểm định, xác định quy luật phân phối

xác suất của tiêu chuẩn thống kê khi giả thuyết

0H được cho là đúng.

 Bước 3: Xây dựng miền bác bỏ giả thiết W ứng với mức ý nghĩa  cho trước.

 Bước 4: So sánh giá trị mẫu (quan sát được) của tiêu chuẩn thống kê ở bước thứ 2 với miền bác bỏ giả thuyết W ở bước 3 để đưa ra kết luận bác bỏ hay chấp nhận giả thuyết

0H .

Kiểm định giả thuyết cho

3.5.1.

1β

Ta đưa giả thuyết

   và đối thuyết

0H :

1H :

* 1

*    hoặc 1

*    hoặc 1

   .

* 1

Chú ý rằng nếu giả thiết H0 là đúng thì: thống kê

có phân phối Student với n – 2 bậc



T 1

ˆ    1 1 ˆSe( )  1

tự do. Ta sẽ dựa vào thống kê này để tiến hành kiểm định giả thuyết cho 1 . Ta có các bài toán kiểm định

giả thuyết sau: Bài toán 1: Kiểm định hai phía

*    1

H : 0 H : 1

1 *    1

   

(n-2)

W (

;

)

;

Miền bác bỏ:

là phân vị mức p (p =  /2) của

  



 với )

(n-2) / 2 

phân phối Student

1T . Bài toán 2: Kiểm định một phía (phải)

*    1

H : 0 H : 1

1 *    1

(n-2)

Miền bác bỏ:

;

là phân vị

(n-2) 

t 

     W= t

  , với mức  của phân phối Student

1T .

Bài toán 3: Kiểm định một phía (trái)

*    1

H : 0 H : 1

1 *    1

   

W (

;

)

Miền bác bỏ:

  

(n-2) 

Kiểm định giả thuyết cho

3.5.2.

2β

Ta có giả thuyết

H :    với đối thuyết

H :    hoặc

H :    hoặc

* 2

H :    . 2

* 2

36

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

Trong mục 3.4 ta cũng thấy nếu giả thuyết

0H đúng

thì thống kê



T 2

2 )

ˆ    2 ˆSe( 

có phân phối Student với n – 2 bậc tự do. Do đó, ta có thể tiến hành các bài toán kiểm định giả thuyết sau cho 2 :

Bài toán 1: Kiểm định hai phía

*    2

H : 0 H : 1

2 *    2

   

Miền bác bỏ:

W (

;

)

;

  



 )

(n-2) / 2 

(n-2)

là phân vị mức p của phân phối Student

2T .

Bài toán 2: Kiểm định một phía (phải)

*    2

H : 0 H : 1

2 *    2

   

(n-2)

Miền bác bỏ:

;

là phân vị mức  của phân phối Student

 , với )

2T .

W (t 

t 

Bài toán 3: Kiểm định một phía (trái)

*    2

H : 0 H : 1

2 *    2

   

Miền bác bỏ:

W (

;

  

(n-2) 

Kiểm định giả thuyết cho phương sai

3.5.3. 2σ

Giả thuyết

H :    , với một trong các đối thuyết

2 0

2 H :    ,

2 H :    .

2 0

2 2 H :    , 0

2 0

Ta có nếu

0H đúng thì thống kê

2  

ˆ (n 2)  2 

có phân phối khi bình phương với n – 2 bậc tự do. Áp dụng kết quả đó, ta có thể giải 2 như sau: quyết các bài toán kiểm định đối với

Bài toán 1: Kiểm định hai phía

  

2 0

  

H : 0 H : 1

2 0

   

37

Bài 3: Mô hình hồi quy tuyến tính đơn

)

;

Miền bác bỏ:

W (0; 

(  

 )

2  1-

/ 2;n 2

2 

trong đó 2

là phân vị mức p của phân phối

2 .

p;n 2

  

Bài toán 2: Kiểm định một phía (phải)

  

2 0

  

H : 0 H : 1

2 0

   

Miền bác bỏ

;n 2



  .

 

Bài toán 3: Kiểm định một phía (trái)

  

2 0

  

H : 0 H : 1

2 0

   

Miền bác bỏ:



2 1-

;n 2

 

 W= 0;



CHÚ Ý

Phương pháp kiểm định trên được gọi là phương pháp kiểm định theo miền tiêu chuẩn mà ta đã biết trong giáo trình xác suất thống kê. Ngoài phương pháp trên ta còn có phương pháp kiểm định giả thuyết theo p-value xác suất ý nghĩa, phương pháp này cũng đã được giới thiệu trong giáo trình xác suất-thống kê.

Phương pháp xác suất ý nghĩa (p-value)

3.5.4.

Với một mẫu cụ thể ta có giá trị quan sát của thống kê

là:



iT (i 1, 2) 

iqs

ˆ *    i i ˆSe( ) 

Ta có: p-value





i 1, 2

iqs

 P T t i

0H đúng).

0H khi

 Xác suất này gọi là xác suất ý nghĩa, đây chính là xác suất mắc sai lầm loại 1 (tức là xác suất để bác bỏ 0H khi Ta thấy rằng nếu xác suất ý nghĩa càng cao thì hậu quả 0H đúng càng nghiêm trọng, nếu việc bác bỏ xác suất ý nghĩa càng nhỏ thì hậu quả của việc bác bỏ sai 0H càng ít nghiêm trọng. Vậy khi đã cho trước mức

ý nghĩa  (đây là xác suất giới hạn để được bác bỏ

vượt quá  thì ta có thể bác bỏ

0H ), nếu xác suất ý nghĩa không 0H mà không sợ phạm sai lầm nghiêm trọng, còn nếu

xác suất ý nghĩa lớn hơn  thì chưa có cơ sở để bác bỏ 0H . Bây giờ ta có thể sử dụng xác suất ý nghĩa để tiến hành các bài toán kiểm định đối với các tham số

,  .

 Kiểm định hai phía

*    i

i = 1, 2

H : 0 H : 1

i *    i

   

38

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

Bước 1: Tính

;



iqs

ˆ *    i i ˆSe( ) 

Bước 2: Tính p-value

hoặc

P T t

t 

T i

iqs

p-value =  i







iqs

 2P T i



Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa  đã xác định từ trước, nếu p-value   thì bác bỏ 0H , còn nếu p-value   thì chấp nhận giả thuyết

0H .

 Kiểm định một phía (phải)

*    i

i =1, 2

H : 0 H : 1

i *    i

   

Bước 1: Từ mẫu số liệu có được, thành lập thống kê

;



iqs

ˆ *    i i ˆSe( ) 

P T t i

iqs



Bước 2: Từ thống kê đó, tính xác suất ý nghĩa p-value =  Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa  đã xác định từ trước, nếu 0H , còn nếu p-value   thì chấp nhận giả p-value   thì bác bỏ giả thuyết

thuyết

0H .

 Kiểm định một phía (trái)

*    i

i = 1, 2

H : 0 H : 1

i *    i

   

;

Bước 1: Tính



iqs

ˆ *    i i * Se( )  i

Bước 2: Tính p-value =





 1 P T

iqs

Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa  đã xác định từ trước, nếu p-value   thì bác bỏ giả thuyết 0H , còn nếu p-value   thì chấp nhận giả

thuyết

0H .

VÍ DỤ 3.2

Từ ví dụ 3.1 hãy:

a) Tìm khoảng ước lượng cho các hệ số hồi quy với độ tin cậy 95%.

b) Với mức ý nghĩa 5% có thể kết luận thu nhập của bố, mẹ có ảnh hưởng tới kết quả học

tập của con cái hay không?

c) Tính ESS, TSS.

39

Bài 3: Mô hình hồi quy tuyến tính đơn

Giải: Theo báo cáo của Eviews cho ví dụ 3.1 ta có:

4.785256,

0.042094

a) Ta có các giá trị ước lượng của

và sai số

,  là 2

ˆ   1

ˆ   2

Se(

) 1.195385, Se(

) 0.017601.

Vì cỡ mẫu n = 8, với mức tin

chuẩn là:

ˆ   1

ˆ   2

0.05

2.364624

. Vậy ta có các

cậy

 



, tra bảng phân phối student ta có: (7) 0.025

khoảng ước lượng cho

,  là: 2

4.785265 2.364624x1.195385; 4.786265 2.36462x1.195385







  1

  1.958629; 7.611901 .

    1

Tương tự ta có:

   

 2.78634; 2.86693 .

b) Ta cần kiểm định bài toán sau:

H : 0 H : 1

  2   2

  

Cách 1: Ta có giá trị tiêu chuẩn thống kê của bài toán trên là:

0.0539



0.042094 0.017601

)

ˆ  2 ˆ Se( 

Với mức ý nghĩa 5%, tra bảng phân phối student ta có:

2.364624



(7) 0.025

; 2.364624

2.364624;

 



Vậy miền bác bỏ của bài toán là: W = 





   .

Ta thấy giá trị tiêu chuẩn thống kê 2t W , do đó chưa bác bỏ được H0. Như vậy có thể kết luận thu nhập của bố mẹ không ảnh hưởng đến kết quả học tập của con cái một cách có ý nghĩa. Cách 2: Ta thấy giá trị p- value = 0.0539 > 0.05 vì vậy chưa thể bác bỏ được H0.

40

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn c) Từ kết quả trong bảng ta có r2 = 0.488035, RSS = 8.155499, do đó theo công thức

1  

RSS TSS

ta có : TSS = RSS/(1– r2) = 8.155499/ (1– 0.488035) = 15.9288. Đồng thời ta lại có công thức: TSS = ESS + RSS,

do đó ta có: ESS = TSS – RSS = 15.9288 – 8.155499 = 7.774301.

Phân tích phương sai trong phương trình hồi quy

3.6.

Trong phần này chúng ta xét bài toán kiểm định giả thuyết về hệ số hồi quy 2 theo một phương pháp

khác, đó là phương pháp phân tích phương sai.

Ta xét bài toán kiểm định

(*)

H : 0 H : 1

  2   2

  

Giả thuyết

hưởng tới Y, khi đó ta bác bỏ giả thuyết

0H nói lên rằng biến X không ảnh

rằng biến X không có ảnh hưởng tới biến Y.

Trong các phần trước ta thấy nếu như giả thuyết

  , thì thống kê

0H cũng có nghĩa là ta bác bỏ giả thuyết cho

0H là đúng, tức là: 2



ˆ (n 2)   2 

RSS 2 

có phân phối khi - bình phương với n – 2 bậc tự do, còn thống kê

ESS 2 

cũng có có phân phối khi-bình phương với 1 bậc tự do. Mặt khác hai thống kê đó độc lập với nhau, vậy thống kê

ESS 1





2 2

RSS

n 2  1

r 1 r 

TSSr TSS 2 (1 r ) 

n 2 

. Từ đó, với mức ý nghĩa  cho

1; n 2

có phân phối Fisher với số bậc tự do là: 



trước, miền bác bỏ cho bài toán kiểm định đang xét là



  W= f 1; n 2 ;



  .



Ý nghĩa: Cách tiếp cận theo hướng phân tích phương sai như trên cho phép ta đưa ra các phán đoán về độ phù hợp của mô hình hồi quy đang xét. Cụ thể, nếu thống kê F có giá trị rất lớn (ứng với xác suất ý nghĩa rất nhỏ) thì ta có thể kết luận mô hình được lập phù hợp với số liệu quan sát. Còn nếu thống kê F có giá trị nhỏ đến mức xác suất ý nghĩa tương ứng của nó lớn hơn mức ý nghĩa đã định (bằng 5% chẳng hạn) thì rõ ràng mô hình là không phù hợp với số liệu, lúc đó cần tìm mô hình khác.

Ta có bảng phân tích phương sai ngắn gọn như sau:

41

Bài 3: Mô hình hồi quy tuyến tính đơn

Nguồn biến thiên

Tổng bình phương

Bậc tự do

Phương sai

ESS

2 x i

ˆ   

i 1 

n 2

RSS

Phần dư

n 2 

2 u i

 

i 1 

Tổng

TSS

n 1

Ứng dụng của phân tích hồi quy, bài toán dự báo

3.7.

Một trong các ứng dụng của phân tích hồi quy là dự báo 0X , ta cần dự báo giá trị của Y là cho biết giá trị của X là 0X vào phương trình hồi quy mẫu ˆY thỏa mãn

ta nhận được giá trị ước lượng của Y là

0Y , khi đó thay giá trị

ˆY

phương trình:

ˆ ˆ     1

, với

Giá trị thực 0Y thỏa mãn phương trình

Y 0

    1

0 2 0

X u  0

ˆY Y (

(

Ta có :



2 0 0u là sai số.

)         1

)X u 0

Đồng thời

; E(

)

ˆ    và

ˆ )    1

0 1 2 2 0 0

Do đó:

E(Y Y ) 0 

 



1 2 2 0E(u ) 0.

E(Y ) Y 0 0

ˆY là một ước lượng không chệch của

Vậy ước lượng

0 0

được tính theo

Ngoài ra, phương sai của

ˆY Y

0 0Y .

ˆVar(Y Y ) Var[(

(





ˆ )       

0 0

)X u ]  0

Var(

)

0 0 1 1 2 0 2

;



ˆ    

) 2X Cov( 0

ˆ ˆ        2

) Var(u ) 0

2 (X ) Var( 1 1 0 2 2 1 1 2

 

 





 

1 X  n S

x S

X S

  

  

2 2 2 2 2 2 0 0 xx xx xx

 

1   n

(X X)  0 S

2 2 2

 1  

  

trong đó:



X n(X) 

(X X)  i



Do phương sai

2 bằng ước lượng không chệch

2ˆ .

n n n 2 2 xx 2 i 2 i i 1  i 1  i 1 

Khi đó ta có thống kê

có phân phối Student với n – 2 bậc tự do.



2 chưa biết, ta thay ˆY Y  ˆSe(Y Y ) 

0 0

Vậy với mức ý nghĩa  cho trước ta có khoảng ước lượng

0 0

0Y là:

42

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

ỨNG DỤNG

(3.21)









ˆ Y t Se(Y Y ) Y Y t Se(Y Y ) 0 0

n 2  

Công thức (3.21) cho ta khoảng ước lượng về giá trị

trị

0Y của Y khi cho biết trước giá

Bài toán trên có thể phát biểu dưới một dạng tương đương khác như sau (Bài toán dự báo giá trị trung bình): Cho trước giá trị 0X của X, cần ước lượng giá trị trung bình

, tức là ước lượng giá trị

của Y khi

X X



0X của X.

E(Y | X X ) 0

Ta có:

E(Y | X ) 0

    1

ˆY

ˆ ˆ     1

Từ đó, kết hợp với (3.19) và (3.20), ta thấy

ˆY E(Y | X )

(



0 2 0

)         1

0 0 1 2 2 0

ˆVar(Y E(Y | X )) 

 

(X X)  0 S

 1  n 

  

2 2 0 0 xx

2 chưa biết, ta dùng ước lượng 2ˆ , dẫn đến:

Var(Y E(Y | X ))



ˆ  

(X X)  0 S

 1  n 

  

Var(Y E(Y | X ))

Ký hiệu:





2 S ˆ Y 0

khi ấy thống kê





ˆY E(Y | X ) S ˆY 0

có phân phối Student với n – 2 bậc tự do. Áp dụng kết quả trên, ta có thể ước lượng giá trị trung bình có điều kiện E(Y | X ) bằng biểu thức sau:

2 2 2 0 0 xx

ỨNG DỤNG

(3.22)

ˆ Y t S 





n 2  

E(Y | X ) Y t S  ˆ Y 0

ˆ Y 0

43

Bài 3: Mô hình hồi quy tuyến tính đơn

TÓM LƯỢC CUỐI BÀI

 Phương pháp OLS

Giả sử có 1 mẫu về 2 biến X và Y.

Ta cần ước lượng các tham số trong mô hình PRF:





 Y E Y | X



    1

X u  i

tức là đi tìm các hệ số trong mô hình:



Y i

ˆ ˆ     i

X u Y u .  i

Ý tưởng của phương pháp OLS là tìm 1 đường SRF sao cho các giá trị ước lượng

ˆY càng

gần với các giá trị quan sát Yi càng tốt. Vì vậy, ta đi tìm min cho hàm sau:

2 i

(Y i

ˆ     1

2 X ) . i

  u 



 ˆ ˆ    2

i 1 

Như vậy phương pháp OLS sẽ tối thiểu hóa tổng bình phương các phần dư:

RSS

min .



2 i

 ˆ u

i 1 

x y i



;

Ta có công thức cho các hệ số ước lượng là:

ˆY  

ˆ   1

ˆ   2

i 1  n

2 i



i 1 

với

x X X, y Y Y.







 Các hệ số ước lượng trong mô hình

 iX , Y

ˆ,  được xác định duy nhất ứng với một mẫu  ˆ Hệ số 1

ˆ,  là các ước lượng điểm của ˆ

,  .

 Các giả thiết cơ bản của phương pháp OLS và các khuyết tật tương ứng của mô hình

Dưới đây là các giả thiết cần lưu ý: Giả thiết 1: Mô hình hồi quy phải có dạng tuyến tính. Giả thiết 2: Các giá trị của X được giả thiết là phi ngẫu nhiên và không tương quan với các sai số ngẫu nhiên, tức là :





 CoV X , u



 E u 0.

 

 





 

 E X u  X E u i

  E X  X E u i

Giả thiết 3: Trung bình của các nhiễu ngẫu nhiên bằng 0: E(

iu /Xi) = 0.

Giả thiết 4: Phương sai của các nhiễu ngẫu nhiên là không đổi:



2   .

 Var u



 Var u



Chú ý: Giả thiết 4 không thoả mãn, ta nói có hiện tương phương sai của sai số thay đổi.

Giả thiết 5: Không có tương quan giữa các nhiễu ngẫu nhiên:

0 .

 CoV u , u



Chú ý: Giả thiết 5 không thoả mãn, ta nói có hiện tương tự tương quan. Giả thiết 6: Số quan sát n phải lớn hơn tổng số tham số trong mô hình.

44

STA301_Bài 3_v1.0013101214

Bài 3: Mô hình hồi quy tuyến tính đơn

 Định lí Gaus-Markov: Với các giả thiết đã cho của phương pháp bình phương tối thiểu thoả mãn, ước lượng bình phương tối thiểu là các ước lượng tuyến tính không chệch và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch.

 r2 đo độ phù hợp của hàm hồi quy, giá trị của r2 cho biết bao nhiêu phần trăm sự biến thiên

của biến Y được giải thích bởi biến X hoặc bởi hàm hồi quy mẫu.

 Ý nghĩa khoảng tin cậy:

;

   

KTC cho β1:

ˆ  1

ˆ   1

n 2  a

ˆ  1











n 2  t Se a 2

KTC cho β1 cho biết trung bình của Y thay đổi thế nào khi X = 0. KTC cho β2:

;

ˆ 

n 2  t Se a

n 2  a

ˆ   2









    



KTC cho β2 cho biết trung bình của Y thay đổi thế nào khi biến X thay đổi 1 đơn vị.

 Kiểm định giả thiết: Trong mô hình E(Y/Xi) = β1 + β2Xi: Ta muốn kiểm tra H0: βj = βj*

(j = 1,2).

Kiểm định Gt cho β1 = β1* cho biết trung bình của Y có bằng β1* khi X = 0 hay không. Kiểm định Gt cho β2 = β2* cho biết tốc độ thay đổi của trung bình của Y khi biến X thay đổi 1 đơn vị có bằng β2* hay không.

 Phân tích phương sai – kiểm định về sự phù hợp của mô hình.

Để kiểm định sự phù hợp của mô hình hồi quy tuyến tính so với số liệu, ta có thể tính các tổng bình phương sai số ESS, RSS và TSS, từ đó xác định thống kê F có phân phối Fisher rồi tiến hành kiểm định giả thuyết đối với thống kê đó.

 Dự báo.

Từ số liệu mẫu, ta ước lượng được mô hình hồi quy thực nghiệm, từ đó có thể dự báo được giá trị của biến phụ thuộc mỗi khi có một giá trị mới của biến độc lập.