Bài giảng Kinh tế lượng - Chương II: Mô hình hồi quy hai biến

15-Aug-16

I. HỒI QUY TUYẾN TÍNH HAI BIẾN

Chương II

1. Hàm hồi quy tuyến tính hai biến Trong quan hệ hồi quy, một biến phụ thuộc có thể được giải thích bởi nhiều biến độc lập

MÔ HÌNH HỒI QUY HAI BIẾN

Nếu chỉ nghiên cứu một biến phụ thuộc bị ảnh hưởng bởi một biến độc lập=> mô hình hồi quy hai biến

=> Hàm hồi quy tuyến tính được hiểu là tuyến tính theo tham số

I. HỒI QUY TUYẾN TÍNH HAI BIẾN I. HỒI QUY TUYẾN TÍNH HAI BIẾN

Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến

hay Trong đó: hay Trong đó: β1 :

tung độ gốc của hàm hồi quy tổng thể, là trị trung bình của biến phụ thuộc Y khi biến độc lập X nhận giá trị bằng 0 β2 : Độ dốc của hàm hồi quy tổng thể, là Y: biến phụ thuộc Yi: giá trị cụ thể của Y X: biến độc lập Xi: Giá trị cụ thể của X Ui: sai số ngẫu nhiên ứng với quan sát thứ i lượng thay đổi trung bình của Y khi X thay đổi 1 đơn vị

I. HỒI QUY TUYẾN TÍNH HAI BIẾN I. HỒI QUY TUYẾN TÍNH HAI BIẾN



Đồ thị minh họa



 

PRF

𝑌𝑖 = 𝛽1+𝛽2𝑋𝑖



2. Hàm hồi quy mẫu hai biến Trong thực tế rất khó nghiên cứu trên tổng thể nên thông thường ta nghiên cứu xây dựng hàm hồi quy trên một mẫu => Gọi là hàm hồi quy mẫu

Ui



Ui



 



  



 



 



15-Aug-16

I. HỒI QUY TUYẾN TÍNH HAI BIẾN I. HỒI QUY TUYẾN TÍNH HAI BIẾN

2. Hàm hồi quy mẫu hai biến8 2. Hàm hồi quy mẫu hai biến 𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖+𝑒𝑖

SRF:

𝑌𝑖 = 𝛽1+𝛽2𝑋𝑖 + 𝑒𝑖

: là tung độ gốc của hàm (SRF), ước lượng điểm của : là độ dốc của hàm hồi qui, ước lượng điểm của



SRF

SRF: Trong đó: 𝛽1 𝛽2 ei : là sai số ngẫu nhiên, ước lượng của Ui

𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖



ei



Nếu bỏ qua sai số ei thì giá trị thực tế Yi sẽ trở thành giá trị



ước lượng



𝑌𝑖



ei 𝛽2

𝑆𝑅𝐹: 𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

Giải bài toán cực trị hai biến ta xác định được:

1. Ước lượng tham số của mô hình 1. Ước lượng tham số của mô hình

SRF thực tế:

𝛽2 =

2 − 𝑛( 𝑋)2 =

𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖+𝑒𝑖

SRF ước lượng:

𝑥𝑖𝑦𝑖 2 𝑥𝑖

𝑋𝑖𝑌𝑖 − 𝑛 𝑋 𝑌 𝑋𝑖 𝛽1 = 𝑌 − 𝛽2 𝑋 𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖 𝑌𝑖 − 𝑌𝑖=𝑌𝑖 − ( 𝛽1+ 𝛽2𝑋𝑖)

Vậy

=? để

Trong đó:

2 = 𝑌𝑖 − 𝑌𝑖

𝛽1, 𝛽2

-> min

2 = 𝑌𝑖 − ( 𝛽1+ 𝛽2𝑋𝑖)

𝑒𝑖

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

20 25,2

1. Ước lượng tham số của mô hình

VÍ DỤ: Cho số liệu về thu nhập (X – trđ/tháng) và chi tiêu (Y – trđ/tháng) của 10 người như sau:

X

5

6

10

15

4

7

9

8

11

16 Y

4

4.2

5

7

3.5

4

6

4.6

7

8.5

14 28 54 36,8

STT X 5 6 10 15 4 7 9 8 11 16

1 2 3 4 5 6 7 8 9 10

Y XiYi X2 4 4,2 5 7 3,5 4 6 4,6 7 8,5

Hãy xây dựng hàm hồi qui

𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖

25 36 50 100 105 225 16 49 81 64 77 121 136 256 546 973

Tổng

91 53,8

Hàm hồi quy:

⇒ 𝛽1 = 𝑌 − 𝛽2 𝑋 = 1,8373

𝑌𝑖 = 1,8373 + 0,3893𝑋𝑖

15-Aug-16

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT 2. Các giả thuyết của OLS

a. Giả thiết 1

- Quan hệ giữa Y và X là tuyến tính - Biến giải thích (Xi) là cho trước và không ngẫu nhiên (vì phân tích hồi qui là phân tích hồi qui có điều kiện)

2. Các giả thuyết của OLS c. Giả thiết 3 Các sai số Ui là đại lượng ngẫu nhiên có phương sai không đổi

b. Giả thiết 2 Các sai số Ui là đại lượng ngẫu nhiên có giá trị trung bình là 0 => E (Ui /Xi) = 0 => không ảnh hưởng hệ thống tới giá trị trung bình của Y

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

2. Các giả thuyết của OLS Định lý Guass- Markov:

2. Các giả thuyết của OLS d. Giả thiết 4 Không có tương quan giữa các Ui (giá trị Ui là ngẫu nhiên và không ảnh hưởng tới sai số của quan sát khác)

e. Giả thiết 5 Không có tương quan giữa Xi với Ui

Khi các giả thiết được đảm bảo thì ước lượng bằng phương pháp OLS là ước lượng tuyến tính, không chệch và hiệu quả nhất của hàm hồi quy tổng thể. Hay gọi là BLUE (Best Linear Unbiased Estimators)

f. Giả thiết 6 Các sai số Ui có phân phối chuẩn

𝑈𝑖~𝑁(0, 𝜎2)

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

Tổng bình phương toàn phần (TSS: total sum of squares)

SRF

Tổng bình phương hồi quy (ESS: Explained sum of squares)

Tổng bình phương phần dư (RSS: Residual sum of squares)

3. Hệ số xác định của mô hình 3. Hệ số xác định của mô hình

2 = 𝑒𝑖

Ta có thể chứng minh được TSS = ESS+RSS (bài tập)

𝑅𝑆𝑆 = 𝑌𝑖 − 𝑌𝑖

15-Aug-16

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

dùng để đánh giá sự phù hợp của mô hình

3. Hệ số xác định của mô hình 3. Hệ số xác định của mô hình Hệ số xác định

VÍ DỤ: Cho số liệu về thu nhập (X – trđ/tháng) và chi tiêu (Y – trđ/tháng) của 10 người như sau:

Hệ số xác định:

Thu nhập X

5

6

10

15

4

7

9

8

11

16 Chi tiêu Y

4

4.2

5

7

3.5

4

6

4.6

7

8.5 +

đường hồi qui phù hợp mức hoàn hảo

+ Với:

Tính hệ số xác định của mô hình

mô hình không phù hợp với mẫu ngẫu

𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖

+ Với: nhiên

20 25,2

töông quan r duøng ñeå ño möùc ñoä chaët cheõ cuûa

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

14 28 54 36,8

4. Hệ số tương quan của mô hình Heä soá quan heä tuyeán tính giöõa X, Y. Coâng thöùc cuûa heä soá töông quan laø: 𝑆𝑅𝐹: 𝑌𝑖 = 1,8373 + 0,3893𝑋𝑖

STT X 5 6 10 15 4 7 9 8 11 16

1 2 3 4 5 6 7 8 9 10

Y XiYi X2 4 4,2 5 7 3,5 4 6 4,6 7 8,5

Coù theå chöùng minh ñöôïc:

25 36 50 100 105 225 16 49 81 64 77 121 136 256 546 973

Tổng

91 53,8

Trong tröôøng hôïp naøy daáu cuaû r truøng vôùi daáu cuûa

𝛽2

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT 4. Hệ số tương quan của mô hình 4. Hệ số tương quan của mô hình

Tính chất hệ số tương quan (r).

- r coù theå döông hoaëc aâm, daáu cuûa r phuï thuoäc vaøo daáu cuûa soá haïng trong töû soá hoặc - r naèm töø –1 ñeán +1 , nghóa laø:

- r chæ laø ñaïi löôïng ño söï keát hôïp tuyeán tính hay laø phuï thuoäc tuyeán tính; r khoâng coù yù nghóa ñeå moâ taû quan heä phi tuyeán tính. Vì vaäy, với mô hình Y = X2 laø moät quan heä chính xaùc nhöng r = 0.

- BaÛn chaát cuûa r laø ñoái xöùng ; nghóa laø heä soá töông quan giöõa X vaø Y (rXY ) cuõng baèng heä soá ñoù giöõa Y vaø X (rYX ).

- Maëc duø r laø ñaïi löôïng ño söï keát hôïp tuyeán tính giöõa hai bieán, r khoâng nguï yù laø coù baát kyø moái lieân quan nhaân quaû naøo.

- Neáu X vaø Y laø ñoäc laäp theo quan ñieåm thoáng keâ, heä soá töông quan giöõa chuùng baèng 0; nhöng neáu r = 0, ñieàu ñoù khoâng coù nghóa laø hai bieán naøy ñoäc laäp.

15-Aug-16

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT 4. Hệ số tương quan của mô hình

Tính chất hệ số tương quan (r).

 r > 0 thì X ,Y coù töông quan thuaän (töông quan döông). Töùc X taêng thì giaù trò trung bình cuûa Y taêng; X giaûm thì giaù trò trung bình cuûa Y giaûm

 r < 0 thì X ,Y coù töông quan nghòch (töông quan aâm). Töùc X taêng thì giaù trò trung bình cuûa Y giaûm; X giaûm thì giaù trò trung bình cuûa Y taêng.

15-Aug-16

II. PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT

4. Hệ số tương quan của mô hình

VÍ DỤ: Cho số liệu về thu nhập (X – trđ/tháng) và chi tiêu (Y – trđ/tháng) của 10 người như sau:

X

5

6

10

15

4

7

9

8

11

16 Y

4

4.2

5

7

3.5

4

6

4.6

7

8.5

Tính hệ số tương quan của mô hình

𝑌𝑖 = 𝛽1+ 𝛽2𝑋𝑖

Ta có 𝑆𝑅𝐹: 𝑌𝑖 = 1,8373 + 0,3893𝑋𝑖

Do 𝛽2 > 0

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY

Vì

𝑈𝑖~𝑁 0, 𝜎2

Khi đó σ2 được gọi là phương sai của tổng thể và được ước lượng bằng phương sai mẫu

Nên

𝑌𝑖~𝑁 𝛽1 +𝛽2 𝑋𝑖, 𝜎2

𝜎2 =

2 𝑒𝑖 𝑛 − 2

𝑅𝑆𝑆 𝑛 − 2

1. Các đại lượng ngẫu nhiên a. Đại lượng ngẫu nhiên Ui Ta có 1. Các đại lượng ngẫu nhiên a. Đại lượng ngẫu nhiên Ui Theo giả thiết trong phương pháp OLS thì giá trị trung bình của Ui bằng 0, phương sai không đổi. Nên Ui ~ N(0, σ2 )

15-Aug-16

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY

1. Các đại lượng ngẫu nhiên b. Đại lượng ngẫu nhiên 𝛽1, 𝛽2

𝛽2~𝑁(𝛽2, 𝜎 𝛽2 2 )

~𝑁(0,1)

𝛽1~𝑁(𝛽1, 𝜎 𝛽1 2 )

𝑣ì

𝑛ê𝑛

𝑉ớ𝑖

𝜎2 ≈

𝜎2

2 = 𝜎 𝛽1

~𝑁(0,1)

2 𝑋𝑖 2 − 𝑛 𝑋2

𝛽2~𝑁(𝛽2, 𝜎 𝛽2 2 )

𝑛 𝑋𝑖

𝛽1 − 𝛽1 𝜎 𝛽1 𝛽2 − 𝛽2 𝜎 𝛽2

≈

2 = 𝜎 𝛽2

𝑛 𝑋𝑖 𝜎2 2 − 𝑛 𝑋2

𝜎2 2 − 𝑛 𝑋2

𝑋𝑖

1. Các đại lượng ngẫu nhiên b. Đại lượng ngẫu nhiên 𝛽1, 𝛽2 𝛽1~𝑁(𝛽1, 𝜎 𝛽1 2 ) 𝑇𝑎 𝑐ó

Trong ñoù t/2 laø giaù trò cuûa ÑLNN T: T  T(n-2) thoûa ÑK:

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY

2. Khoảng tin cậy a. Khoảng tin cậy của 𝛽2 Ta đã biết ~𝑁(0,1) nhưng do σ2 được ước P(|T|> t/2) = 

Nên

~𝑇(𝑛 − 2)

-t/2 0 t/2

𝛽2 − 𝛽2 𝜎 𝛽2 lượng bằng 𝜎 2. 𝛽2 − 𝛽2 𝜎 𝛽2 với

2 sai số chuẩn của 𝛽2

/2 1- /2

Ñeå xaùc ñònh t/2 ta coù theå tra baûng hoaëc duøng haøm TINV trong Excel

𝑠𝑒(𝛽2)= 𝜎 𝛽2 Vôùi ñoä tin caäy 1- , KTC cuûa 2 laø: 𝑛−2𝑠𝑒( 𝛽2); 𝛽2 + 𝑡𝛼 ( 𝛽2−𝑡𝛼

𝑛−2𝑠𝑒( 𝛽2)

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY

Lập luận tương tự như phần trên ta có

2. Khoảng tin cậy b. Khoảng tin cậy của 𝛽1

~𝑇(𝑛 − 2)

𝛽1 − 𝛽1 𝑠𝑒( 𝛽1)

~𝜒2(𝑛 − 2)

với

2 sai số chuẩn của 𝛽1

𝑠𝑒(𝛽1)= 𝜎 𝛽1

≤ σ2 ≤

Vôùi ñoä tin caäy 1- , KTC cuûa 1 laø:

𝜎2(𝑛 − 2) σ2 Vôùi ñoä tin caäy 1- , KT C cuûa 𝜎2 laø: (𝑛 − 2) 𝜎2 2 𝜒𝛼/2

(𝑛 − 2) 𝜎2 2 𝜒1−𝛼/2

/2 ta có thể tra bảng 2với bậc tự do

( 𝛽1−𝑡𝛼

𝑛−2𝑠𝑒( 𝛽1); 𝛽1 + 𝑡𝛼

𝑛−2𝑠𝑒( 𝛽1)

2. Khoảng tin cậy c. Khoảng tin cậy của 𝜎2 Vì 𝜎2 là ước lượng của σ2 nên ta có thể chứng minh được rằng

Để xác định 2 n-2 mức ý nghĩa /2

15-Aug-16

𝑛−2𝑠𝑒( 𝛽2); 𝛽2 + 𝑡𝛼

𝑛−2𝑠𝑒( 𝛽2)

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 2. Khoảng tin cậy

VÍ DỤ: Cho số liệu về thu nhập (X – trđ/tháng) và chi tiêu (Y – trđ/tháng) của 10 người như sau:

Ta có a) Khoảng tin cậy cho 2 : Vôùi ñoä tin caäy 1-  = 95%, KTC cuûa 2 laø: ( 𝛽2−𝑡𝛼 2 - Tính se( 𝛽2 )

X

5

6

10

15

4

7

9

8

11

16 Y

4

4.2

5

7

3.5

4

6

4.6

7

8.5

Từ kết quả ví dụ trên, yêu cầu tính khoảng tin cậy của 𝛽1, 𝛽2 và σ2 với độ tin cậy 95%.

Ta có

Vôùi ñoä tin caäy 1-  = 95%, KTC cuûa 2 laø: ( 𝛽2−𝑡𝛼

𝑛−2𝑠𝑒( 𝛽2); 𝛽2 + 𝑡𝛼

𝑛−2𝑠𝑒( 𝛽2)

Ta có b) Khoảng tin cậy cho 1 : Vôùi ñoä tin caäy 1-  = 95%, KTC cuûa 1 laø: 𝑛−2𝑠𝑒( 𝛽1) 𝑛−2𝑠𝑒( 𝛽1); 𝛽1 + 𝑡𝛼

- Tính

( 𝛽1−𝑡𝛼 2 - Tính se( 𝛽1 )

Tra bảng t-student hoặc sử dụng hàm TINNV(0,05;8)

2 𝑋𝑖

= 0,2430

𝜎2 =

2 = 𝜎 𝛽1

973 × 0,3619 10 × 144,9

2 − 𝑛 𝑋2

𝑛 𝑋𝑖

Vậy khoảng tin cậy của 𝛽2 là

Vậy khoảng tin cậy của 𝛽1 là

c) Khoảng tin cậy cho σ2 :

Vôùi ñoä tin caäy 1-  = 95%, KTC cuûa σ2 laø:

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY

- Ta có: - Tra bảng tính 2

/2 và 2

1-/2

Ôn tập kiểm định giả thiết Trong thống kê, giả thiết cần kiểm định (giả thiết không) kí hiệu H0, giả thiết đối kí hiệu H1

Chấp nhận H0 Sai lầm loại II

Bác bỏ H0 Đúng Sai lầm loại I Đúng

H0 sai H0 đúng

Vậy khoảng tin cậy của σ2 là

Thông thường người ta cố tình đặt giả thiết sao cho khả năng mắc sai lầm loại I cao hơn sai lầm loại II

15-Aug-16

Đặt  là khả năng mắc sai lầm loại I  là mức ý nghĩa của kiểm định 1-  là độ tin cậy của kiểm định

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY

-  có thể lựa chọn tùy ý thường ta chọn

Chú ý: - Chấp nhận H0 không có nghĩa là H0 đúng

mức 1%, 5%, 10%

Các giả thiết cần kiểm định gồm có: - Các giả thiết về hệ số hồi quy - Các giả thiết về phương sai của Ui - Các giả thiết về sự phù hợp của mô hình Các loại giả thiết: giả thiết 2 phía, giả thiết trái , giả thiết phải Các cách kiểm định cơ bản: - Phương pháp khoảng tin cậy - Phương pháp điểm tới hạn - Phương pháp p-value (dùng máy tính)

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 3. Kiểm định giả thiết về hệ số hồi quy a. Kiểm định giả thiết về β2 GT 2 phía GT phía trái GT phía phải

f(t)



Mieàn chaáp nhaän

Mieàn B.Boû

Mieàn baùc boû

t Mieàn baùc boû

Mieàn chaáp nhaän

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 3. Kiểm định giả thiết về hệ số hồi quy a. Kiểm định giả thiết về β2 Phương pháp khoảng tin cậy - Bước 1: lập khoảng tin cậy cho β2 - Bước 2: nếu β0 thuộc khoảng tin cậy thì chập nhận H0 ngược lại bác bỏ.

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 3. Kiểm định giả thiết về hệ số hồi quy a. Kiểm định giả thiết về β2 Phương pháp điểm tới hạn ( kiểm định t) - Bước 1: tính giá trị tới hạn III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 3. Kiểm định giả thiết về hệ số hồi quy a. Kiểm định giả thiết về β2 Phương pháp p-value - Bước 1: tính giá trị tới hạn

- Bước 3:

+ Nếu t nằm trong miền chấp nhận H0 thì chấp nhận H0 + Ngược lại bác bỏ H0

+ Nếu p-value ≥  : chấp nhận H0 + Nếu p-value <  : bác bỏ H0

- Bước 2: tra bảng t-student với bậc tự do n-2 tìm t/2 - Bước 3: - Bước 2: tính p-value P( |t| > |t/2| ) (tức là xác suất để H0 bị bác bỏ)

15-Aug-16

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 3. Kiểm định giả thiết về hệ số hồi quy c. Kiểm định giả thiết về σ2 III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 3. Kiểm định giả thiết về hệ số hồi quy b. Kiểm định giả thiết về β1

Với độ tin cậy 1-  Với độ tin cậy 1- 

Tương tự như β2 nhưng giá trị tới hạn lúc này là Bước 1: lập khoảng tin cậy cho σ2 Bước 2:

2 nằm trong KTC: chấp nhận H0 2không nằm trong KTC: bác bỏ H0

+ Nếu 𝜎0 + Nếu 𝜎0

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 4. Kiểm định sự phù hợp của mô hình III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 3. Kiểm định giả thiết về hệ số hồi quy Từ số liệu ví dụ trước kiểm định các giả thiết sau với độ tin cậy 95%:

Trong thực tế hàm hồi qui được xác định dựa trên mẫu lấy ra từ tổng thể nên có thể bị ảnh hưởng bởi sai số trong lấy mẫu. Vì thế chúng ta cần kiểm định xem dữ liệu đang khảo sát có phù hợp với mô hình hay không?

III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 4. Kiểm định sự phù hợp của mô hình III. KIỂM ĐỊNH MÔ HÌNH HỒI QUY 4. Kiểm định sự phù hợp của mô hình Kiểm định giả thiết