Đề án môn học: Nguyên Lý Thống Kê

Chia sẻ: diepkhung

Tài liệu tham khảo đề án môn học: Nguyên Lý Thống Kê

Bạn đang xem 10 trang mẫu tài liệu này, vui lòng download file gốc để xem toàn bộ.

Nội dung Text: Đề án môn học: Nguyên Lý Thống Kê

Đề án môn học: Nguyên Lý Thống Kê 1 GVHD: TS. LÊ
DÂN

MỤC LỤC


CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI
1.1. Khái niệm ,cơ sở phân tích hàm hồi qui ............................................................3
1.2. bản chất của phần dư trong hàm hồi quy ..........................................................
4
1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy..................................
4
1.4. Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy ...................................... 4


CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG
HÀM HỒI QUY
2.1. Mô hình hồi qui đơn biến ( Hai biến )................................................................. 5
2.1.1. Khái niệm về hồi quy................................................................................... 5
2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ
nhất OLS............................................................6-7
2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất....
tổng quát .........................................................8-9
2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu... 10-
11
2.1.5. Một số dạng hàm thường được sử dụng............................................... 12-
15
2.2. Mô hình hồi quy tuyến tính bộ........................................................................... 16
2.2..1 .Xây dựng mô hình .................................................................................... 16
2..2.2. Mô hình hồi quy 3 biến ....................................................................... 16-17
2.2..3. Mô hình hồi quy K biến........................................................................... 18


CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM
HỒI QUY


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 2 GVHD: TS. LÊ
DÂN

3.1. Phát hiện phương sai của sai số thay đổi......................................................... 19
3.1.1 Xem xét đồ thị............................................................................................ 20
3.1.2 Kiểm đinh Glejser ................................................................................... 20
3.1.3 Kiểm đinh While............................................................................. 20-21
. 3.1.4 Kiểm định Breusch-Paga................................................................. 21-22
3.2 .Phát hiện có sự tương quan............................................................................... 22
3.2.1. Phương pháp đồ thị....................................................................... 22-23
3.2.2. Phương phá kiểm định số lượng........................................................ 24
3.3. Phân tích phần dư để kiểm tra các giả định trong...................................... 24-
26
phân tích hồi qui tuyến tính.




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 3 GVHD: TS. LÊ
DÂN




CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI


1.1. Khái niệm ,cơ sở phân tích hàm hồi qui
ˆ ˆ
Gỉa sử chúng ta có mô hình hồi qui tổng thể PRF : E(Y/X=Xi) = β 2 + β 2 X
nếu như E tuyến tính với Xi thì
Yi = β1 + β 2 X i + Ui
ˆ ˆ ˆ
khi đó ta có mô hình hồi quy mẫu SRF: Yi = β1 + β 2 X i

từ trên : ˆ ˆ
Yi = β1 + β 2 Xi + ei
trong đó
β1 : là hệ số tự do ( hệ số góc )
β2 : là hệ số góc
ˆ ˆ
β1 và β 2 là ước lượng của β1và β2

ei :được gọi là phần dư hay chính là ước lượng của Ui
Giá trị ước lượng của Yi
ˆ
Yi = β1 + β 2 X i




Yi



ei }
ˆ
Yi ˆ ˆ ˆ
SRF: Yi = β1 + β 2 X i

SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 4 GVHD: TS. LÊ
DÂN




Hình biểu diễn phần dư ei
vậy phần dư hàm hồi quy là ước lượng của Ui hay là giá trị chênh lệch giữa biến
ˆ
phụ thuộc (Yi) với biến tiêu thức phụ thuộc ( Yi )
ˆ
ei = Yi - Yi
phần dư hàm hồi quy có thể âm có thể dương
1.2. bản chất của phần dư trong hàm hồi quy
-Chúng ta có thế xây dựng được mô hình hồi quy bội dù chúng ta có đưa vào bao
nhiêu biến đi chăng nữa thì yếu tố phần dư vẫn tồn tại vì yếu tố hiễn nhiên của
chúng ,ngaycả khi các biến bị loại bỏ khỏi mô hình
- ei được sử dụng như một yếu tố đại diienj cho tất cả các biến không có trong
mô hình ngay cả khi các biến bị loại bỏ khỏi mô hình là biến nào đi chăng nữa khi
đó quá trình chuyển đổi mô hình hồi quy tổng thể PRF sang mô hình hồi quy mẫu
SRF luôn luôn tồn tại phần dư ei như một yếu tố ngẫu nhiên
- Ngoài các biến giải thích đã có trong mô hình còn có một số biến khác nhưng
ảnh hưởng của chúng đến Y rất nhỏ .Trong trường hợp này chúng ta có thể sử
dụng yếu tố ngẫu nhiên Ui để đại diện cho chúng .Tức phàn dư ei đại diện cho
quá trình chuyển đổi mô hình PRF sang SRF , với ei là ước lượng của Ui
1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy
ei là ước lượng của Ui hay là giá trị chênh lệch giữa biến phụ thuộc Yi với ước

ˆ
lượng của biến tiêu thức phụ thuộc Yi vì vậy quá trình phân tích phần dư ei trong
ˆ ˆ
hàm hồi quy chúng ta xác định được các tham số β1 và β 2 của mô hình hồi quy
cũng như các yếu tố khác có trong mô hình hồi quy
1.4. Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy



SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 5 GVHD: TS. LÊ
DÂN

Việc phân tích phần dư trong hàm hồi quy là cơ sở là tiền đề trong tất cả các
phân tích của hàm hồi quy với cỏ sở ban đầu là tổng phần dư nhỏ nhất theo OLS
ta xác đinh được các biến có trong mô hình

( )
n n 2

∑e
i =1
2
i =∑
i =1
ˆ
Yi − Yi => min



CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG
HÀM HỒI QUY


2.1. Mô hình hồi qui đơn biến ( Hai biến )
2.1.1. Khái niệm về hồi quy
Phân tích hồi quy là tìm quan hệ phụ thuộc của một biến, được gọi là biến phụ
thuộc vào một hoặc nhiều biến khác, được gọi là biến độc lập nhằm mục đích
ước lượng hoặc tiên đoán giá trị kỳ vọng của biến phụ thuộc khi biết trước giá trị
của biến độc lập.1
Một số tên gọi khác của biến phụ thuộc và biến độc lập như sau:
-Biến phụ thuộc: biến được giải thích, biến được dự báo, biến được hồi quy,
biến phản ứng, biến nội sinh.
-Biến độc lập: biến giải thích, biến dự báo, biến hồi quy, biến tác nhân hay
biến kiểm soát, biến ngoại sinh.
-Hàm hồi quy tổng thể và hồi quy mẫu
giả sử chúng ta có n cặp quan sát của Y và X khi đó xây dựng được mô hình
hồi quy


PRF ˆ ˆ
: E(Y/X=Xi) = β 2 + β 2 X


SRF ˆ ˆ ˆ
Yi = β1 + β 2 X i

Yi = ˆ ˆ
Yi = β 1 + β 2 Xi + ei
1
Theo Damodar N.Gujarati, Basic Econometrics-Third Edition, McGraw-Hill-1995, p16.


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 6 GVHD: TS. LÊ
DÂN



cặp quan sát thứ i có giá trị tương ứng ( Xi , Yi ) ; i= 1,n .Ta phải tìm Y sao cho
nó càng gần giá trị (Yi) có thể được tức phần dư




700
Hàm hồi quy tổng thể
Y= β1 + β2X +εi
600 Yi= β1 + β2Xi + εi

500 εi
E(Y/Xi)= β1 + β2Xi
Tiêu dùng, Y (XD)




400

300 Yi
β2
Y = E(Y/Xi)
200

100 β1

0
Xi
0 100 200 300 400 500 600 700 800 900
Thu nhập khả dụng, X (XD)

ˆ ˆ ˆ
ei = Yi − Yi = Yi − β1 − β 2 X i càng nhỏ càng tốt


2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ
nhất OLS
Từ trên ta có do ei; i= 1,n có thể dương ,có thể âm do vậy cần phải tìm Yi sao
cho tổng bình phương của các phần dư đạt cực tiểu




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 7 GVHD: TS. LÊ
DÂN


( )
n n 2

∑e i =1
2
i =∑
i =1
ˆ ˆ
Yi − β1 − β 2 X i => min



Điều kiện để () đạt cực trị là:
 n 2
∂ ∑ e i 
( )
n n
(1)  i =1  = −2 Y − β − β X = −2 e = 0
∂β1ˆ ∑ i 1 2 i
i =1
ˆ ˆ
∑ i
i =1


 n 
∂ ∑ e i2 
( )
n n
(2)  i =1  = −2 Y − β − β X X = −2 e X = 0
ˆ
∂β 2
∑ i 1 2 i i ∑i i
i =1
ˆ ˆ
i =1


Từ (3.7) và (3.8) chúng ta rút ra

∑Y i = nβ1 + β 2 ∑ X i
ˆ ˆ

∑Y X i i = β1 ∑ X i + β 2 ∑ X i2
ˆ ˆ

Các phương trình ta được gọi là các phương trình chuẩn. Giải hệ phương trình
chuẩn ta được
ˆ ˆ
β1 = Y − β 2 X (3.11)

Thay (3.9) vào (3.8) và biến đổi đại số chúng ta có

∑ (Y − Y )( X i − X )
n

i
ˆ
β2 = i =1


∑ (X − X)
n
2
i
i =1


Đặt x i = X i − X và y i = Yi − Y ta nhận được
n

∑y x i i
ˆ
β2 = i =1
(3.13)
n

∑x
i =1
2
i




a. Các tính chất của phần dư ei

(1) Giá trị trung bình của phần dư bằng 0: E( e i ) = 0



SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 8 GVHD: TS. LÊ
DÂN

n

(2) Các phần dư ei và Yi không tương quan với nhau: ∑e Y
i =1
i i =0

n

(3) Các phần dư ei và Xi không tương quan với nhau: ∑e X
i =1
i i =0

(4) Phần dư ei là yếu tố quan trọng ,trong quá trình đo sự phù hợp của hàm hồi
quy
Từ RSS ( Residual sum of Squarses ) tổng bình phương của tất cả các sai lệch
giữa các giá trị quan sát Y và giá trị nhận được từ hàm hồi quy


n n
RSS = ∑ e i2 = ∑ (Y i
ˆ
− Yi ) 2
i =1 i =1


b. Phương sai của phần dư có thể được ước tính như sau




2 2
           s  Chính là ước số σ .


2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ
nhất
tổng quát
Để giải đáp cho câu hỏi khi phương sai của sai số thay đổi ,thì phương pháp
bình phương nhỏ nhất tổng quát là cần thiết .Trước khi đi vào nội dung cụ thể
chúng ta trình bày phương pháp bình phương nhỏ nhất có trọng số
a. phương pháp bình phương nhỏ nhất có trọng số
Từ mô hình hai biến
ˆ ˆ
Yi = β 1 + β 2 Xi + ei


Như ta đã biết phương pháp bình phương nhỏ nhất không có trọng số cực tiểu
tổng bình phương phần dư

SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 9 GVHD: TS. LÊ
DÂN



( )
n n 2

∑ e = ∑ Yi − βˆ1 − βˆ2 X i
i =1
2
i
i =1
=> min

để thu được ước lượng


Còn phương pháp bình phương nhỏ nhất có trọng số cực tiểu tổng bình phương
các phần dư có trọng số

( )
n n 2

∑ Wie = ∑ Wi Yi − βˆ *1 −βˆ2 * X i
i =1
2
i
i =1
=> min



Trong đó β1* , β1* là các ước lượng bình phương nhỏ nhất có trọng số ở
đây các trọng số Wi là tính như sau
Wi = 1/ σ ( ∀i ) , σ
2 2
i i >0
b..Phương pháp bình phương nhỏ nhất tổng quát
Từ mô hình 2 biến
ˆ ˆ
Yi = β1 + β 2 Xi + Ui
Đặt σ i2 = w i2 σ 2 , chia hai vế của (5,12) cho wi chúng ta có mô hình hồi quy
Yi 1 X ε
= β1 + β2 i + i
wi wi wi wi

Ta viết lại mô hình như sau
Yi * = β 1 X 1*i + β 2 X 2i + ε i*
*



Trong đó
X 1i =1 ( ∀i )


X 2i * = X 1i /σi


ei* = ei / σ i


Để thu đươc ước lượng bình phương nhỏ nhất tổng quát , ta cực tiểu hàm


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 10 GVHD: TS. LÊ
DÂN




( )
n n 2

∑e
i =1
*2
i =∑
i =1
ˆ ˆ
Yi − β *1 − β 2 * X i ta sẽ thu được các ước lượng

Lưu ý Trong quá trình phân tích phần dư đối với giá trị biến độc lập X hoặc
Y
giá trị dự đoán Y sẽ cho ta biết liệu phương sai của sai số có thay đổi hay
không .Phương sai của phần dư được chỉ da bằng đọ rộng của biểu đồ phân giải
của phần dư khi giảm hoặc tăng .Nếu độ rộng của biểu đồ rãi của phần dư tăng
hoặc giảm .Khi X tăng thì giá trị giả thiết về phương sai hắng số có thể không
thõa mãn


2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy
mẫu
Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được
cho dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R2. Để có
cái nhìn trực quan về R2, chúng ta xem xét đồ thị sau

Y
SRF

Y
Yi - Yi
i
Y Yi
-Y Yi Y
-
i
Y




X X
i
Hình 3.5. Phân tích độ thích hợp của hồi quy




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 11 GVHD: TS. LÊ
DÂN

Yi − Y : biến thiên của biến phụ thuộc Y, đo lường độ lệch của giá trị Yi so với

giá trị trung bình Y.
ˆ
Yi − Y : biến thiên của Y được giải thích bởi hàm hồi quy
ˆ
e i = Yi − Yi : biến thiên của Y không giải thích được bởi hàm hồi quy hay sai số

hồi quy.
Trên mỗi Xi chúng ta kỳ vọng ei nhỏ nhất, hay phần lớn biến thiên của biến
phụ thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có
tính chất mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta
chọn tính chất tổng bình phương biến thiên không giải thích được là nhỏ nhất.
Ta có
ˆ
Yi = Y + e i
ˆ
Y −Y = Y − Y + e
i i

yi = yi + ei
ˆ

ˆ
Với y i = Y i − Y và y i = Y − Y
ˆ
n n n n
Vậy ∑ y i = ∑ y i + ∑ e i + 2∑ y i e i (3.21)
2
ˆ2 2
ˆ
i =1 i =1 i =1 i =1


Số hạng cuối cùng của (3.21) bằng 0.
n n n
Vậy ∑ y i = ∑ y i + ∑ e i
2
ˆ2 2

i =1 i =1 i =1

n n n
Đặt TSS = ∑ y i , ESS = ∑ y i và RSS = ∑ e i
2
ˆ2 2

i =1 i =1 i =1


TSS(Total Sum of Squares): Tổng bình phương biến thiên của Y.
ESS(Explained Sum of Squares): Tổng bình phương phần biến thiên giải thích
được bằng hàm hồi quy của Y.
RSS(Residual Sum of Squares) : Tổng bình phương phần biến thiên không giải
thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có:
TSS = ESS + RSS
ESS RSS
Đặt R 2 = = 1−
TSS TSS



SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 12 GVHD: TS. LÊ
DÂN

 n 2 
∑ xi 
 i =1 
n n
 n − 1
∑ y i2 β 22 ∑ x i2 2 
ˆ ˆ

 = β2 Sx
2
R 2 = i =1 = ni =1 = β2  n
ˆ ˆ
2
n
  S2
∑ y i2 ∑ y i2  ∑ y i2  y

i =1 i =1  i =1 
 n − 1
 
 
n

∑y x i i
ˆ
Mặt khác ta có β 2 =
i =1
Vậy
n

∑ x i2
i =1

2
 n 
 ∑ x i yi 
R 2 = ni =1 n  = rX ,Y
2


∑ x i2 ∑ y i2
i =1 i =1




Vậy đối với hồi quy hai biến R2 là bình phương của hệ số tương quan.
Tính chất của R2
(1) 0≤ R2 ≤1. Với R2=0 thể hiện X và Y độc lập thống kê. R2 =1 thể hiện X và
Y phụ thuộc tuyến tính hoàn hảo.
(2) R2 không xét đến quan hệ nhân quả.


2.1.5. Một số dạng hàm thường được sử dụng
a.Tuyến tính trong tham số
Trong mục 3.2.1 chúng ta đã đặt yêu cầu là để ước lượng theo phương pháp
bình phương tối thiểu thì mô hình hồi quy phải tuyến tính. Sử dụng tính chất hàm
tuyến tính của các phân phối chuẩn cũng là phân phối chuẩn, dựa vào các giả định
chặt chẽ và phương pháp bình phương tối thiểu, người ta rút ra các hàm ước
lượng tham số hiệu quả và các trị thống kê kiểm định.
Hồi quy tuyến tính chỉ yêu cầu tuyến tính trong các tham số, không yêu cầu
tuyến tính trong biến số.


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 13 GVHD: TS. LÊ
DÂN

1
Mô hình Y = β1 + β 2 + ε (1)
X
là mô hình tuyến tính trong các tham số nhưng phi tuyến theo biến số.
Mô hình Y = β1 + (1 − β1 )X (2)
2



là mô hình phi tuyến trong các tham số nhưng tuyến tính trong biến số.
Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến
ˆ ˆ
có trong mô hình chúng ta xác định được các tham số β1 và β 2 của mô hình hồi
quy cũng như các yếu tố khác có trong mô hình hồi quy



( )
n n 2

∑e
i =1
2
i =∑
i =1
ˆ
Yi − Yi => min

b. Một số mô hình thông dụng
- Mô hình Logarit kép
Mô hình logarit kép phù hợp với dữ liệu ở nhiều lĩnh vực khác nhau. Ví dụ
đường cầu với độ co dãn không đổi hoặc hàm sản xuất Cobb-Douglas.
Mô hình đường cầu : Y = β1 X β e ε (3) 2




Không thể ước lượng mô hình (3) theo OLS vì nó phi tuyến trong tham số. Tuy
nhiên nếu chúng ta lấy logarit hai vế thì ta được mô hình
ln(Y) = ln(β1 ) + β 2 X + ε (3)

Đặt Y * = ln(Y) và β1 = ln(β1 ) ta được mô hình
*



Y * = β1 + β 2 X + ε (3.31)
*



Mô hình này tuyến tính theo tham số nên có thể ước lượng theo OLS. Theo
phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến có trong
ˆ ˆ
mô hình chúng ta xác định được các tham số β1 và β 2 của mô hình hồi quy cũng
như các yếu tố khác có trong mô hình hồi quy



( )
n n 2

∑e
i =1
2
i =∑
i =1
ˆ
Yi − Yi => min



SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 14 GVHD: TS. LÊ
DÂN



Chúng ta sẽ chứng minh đặc tính đáng lưu ý của mô hình này là độ co dãn cầu

∂Y
Y ∂Y X
theo giá không đổi. Định nghĩa độ co dãn: η D = ∂X = ∗
∂X Y
X
∂Y ∂X ∂Y X
Lấy vi phân hai vế của ta có = β2 => η D = = β2
Y X ∂X Y
Vậy độ co dãn của cầu theo giá không đổi.

Y Y = β 1Xβ2 ln(Y) ln(Y)




0 X 0
ln(X)
Hình . Chuyển dạng Log-log
Tổng quát, đối với mô hình logarit kép, hệ số ứng với ln của một biến số độc
lập là độ co dãn của biến phụ thuộc vào biến độc lập đó.
-Mô hình Logarit-tuyến tính hay mô hình tăng trưởng
Gọi g là tốc độ tăng trưởng, t chỉ thời kỳ. Mô hình tăng trưởng như sau
Yt = (1 + g ) t Y0

Lấy logarit hai vế của
ln(Yt ) = t ln(1 + g) + ln(Y0 )

Đặt Yt* = ln(Yt ) , β1 = ln(Y0 ) và β 2 = ln(1 + g ) ta được mô hình hồi quy
Yt* = β1 + β 2 t + ε

Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến
ˆ ˆ
có trong mô hình chúng ta xác định được các tham số β1 và β 2 của mô hình hồi
quy cũng như các yếu tố khác có trong mô hình hồi quy



SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 15 GVHD: TS. LÊ
DÂN




( )
n n 2

∑ ei2 = ∑ Yi − Yˆi
i =1 i =1
=> min



-Mô hình tuyến tính-Logarit (Lin-log)
Y = β1 + β 2 ln(X) + ε

Mô hình này phù hợp với quan hệ thu nhập và tiêu dùng của một hàng hoá thông
thường với Y là chi tiêu cho hàng hoá đó và X là thu nhập. Quan hệ này cho thấy Y
tăng theo X nhưng tốc độ tăng chậm dần.

Y Y Y = β1




0 X 0
ln(X)
Hình . Chuyển dạng Lin-log
Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến
ˆ ˆ
có trong mô hình chúng ta xác định được các tham số β1 và β 2 của mô hình hồi
quy cũng như các yếu tố khác có trong mô hình hồi quy



( )
n n 2

∑e
i =1
2
i =∑
i =1
ˆ
Yi − Yi => min

-Mô hình nghịch đảo hay mô hình Hyperbol
1
Y = β1 + β 2 +ε
X
Mô hình này phù hợp cho nghiên cứu đường chi phí đơn vị, đường tiêu dùng
theo thu nhập Engel hoặc đường cong Philip.




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 16 GVHD: TS. LÊ
DÂN


Y Y

β1 >0 β2 >0 β1 >0




X X
Đường chi phí đơn vị Đường tiêu dùng
Hình . Dạng hàm nghịch đảo
Theo phương pháp tổng phần dư nhỏ nhất theo OLS ta xác đinh được các biến
ˆ ˆ
có trong mô hình chúng ta xác định được các tham số β1 và β 2 của mô hình hồi
quy cũng như các yếu tố khác có trong mô hình hồi quy



( )
n n 2

∑ ei2 = ∑ Yi − Yˆi
i =1 i =1
=> min




2.2. Mô hình hồi quy tuyến tính bộ
2.2..1 .Xây dựng mô hình
Mô hình hồi quy bội cho tổng thể PRF
E[ Y X' s] = β1 + β 2 X 2,i + β 3 X 3 ,i + ... + β k X k ,i

Với X2,i, X3,i,…,Xk,i là giá trị các biến độc lập ứng với quan sát i
Hàm hồi quy mẫu
ˆ ˆ ˆ ˆ
Yi = β1 + β 2 X 2,i + β 3 X 3 ,i + ... + β k X k ,i +e i

ˆ ˆ ˆ ˆ ˆ
e i = Yi − Yi = Yi − β1 − β 2 X 2,i − β3 X 3,i − ... − β k X k ,i

Theo phương pháp tối thiểu tổng bình phương phần dư cho kết quả ước lượng
hiệu quả .
Phương pháp bình phương tối thiểu

( )
n n 2

∑ e i2 = ∑ Yi − β1 − β 2 X 2,i − β 3 X 3,i − ... − β k X k ,i
i =1 i =1
ˆ ˆ ˆ ˆ



SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 17 GVHD: TS. LÊ
DÂN

đạt cực tiểu.


2..2.2. Mô hình hồi quy 3 biến
Hàm hồi quy tổng thể
Yi = β1 + β 2 X 2,i + β3 X 3,i + ε i (4.7)

Hàm hồi quy mẫu
ˆ ˆ ˆ ˆ
Yi = β1 + β 2 X 2,i + β3 X 3,i + e i (4.8)

(1) Kỳ vọng của sai số hồi quy bằng 0: E ( e i X 2,i , X 3,i ) = 0

(2) Không tự tương quan: cov( e i , e j ) = 0 , i≠j

(3) Phương sai đồng nhất: var( e i ) = σ 2

(4) Không có tương quan giữa sai số và từng Xm: cov( e i , X 2,i ) = cov( e i , X 3,i ) = 0
(5) Không có sự đa cộng tuyến hoàn hảo giữa X2 và X3.
(6) Dạng hàm của mô hình được xác định một cách đúng đắn.
Để thu được các tham số của mô hình ta thực hiên phương pháp bình phương be
nhất OLS

( )
n n 2

∑e
i =1
2
i =∑
i =1
ˆ ˆ ˆ
Yi − β1 − β 2 X 2,i − β 3 X 3,i => min

Từ đây xác định
ˆ ˆ ˆ
β1 = Y − β 2 X 2 − β 3 X 3 (4.10)

 n  n   n  n 
 ∑ y i x 2,i  ∑ x 2,i  −  ∑ y i x 3,i  ∑ x 2,i x 3,i 
β 2 =  i=1  i=1   i=1  i =1 
3
ˆ
2 (4.11)
 n
2 
n
2   n

 ∑ x 2 ,i  ∑ x 3,i  −  ∑ x 2,i x 3,i 
 i=1  i=1   i=1 

 n  n   n  n 
 ∑ y i x 3,i  ∑ x 2,i  −  ∑ y i x 2,i  ∑ x 2,i x 3,i 
β 3 =  i =1  i=1   i =1  i =1 
2
ˆ
2
 n
 n
  n

 ∑ x 2,i  ∑ x 2,i  −  ∑ x 2,i x 3,i 
 i =1  i =1   i=1 
2 3




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 18 GVHD: TS. LÊ
DÂN

Lưu ý Các tính chất phần dư trong mô hình này
n

(4) ∑e
i =1
i =0


(5) Các phần dư ei không tương quan với nhau X 2i và X 3i nghĩa là
n n

∑ ei X 2i =
i =1
∑e X
i =1
i 3i =0

n
ˆ
(6) Các phần dư ei không tương quan với Yi : ∑ e Yˆ
i =1
i i =0

2.2..3. Mô hình hồi quy K biến
ˆ ˆ ˆ ˆ ˆ
Từ mô hình hồi quy mẫu SRF : Yi = β 1 + β 2 X 2,i + β 3 X 3 ,i + ... + β k X k ,i

Ta có mô hình hôi quy : ˆ ˆ ˆ ˆ
Yi = β1 + β 2 X 2,i + β 3 X 3 ,i + ... + β k X k ,i +e i


Nói cụ thể hơn Y1 = β 1 + β 2x21 + …+ β kxk1 + ε 1

Y2 = β 1 + β 2x22 + …+ β kxk2 + ε 2

Y3 = β 1 + β 2x23 + …+ β kxk3 + ε 3

……………………………

Yn = β 1 + β 2x2n + …+ β kxkn + ε n




hay ˆ
Y = X β +e
trong đó
e1 
e 
e =   = Y - Xβ
2

....
 
e n 
các ước lượng OLS ta tìm được

( )
n n 2

∑e
i =1
2
i =∑
i =1
ˆ ˆ ˆ ˆ
Yi − β1 − β 2 X 2,i − β 3 X 3,i − βX ki => min


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 19 GVHD: TS. LÊ
DÂN

n

∑e
i =1
2
i là tổng bình phương các phần dư RSS




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 20 GVHD: TS. LÊ
DÂN

CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM
HỒI QUY


3.1 Phát hiện phương sai của sai số thay đổi


Như chúng ta đã biết việc phát hiện da phương sai của sai số thay đổi
rất khó .Do vậy để làm được điều này việc phân tích phần dư có ý nghĩa cực kỳ
quan trọng trong quá trình phát hiện phương sai của sai số thay đổi


3.1.1 Xem xét đồ thị
Đồ thị của sai số hồi quy , phần dư đối với giá trị của biến độc lập
X hoặc giá trị dự đoán Y^ sẽ xho ta biết liệu phương sai của sai số thay đổi hay
không .Phương sai của phần dư được chỉ ra bằng độ rộng của biểu đồ phân giải
của phần dư khi X tăng lên .Nếu độ rộng của biểu đồ rải của phần dư tăng lên
hoặc giảm đi khi X tăng thì giả thiết về phương sai hằng số có thể không thõa
mãn
2




1
σ




X
0

0 200 400 600 800 1000 1200 1400
n dư chu



n hoá,
Ph









-1




-2


Đồ thị phân tán phần dư ei theo Xi
Theo các đồ thị trên thì khi giá trị dự báo Y tăng (hoặc khi X tăng) thì phần dư có
xu hướng tăng, hay mô hình có phương sai của sai số thay đổi.


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 21 GVHD: TS. LÊ
DÂN

Lưu ý : Người ta có thể vẽ đồ thị phần dư bình phương đối với X hoặc Y




3.1.2 Kiểm định Park
Hàm đề nghị
Ln e2
i = ln σ i2 + β2 lnXi + vi
= β1 + β2 lnXi + vi
Trong đó
β 1 = ln δ 2

e2
i thu được từ hồi quy gốc

e2
i thu được từ hồi quy gốc .Tức từ hồi quy gốc ta thu được các phần dư ei


sau đó bình phương chúng được e2
i rồi lấy ln ei 2
Như vậy ta thực hiện kiểm định Park theo các bước sau
(1) Ươcs lượng hồi quy gốc ,cho dù có hoặc không tồn tại hiện tượng
phương sai của sai số thay đổi
(2) Từ hồi quy gốc thu được các phần dư e
i sau đó bình phương được

e2
i rồi đến lấy ln ei
(3) Tiến hành kiểm định nêu ở mục [4- 136 ] Bài giảng kinh tế lượng
PGS.TS NGYỄN QUANG ĐÔNG
3.1.3. Kiểm đinh Glejser
Kiểm đinh Glejser cũng tương tự như kiểm đinh Park .Sau khi thu được phần

dư ei từ hồi quy theo phương pháp bình phương nhỏ nhất . Kiểm đinh Glejser đề

nghị hồi quy giá trị tuyệt đối cua e , ei
i đối với biến Xi nào đó mà có thể kết

hợp chặt chaex với σ
2
i


Trong thực tế Glejser sử dụng các hàm sau




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 22 GVHD: TS. LÊ
DÂN


ei = β1 + β2 Xi + vi

ei = β1 + β2 Xi + vi

ei = β1 + β2 1/ Xi + vi

ei = β1 + β2 1/Xi + vi

ei = (β1 + β2Xi ) + vi

ei = ( β1 + β2X i2 ) + vi

3.1.4. Kiểm đinh While
Mô hình hồi quy
Yi = β1 + β 2 X 2,i + β 3 X 3,i + U i

Tiến hành kiểm định
(1) Theo phương phap bình phương nhỏ nhất OLS , ta thu được phần dư
tương ưng ei


(2) Ươcs lượng mô hình

e2i = β1 + β 2 X 2 + β 3 X 3 + β 4 X 22 + β 5 X 32 + β 6 X 2 X 3 + U i
(3) Từ các bước trên ta xác định được mô hình có phương sai của sai số thay
đổi hay không
3.1.5. Kiểm định Breusch-Paga
Xét hồi quy bội


Yi = β1 + β 2 X 2,i + β 3 X 3,i + ... + β k X k ,i +ε i

Trong (k-1) biến độc lập trên ta trích ra (p-1) biến làm biến độc lập cho một hồi
quy phụ. Trong hồi quy phụ này phần dư từ hồi quy mô hình(5.17) làm hồi quy
biến phụ thuộc.
Các dạng hồi quy phụ thường sử dụng là
e i2 = α1 + α 2 Z 2i + ⋅ ⋅ ⋅ + α p Z pi + δ i


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 23 GVHD: TS. LÊ
DÂN

e i = α 1 + α 2 Z 2i + ⋅ ⋅ ⋅ + α p Z pi + δ i

ln(e i2 ) = α1 + α 2 Z 2i + ⋅ ⋅ ⋅ + α p Z pi + δ i

Quy tắc quyết định
Nếu χ ( p −1,1−α ) ≤ nR .
2 2



mô hình có phương sai của sai số thay đổi và thực hiện kỹ thuật ước lượng mô
hình như sau:
Đối với kiểm định Breusch-Pagan
w i2 = α1 + α 2 Z 2i + ⋅ ⋅ ⋅ + α p Z pi
ˆ ˆ ˆ ˆ

Đối với kiểm định Glejser
w i2 = (α 1 + α 2 Z 2i + ⋅ ⋅ ⋅ + α p Z pi ) 2
ˆ ˆ ˆ ˆ

Đối với kiểm định Harvey-Godfrey
w i2 = exp(α1 + α 2 Z 2i + ⋅ ⋅ ⋅ + α p Z pi )
ˆ ˆ ˆ ˆ

Ta có w i = w i2 . Đến đây chúng ta có thể chuyển dạng hồi quy theo OLS thông
ˆ ˆ

thường sang hồi quy theo bình phương tối thiểu có trọng số WLS.


3.2 Phát hiện có sự tương quan
trong các công cụ phát hiên sự tương quan trong mô hình hồi quy ,việc phân tích

phần dư e i có ý nghĩa cực kỳ quan trọng trong quán trình phát hiện sự tương
quan
3.2.1.Phương pháp đồ thị
Sự tương quan trong các mô hình cổ điển gắn liền với các nhiễu tổng thể Ui
không quan sát được cái mà chúng ta quan sát được là phần dư ei thu được từ
phương pháp bình phương nhỏ nhất thong thường
Dù ei không hoàn toàn giống Ui nhưng sự xem xét trực tiếp thường gọi cho
ta manh mối nào đó về sự tương quan U .Trên thực tế sự xem xét trực quan về
ei hoặc ei2 có thể cho thong tin hữu ích về tự tương quan và tính không đồng
phương sai , sự không phù hợp của mô hình


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 24 GVHD: TS. LÊ
DÂN

Có những cách khác nhau để xem xét phần dư .Chúng ta có thể đơn thuần vẽ
đồ thị của chúng theo thơì gian




Phần





…………………………………………………….
………………………………………………………
……………………………………………………..


t
Đồ thị phần dư theo thời gian
Đồ thị phần dư theo thời gian ở trên không biểu thị một kiểu mẫu nào khi
thời gian tăng lên những phần dư như vậy hình như phân bố ít nhiều ngẫu nhiên
xung quanh trung bình của chúng


3.2.1 Phương phá kiểm định số lượng
a.Phương pháp kiểm định các đoạn mạch
Từ việc phân tích phần dư ei ta thu được một chuỗi các phần dư và đânhs đáu
theop tiêu thức phần dư am ,phần dư dương
- + + - - - - + + - + + + + - - + + + + + + + - - - - - - - - -+ + + +
- + ++-
Ta xác định tổng quan sát n = n1 + n2
Trong đó
n Tổng quan sát
n1 Số ký hiệu dương ( số phần dư dương )


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 25 GVHD: TS. LÊ
DÂN

n2 Số ký hiệu âm ( số phần dư âm )
Vậy từ đó tax ac định được yêu cầu bài toán
b.Kiểm định χ 2 với tính độc lập của các phần dư
Để kiểm định χ 2 với tính độc lập của phần dư ,ta sử dụng bảng tiếp
liên .Bảng tiếp liê-n mà chúng ta sử dụng tại đây gồm một số dòng và một số
cột .Cụ thể là bảng tiếp liên gồm 2 dòng , 2cootj .Các dòng tương ứng với các
phần dư dương tại( t )các cột tương ứng với các phần dư âm tại (t-1 ) .Trong

mỗi ô ta tính Aij và Eij
Trrong đó
Aij : Tần số thực tế ở ô (ij)

Eij : Tần số lý thuyết ở ô (ịj)

Từ bảng trên ta thiết lập được các phần dư ei
3.2.2. Phát hiện sự tồn tại của đa cộng tuyến
ESS RSS
Từ việc phân tích phần dư ei ta xây dụng được R 2 = = 1−
TSS TSS


n n
mà RSS = ∑ e i2 = ∑ (Y i
ˆ
− Yi ) 2
i =1 i =1


Do vậy nếu R 2 > 0.8 thì dâu s hiệu của đa cộng tuyến


3.3. Phân tích phần dư để kiểm tra các giả định trong
phân tích hồi qui tuyến tính.

Giả định của phân tích hồi qui tuyến tín:dựa vào một số giả định quan trọng
sau

(a) x là một biến số cố định hay fixed, (“cố định” ở đây có nghĩa là không có
sai sót ngẫu nhiên trong đo lường);

(b) ε i phân phối theo luật phân phối chuẩn;


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 26 GVHD: TS. LÊ
DÂN

(c) ε i có giá trị trung bình (mean) là 0;

(d) ε i có phương sai σ 2 cố định cho tất cả xi; và

(e) các giá trị liên tục của ε i không có liên hệ tương quan với nhau (nói cách
khác, ε 1 và ε 2 không có liên hệ với nhau).

Nếu các giả định này không được đáp ứng thì mô hình mà chúng ta ước tính
có vấn đề hợp lí (validity). Do đó, trước khi trình bày và diễn dịch mô hình trên,
chúng ta cần phải kiểm tra xem các giả định trên có đáp ứng được hay không. Trong
trường hợp này, giả định (a) không phải là vấn đề, vì độ tuổi không phải là một biến
số ngẫu nhiên, và không có sai số khi tính độ tuổi của một cá nhân.

Đối với các giả định (b) đến (e), cách kiểm tra đơn giản nhưng hữu hiệu nhất là

bằng cách xem xét mối liên hệ giữa Yˆi , X i và phần dư ei
ˆ
ei = Yi - Yi bằng những đồ thị tán xạ




Để kiểm tra các giả định trên, chúng ta có thể vẽ một loạt 4 đồ thị treân như
sau:


SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 27 GVHD: TS. LÊ
DÂN

ˆ
(a) Đồ thị bên trái dòng 1 vẽ phần dư ei và giá trị tiên đoán cholestero Yi Đồ
thị này cho thấy các giá trị phần dư tập chung quanh đường y = 0, cho nên giả định
(c), hay ei có giá trị trung bình 0, là có thể chấp nhận được.

(b) Đồ thị bên phải dòng 1 vẽ giá trị phần dư và giá trị kì vọng dựa vào phân
phối chuẩn. Chúng ta thấy các số phần dư tập trung rất gần các giá trị trên đường
chuẩn, và do đó, giả định (b), tức ε i phân phối theo luật phân phối chuẩn, cũng có
thể đáp ứng.

(c) Đồ thị bên trái dòng 2 vẽ căn số phần dư chuẩn ( standardizedresidual )
ˆ
và giá trị của Yi , đồ thị này cho thấy không có gì khác nhau giữa các số phân fduw

ˆ 2
chuẩn cho các giá trị Yi và do đó giả định (d ) ,tức ei có phương sai σ

Nói chung phân tích phần dư ,chúng ta có thể kết luận rằng mô hình có hồi quy
tuyến tính một cách hợp ly và dầy đủ hay không




SVTH: Lê Cao Nhuần
Đề án môn học: Nguyên Lý Thống Kê 28 GVHD: TS. LÊ
DÂN



PHỤ LỤC TÀI LIỆU THAM KHẢO


1. TS. Nguyễn Huy Thinh, Giáo trình lý thuyết thống kê, NXB Tài chính, 2001
2. PGS.PTS Tô Phi Phượng, Giáo trình lý thuyết thống kê, NXB Giáo dục, 1998
3.Nguyễn Hữu Hoè, Giáo trình nguyên lý thống kê, NXB Đại học và trung học
chuyên nghiệp Hà Nội, 1975
4.Chu Thế Mưu, Giáo trình nguyên lý thống kê, NXB Thống kê, 1986
5. PGS.TS ,Bài giảng kinh tế lượng ,NSB thống kê HÀ NỘI ,2006


[1] Guijarati (1988), Basic Econometrics, Mc Graw Hill Publishing, NewYork.
[2] Paul Newbold (1995), Statistics for Business& Economics, Fourth Edition,
Prentice-Hall International, Inc.
[3] Sabine Landau, Brian S.Everitt (2004), A handbook of Statistical Analyses
Using SPSS, Chapman & Hall/CRC Press LLC.
[4] Robert L.Mason, Richard F. Gunst, James L.Hess (2003), Statistical Design and
Analysis of Experiments With Application to Engineering and Science, 2rd, John
Wiley & Sons, Inc.
[5] John O.Rawlings, Sastry G. Pantula, David A. Dicckey (1998), Applied
Regression Analysis : A Research Tool, Second Edition, Springer – Verlag
NewYork, Inc.




SVTH: Lê Cao Nhuần
Đề thi vào lớp 10 môn Toán |  Đáp án đề thi tốt nghiệp |  Đề thi Đại học |  Đề thi thử đại học môn Hóa |  Mẫu đơn xin việc |  Bài tiểu luận mẫu |  Ôn thi cao học 2014 |  Nghiên cứu khoa học |  Lập kế hoạch kinh doanh |  Bảng cân đối kế toán |  Đề thi chứng chỉ Tin học |  Tư tưởng Hồ Chí Minh |  Đề thi chứng chỉ Tiếng anh
Theo dõi chúng tôi
Đồng bộ tài khoản