CHƯƠNG VI: PHÂN TÍCH HỒI QUY VÀ TƯƠNG QUAN
III
I
II
PHÂN TÍCH HỒI QUY TUYẾN TÍNH BỘI
PHÂN TÍCH HỒI QUY TUYẾN TÍNH ĐƠN
NHỮNG VẤN ĐỀ CHUNG VỀ PHÂN TÍCH HỒI QUY VÀ TƯƠNG QUAN
I. Những vấn đề chung về phân tích hồi quy và tương quan
Mối liên hệ của các hiện tượng kinh tế xã hội
1
Nhiệm vụ của phân tích hồi quy và tương quan
2
1. Mối liên hệ của các hiện tượng kinh tế xã hội
Liên hệ hàm số
Liên hệ tương quan
Liên hệ hàm số
• Khái niệm: liên hệ hàm số là mối liên hệ hoàn toàn
chặt chẽ
• Đặc điểm: Liên hệ được biểu hiện trên từng đơn vị
cá biệt
Liên hệ tương quan
• Khái niệm: liên hệ tương quan là mối liên hệ không
hoàn toàn chặt chẽ.
• Đặc điểm: Liên hệ không được biểu hiện trên từng
đơn vị cá biệt mà phải quan sát số lớn
2. Nhiệm vụ của phân tích hồi quy và tương quan
Xây dựng phương trình hồi quy.
Đánh giá trình độ chặt chẽ của mối liên hệ
II. Hồi quy – tương quan đơn
Xây dựng phương trình hồi quy
1
Đánh giá phương trình hồi quy
2
1. Phương trình hồi quy
Đường hồi quy lý thuyết: là đường điều chỉnh bù trừ các chênh
lệch ngẫu nhiên nêu ra mối liên hệ cơ bản của hiện tượng.
Phương trình hồi quy: là phương trình xác định vị trí của đường
y
hồi quy lý thuyết
Đường hồi quy lý thuyết
x
0
Phương trình hồi quy tổng thể
Y i
1 i
x i
0
Biến độc lập Nguyên nhân Biến giải thích Công cụ dự báo Ngoại sinh Tác nhân kích thích
Biến phụ thuộc Kết quả Biến được giải thích Dự báo Nội sinh Câu trả lời
Tham số tự do (hệ số chặn) Hệ số hồi quy (hệ số góc)
Ý nghĩa các tham số
• β0: phản ánh ảnh hưởng của các nguyên nhân khác
(ngoài nguyên nhân x) tới kết quả y
• β1: phản ánh ảnh hưởng trực tiếp của nguyên nhân x tới kết quả y. Cụ thể, khi x tăng thêm 1 đơn vị thì y thay đổi bình quân là β1 đơn vị
β1 > 0: x và y có mối liên hệ thuận (cùng chiều)
β1 < 0: x và y có mối liên hệ nghịch (ngược chiều)
Phương trình hồi quy mẫu
Với một mẫu ngẫu nhiên kích thước n, chúng ta có phương trình hồi quy mẫu như sau:
b 0
xb 1 i Ước lượng của tham số β1
ˆ y i Ước lượng của tham số β0
Giả thiết OLS
+ Giả thiết 1: Mô hình được ước lượng trên cơ sở mẫu ngẫu nhiên
+ Giả thiết 2: Kỳ vọng toán của sai số bằng không
+ Giả thiết 3: Sai số tuân theo quy luật phân bố chuẩn
+ Giả thiết 4: Phương sai của sai số bằng nhau (không đổi)
+ Giả thiết 5: Không có tương quan giữa các phần dư (không có tự tương quan)
+ Giả thiết 6: Giữa các biến độc lập không có tương quan tuyến tính hoàn hảo (đa cộng tuyến) - Đối với hồi quy bội.
Nội dung phương pháp OLS
Tìm các tham số sao cho tổng bình phương các chênh lệch giữa giá trị thực tế và giá trị lý thuyết của tiêu thức kết quả là nhỏ nhất. 2
S
y
(
)ˆ y i
i
min 2
S
y (
)
min
b 0
xb 1 i
i
(2
0)1)(
y i
b 0
xb . 1 i
.
(2
)(
0)
y i
b 0
xb . 1 i
x i
y i xy . i i
bn xb . . 0 1 i b xb 1 0 i
2 x i
S b 0 S b 1
Kiểm định hệ số hồi quy
• Giả thuyết:
0
H :0
j • Tiêu chuẩn kiểm định:
T
)
b j bse ( j
n
2
x
2
2 i
( bse
i
1)
n
2
)
.
( bse 0
n
2
x
1 n
x i
x
x
i
i
1
i
1
n
2
y
ˆ y
i
i
i
1
2
SSE 2 n
n
2
• Nếu H0 đúng thống kê T sẽ tuân theo quy luật phân phối
student với (n-2) bậc tự do.
Kiểm định hệ số hồi quy
Miền bác bỏ giả thuyết H0 (W)
- Hai phía: Tqs > t/2 ,(n-2)
- Vế phải: Tqs > t (n-2)
- Vế trái: Tqs < -t(n-2)
Ước lượng hệ số hồi quy
2
2
b
bse (
)
b
bse (
)
j
n t
2
j
j
j
n t
2
j
• Hai phía:
2
b
bse (
)
• Phái trái:
j
j
n t
j
2
• Phái phải:
b
( bse
)
j
n t
j
j
Hệ số xác định
y
n
SSE
1
i
n
2ˆ y y i i
2
SST
y
y i
n
i
1
2
SSR
y
ˆ y i
1
x
0
Hệ số xác định
n
2
Toàn bộ biến thiên của biến phụ thuộc
SST
y
y i
2
Biến thiên được giải thích bởi hồi quy
SSR
ˆ y
i
y
i
1 n 1 i
n
Biến thiên do phần dư
SSE
y i
2ˆ y i
i
1
Hệ số xác định
2 R
1
SSR SST
SSE SST
Phản ánh phần trăm thay đổi của biến phụ thuộc được giải thích bởi biến độc lập
SST = SSR + SSE
Kiểm định ý nghĩa mô hình
2
0
:
Mô
hình
không
ý có
nghia
Cặp giả thuyết
:
Mô
hình
ý có
0
Ho 1H
RHo : 2 : RH 1
Tiêu chuẩn kiểm định
F
nghia 2 nR 1
2 2 R
SSR SSE 2 n
Nếu H0 đúng, thống kê F sẽ tuân theo quy luật phân phối Fisher với bậc tự do (1, n-2)
Với mức ý nghĩa α, Miền bác bỏ giả thuyết H0 khi, F > fα(1.n-2)
Hệ số tương quan tuyến tính
Công thức tính
2
2 x i n
yx .
x i n
r
b 1
b 1
2
yx x y
x y
2 i
i
y n
y n
Hệ số tương quan tuyến tính
Tác dụng
- Xác định chiều hướng của mối liên hệ
- Đánh giá mức độ chặt chẽ của liên hệ tương quan
tuyến tính
Tính chất của hệ số tương quan
Liên hệ hàm số
Liên hệ hàm số
Không có mối liên hệ
-1 0 +1
Tính chất của hệ số tương quan
Y
R2 = 1,
r = +1
Y
R2 = 1,
r = -1 ^ Yi = b0 + b1Xi
^ Y i = b0 + b1Xi X
X
R2 < 1,
r <1
R2 = 0,
r = 0
Y
Y
^ Y i = b0 + b1Xi
^ Y i = b0 + b1Xi
X
X
Kiểm định hệ số tương quan
0
Cặp giả thuyết
Ho H
0
: 1 :
r
Tiêu chuẩn kiểm định
T
2
r 1 2 n Nếu H0 đúng, thống kê T sẽ tuân theo quy luật phân phối student với bậc tự
do (n-2)
T
nt 2 2
Với mức ý nghĩa α, Miền bác bỏ giả thuyết H0 khi
III. Hồi quy – tương quan bội
Xây dựng phương trình hồi quy
1
Đánh giá phương trình
2
Phương trình hồi quy tổng thể
....
x
Y i
x 11 i
0
x 22
i
k
ki
i
β0 - Tham số tự do (hệ số chặn)
βj (j=1-k) Hệ số hồi quy riêng
Ý nghĩa hệ số hồi quy
• βj: phản ánh ảnh hưởng thuần của nguyên nhân xj tới
kết quả y (khi các yếu tố khác không đổi). Cụ thể, khi xj tăng thêm 1 đơn vị thì y thay đổi trung bình là βj đơn vị
Phương trình hồi quy mẫu
ˆ y
.....
i
b 0
xb 11 i
xb 22
i
xb k
ki
Với một mẫu ngẫu nhiên kích thước n, chúng ta có phương trình hồi quy mẫu như sau:
bj: Ước lượng của tham số βj
Kiểm định hệ số hồi quy
0
• Giả thuyết:
H :0
j
T
• Tiêu chuẩn kiểm định:
)
b j bse ( j
• Nếu H0 đúng thống kê T sẽ tuân theo quy luật phân phối
student với (n-k-1) bậc tự do.
Kiểm định hệ số hồi quy
Miền bác bỏ giả thuyết H0 (W)
- Hai phía: Tqs > t/2 ,(n-k-1)
- Vế phải: Tqs > t (n-k-1)
- Vế trái: Tqs < -t(n-k-1)
Ước lượng hệ số hồi quy
• Hai phía:
b
bse (
)
b
bse (
)
j
t
kn 1 2
j
j
j
t
1 kn 2
j
kn
1
b
bse (
)
• Phái trái:
j
j
t
j
kn
1
b
( bse
)
• Phái phải:
j
t
j
j
Hệ số hồi quy chuẩn hoá
• Công thức:
Bêta
b
j
j
xj y
• Biểu hiện vai trò của từng biến độc lập tới biến thuộc
Hệ số xác định
n
2
Toàn bộ biến thiên của biến phụ thuộc
SST
y
y i
2
Biến thiên được giải thích bởi hồi quy
SSR
ˆ y
y
i
1 i n 1 i
n
SSE
Biến thiên do phần dư
y i
2ˆ y i
i
1
SST = SSR + SSE
Hệ số xác định
2 R
1
SSR SST
SSE SST
Phản ánh phần trăm thay đổi của biến phụ thuộc được giải thích bởi các biến độc lập
Hệ số xác định điều chỉnh
1(
)1
1
Hệ số xác định điều chỉnh
1
2 Radj
2 nR )( 1 kn
SSE kn 1 SST 1 n
Dùng để so sánh, đánh giá độ phù hợp của mô hình khi số lượng biến trong
mô hình hồi quy khác nhau
Khi k >1 thì R2 K càng lớn R2 R2
adj ≤ R2≤1 adj càng nhỏ so với R2 adj = 0
adj có thể âm, sẽ quy ước R2
Kiểm định ý nghĩa mô hình
2
0
Cặp giả thuyết
0
RHo : 2 RH : 1
2
Tiêu chuẩn kiểm định
F
knR 1 2 R 1 k
kn
1
SSR k SSE Nếu H0 đúng, thống kê F sẽ tuân theo quy luật phân phối Fisher với bậc tự do
(k, n-k-1)
Với mức ý nghĩa α, Miền bác bỏ giả thuyết H0 khi, F > fα(k, n-k-1)
Hệ số tương quan chung
2
Công thức
R
1
R
SSE SST
SSR SST
Ứng dụng SPSS trong phân tích HQ
Analyze > Regression > Linear…
Đưa biến phụ thuộc sang Dependent
Đưa các biến độc lập sang Independent(s)
37
