Bài giảng Hồi quy tuyến tính - PGS. TS. Ngô Hoàng Long

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:21

Thêm vào BST

Báo xấu

12
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Hồi quy tuyến tính gồm có những nội dung chính sau: Hàm hợp lý, ước lượng bình phương tối thiểu, ước lượng hợp lý cực đại, ước lượng bình phương tối thiểu, tỉ lệ độ biến động được giải thích, phân phối của các ước lượng, khoảng dự báo. Mời các bạn cùng tham khảo để biết thêm chi tiết!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Hồi quy tuyến tính - PGS. TS. Ngô Hoàng Long

HỒI QUY TUYẾN TÍNH PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội 2018 PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 1 / 21
Mô hình Giả sử ta có một cặp bnn (X , Y ) và bnn Y là phụ thuộc tuyến tính với X và một nhiễu ngẫu nhiên Y = f (X ) + = β0 + β1 X + , nhiễu có phân phối chuẩn N (0, σ 2 ). X được gọi là biến độc lập, Y là biến phụ thuộc hay biến đáp ứng hàm f (x) = β0 + β1 x là hàm hồi quy tuyến tính. PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 2 / 21
Mẫu ngẫu nhiên (X1 , Y1 ), . . . , (Xn , Yn ) quan sát được từ cặp bnn (X , Y ), khi đó Yi = β0 + β1 Xi + i , với 1, . . . , n là dãy bnn độc lập có cùng phân phối chuẩn N (0, σ 2 ). Ta có ba tham số chưa biết là β0 , β1 và σ 2 và ta sẽ dựa vào mẫu quan sát được (X1 , Y1 ), . . . , (Xn , Yn ) để ước lượng chúng. PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 3 / 21
Ví dụ Chiều cao của cha và chiều cao của con Số lượng trẻ sinh ra theo từng năm Thời gian học và điểm số Điểm trung bình đầu vào và điểm trung bình đầu ra PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 4 / 21
Hàm hợp lý Các đại lượng X1 , . . . , Xn có thể là ngẫu nhiên hoặc tất định. Tuy nhiên trong chương này ta sẽ giả sử X1 , . . . , Xn là các đại lượng không ngẫu nhiên. Khi đó Yi là bnn có phân phối chuẩn N (f (Xi ), σ 2 ). Do đó hàm hợp lý của dãy (Y1 , . . . , Yn ) là 1 n 2 L(Y1 , . . . , Yn ; β0 , β1 , σ 2 ) = (2πσ)−n/2 e − 2σ2 i=1 (Yi −f (Xi )) . ˆ ˆ ˆ Ta đi tìm β0 , β1 , σ 2 làm cực đại hàm hợp lý L. PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 5 / 21
Ước lượng bình phương tối thiểu ˆ ˆ Dễ thấy (β0 , β1 ) cũng là giá trị của (β0 , β1 ) sao cho biểu thức n ∗ L (β0 , β1 ) := (Yi − β0 − β1 Xi )2 i=1 ˆ ˆ đạt giá trị nhỏ nhất, tức là β0 , β1 là nghiệm của hệ  ∗  ∂L = − n 2(Yi − (β0 + β1 Xi )) = 0  i=1 ∂β0 ∂L∗   = − n 2(Yi − (β0 + β1 Xi ))Xi = 0. i=1 ∂β1 PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 6 / 21
Ước lượng hợp lý cực đại ≡ Ước lượng bình phương tối thiểu Đặt ¯ 1 ¯ 1 1 1 X = Xi , Y = Yi , X2 = Xi2 , XY = Xi Yi , n n n n i ta giải được ¯¯ XY − X Y ˆ ¯ ˆ ¯ β0 = Y − β1 X , và ˆ β1 = . ¯ X2 − X2 Cuối cùng ta tìm được ước lượng hợp lý cực đại cho σ 2 là n 1 ˆ ˆ σ2 = ˆ (Yi − β0 − β1 Xi )2 . n i=1 PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 7 / 21
Tỉ lệ độ biến động được giải thích ˆ ˆ ˆ Đặt Yi = β0 + β1 Xi và n ˆ i=1 (Yi − Yi )2 R2 = 1 − n ¯ . i=1 (Yi − Y )2 R 2 thường được coi là tỉ lệ của biến động trong dữ liệu được giải thích bởi mô hình tuyến tính. R 2 càng cao thì mô hình càng phù hợp với dữ liệu. PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 8 / 21
Phân phối của các ước lượng Mệnh đề 1 ˆ ˆ Véc tơ (β0 , β1 ) có phân phối chuẩn với trung bình (β0 , β1 ) và ma trận hiệp phương sai σ2 X2 −X¯ Σ= , 2 ¯ với σx = X 2 − X 2 . nσx2 ¯ −X 1 2 ˆ ˆ ˆ σ 2 độc lập với β0 , β1 . nˆ 2 σ 3 có phân phối χ2 với n − 2 bậc tự do. n−2 σ2 PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 9 / 21
Ước lượng khoảng cho σ 2 nˆ 2 σ có phân phối χ2 nên nếu chọn cα/2,n−2 , c1−α/2,n−2 sao cho n−2 2 2 σ2 α P[χ2 < c1−α/2,n−2 ] = P[χ2 > cα/2,n−2 ] = n−2 2 n−2 2 , 2 thì nˆ 2 σ nˆ 2 σ P 2 ≤ σ2 ≤ 2 = 1 − α. cα/2,n−2 c1−α/2,n−2 Do đo ta thu được khoảng ước lượng của σ 2 với độ tin cậy 1 − α là nˆ 2 σ nˆ 2 σ 2 ; 2 . cα/2,n−2 c1−α/2,n−2 PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 10 / 21
Ước lượng khoảng cho β1 2 nσx ˆ nˆ 2 σ (β1 − β1 ) ∼ N (0, 1) và ∼ χ2 n−2 σ2 σ2 ˆ và β1 độc lập với σ 2 nên ˆ 2 nσx ˆ σ2 (β1 − β1 ) 2 (n − 2)σx ˆ = (β1 − β1 ) 1 nˆ 2 σ σ2 ˆ n−2 σ 2 có phân phối Student tn−2 với n − 2 bậc tự do. Chọn tα/2,n−2 sao cho P[tn−2 > tα/2,n−2 ] = α/2 ta được khoảng ước lượng cho β1 với độ tin cậy 1 − α là ˆ σ2 ˆ ˆ σ2 ˆ β1 − tα/2,n−2 2 ≤ β1 ≤ β1 + tα/2,n−2 2 . (n − 2)σx (n − 2)σx PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 11 / 21
Ước lượng khoảng cho β0 ˆ β0 − β0 1 nˆ 2 σ ˆ β0 − β0 : = 1 ¯ X2 n − 2 σ2 σ2 ˆ ¯ X2 + 2 σ2 n−2 1+ 2 σx n nσx có phân phối Student với n − 2 bậc tự do. Vậy nên khoảng ước lượng của β0 với độ tin cậy 1 − α là σ2 ˆ ¯ X2 σ2 ˆ ¯ X2 ˆ β0 − tα/2,n−2 1+ 2 ˆ ≤ β0 ≤ β0 + tα/2,n−2 1+ 2 . n−2 σx n−2 σx PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 12 / 21
Khoảng dự báo Giả sử ta có một quan sát mới X mà giá trị tương ứng Y của nó là chưa biết và ta muốn xác định Y hay tìm một khoảng ước lượng cho Y . Theo mô hình hồi quy Y = β0 + β1 X + ˆ ˆ ˆ ta chọn Y = β0 + β1 X là giá trị dự báo của Y . Mệnh đề Biến ngẫu nhiên ˆ Y −Y σ2 ˆ ¯ (X −X )2 n−2 n+1+ 2 σx có phân phối Student tn−2 với n − 2 bậc tự do. PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 13 / 21
Khoảng ước lượng của Y với độ tin cậy 1 − α là σ2 ˆ ¯ (X − X )2 σ2 ˆ ¯ (X − X )2 ˆ Y −tα/2,n−2 n+1+ ˆ ; Y +tα/2,n−2 n+1+ n−2 2 σx n−2 2 σx PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 14 / 21
Ví dụ X Y 2 5 3 7 4 9 5 9 3 8 1 Hãy ước lượng các tham số β0 , β1 , σ từ mô hình. 2 Tìm khoảng ước lượng 95% cho các tham số trên. 3 Cho X = 4.5, hãy tìm khoảng ước lượng của Y với độ tin cậy 95%. PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 15 / 21
Bảng tính 1 PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 16 / 21
Bảng tính 2 - Khoảng ước lượng 95% cho Y khi X = 4.5 PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 17 / 21
Biểu đồ PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 18 / 21
Kết quả Excel Data -> Data Analysis -> Regression PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 19 / 21
PGS. TS. Ngô Hoàng Long Trường Đại học Sư phạm Hà Nội HỒI QUY TUYẾN TÍNH 2018 20 / 21