intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE

Luận văn Thạc sĩ Khoa học: Hồi quy bội tuyến tính hồi quy phi tuyến và ứng dụng

Chia sẻ: Na Na | Ngày: | Loại File: PDF | Số trang:108

190
lượt xem
42
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quy tuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng dụng vào các mô hình hữu ích trong thực tế. Kết cấu luận văn gồm 3 chương: Chương 1 - Hồi quy bội tuyến tính, Chương 2 - Hồi quy phi tuyến và mô hình mạng nơ ron, Chương 3 - Ứng dụng.

Chủ đề:
Lưu

Nội dung Text: Luận văn Thạc sĩ Khoa học: Hồi quy bội tuyến tính hồi quy phi tuyến và ứng dụng

  1. ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - NĂM 2015
  2. ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG Chuyên ngành: LTXS & TKT Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học: GS. TSKH. ĐẶNG HÙNG THẮNG HÀ NỘI - NĂM 2015
  3. MỞ ĐẦU Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhất trong các phương pháp thống kê. Hiện nay, các mô hình hồi quy được sử dụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật và xã hội, y tế, khoa học và sinh học. . . ..Các mô hình hồi quy rất đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến. Các loại mô hình gồm nhiều dạng nhỏ khá phức tạp. Ứng dụng thành công của các mô hình đòi hỏi một sự hiểu biết sâu về cả lý thuyết cơ bản và những vấn đề thiết thực mà đang gặp phải trong việc sử dụng các mô hình trong các tình huống thực tế cuộc sống. Anon từng viết "Cho con người 3 vũ khí: hệ số tương quan, hồi quy tuyến tính và một cây bút, con người sẽ sử dụng cả 3". Là một giảng viên trường cao đẳng, tôi muốn nghiên cứu sâu hơn về hồi quy tuyến tính và hồi quy phi tuyến nhằm nâng cao chuyên môn phục vụ cho quá trình giảng dạy, vậy nên tôi đã chọn đề tài làm luận văn thạc sĩ của mình là: "Hồi quy bội tuyến tính Hồi quy phi tuyến và ứng dụng" Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quy tuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng dụng vào các mô hình hữu ích trong thực tế. Bản luận văn được chia làm 3 chương: Chương 1: Hồi quy bội tuyến tính Trình bày các mô hình hồi quy bội tuyến tính, các ước lượng hồi quy bội và các phân tích về các ước lượng hồi quy đó. 1
  4. 2 Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron Chương này trình bày một số mô hình hồi quy phi tuyến thường gặp, các ước lượng của mô hình và việc phân tích, xây dựng chẩn đoán mô hình. Chương 3: Ứng Dụng Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính và hồi quy phi tuyến ngoài thực tế. Trong mỗi ứng dụng có nhấn mạnh đến việc xây dựng mô hình, ước lượng tham số và đánh giá mô hình. Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan và chủ quan, nên trong quá trình chọn lọc tư liệu và trình bày nội dung khó tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận được những ý kiến chỉ bảo của thầy cô, sự góp ý chân thành của các bạn học viên để luận văn được hoàn thiện hơn.
  5. Lời cảm ơn Tôi xin được bày tỏ lòng kính trọng và lòng biết ơn sâu sắc đến GS. TSKH Đặng Hùng Thắng, người thầy đã tận tình giảng dạy, truyền thụ những kiến thức bổ ích và tạo điều kiện để tôi hoàn thành luận văn này. Thầy đã dành nhiều thời gian hướng dẫn cũng như giải đáp các thắc mắc của tôi trong suốt quá trình tôi thực hiện đề tài. Tôi xin gửi lời cảm ơn chân thành tới các thầy cô Khoa Toán - Cơ - Tin học, Phòng sau đại học Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội; các thầy cô đã tham gia giảng dạy khóa cao học 2013 -2015; Ban giám hiệu và các đồng nghiệp trường Cao Đẳng Kinh Tế Kỹ Thuật Thương Mại Hà Nội đã tạo điều kiện thuận lợi cho tôi hoàn thành luận văn của mình. Cuối cùng, tôi xin chân thành cảm ơn gia đình đã luôn động viên tôi trong suốt quá trình học tập và nghiên cứu khoa học. Hà Nội, tháng 12 năm 2015 Học viên Phạm Thị Hương 3
  6. Mục lục 1 HỒI QUY BỘI TUYẾN TÍNH 6 1.1 Nhắc lại hồi quy đơn tuyến tính . . . . . . . . . . . . . . . . . . . 6 1.2 Các mô hình hồi quy bội . . . . . . . . . . . . . . . . . . . . . . . . 13 1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo . . . . . . . . 13 1.2.2 Mô hình bậc nhất với hai biến dự báo . . . . . . . . . . . . 14 1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo . . . . . . 17 1.2.4 Mô hình hồi quy tuyến tính tổng quát . . . . . . . . . . . . 17 1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát . . . . . 23 1.4 Ước lượng các hệ số hồi quy . . . . . . . . . . . . . . . . . . . . . . 25 1.5 Ước lượng mẫu và phần dư . . . . . . . . . . . . . . . . . . . . . . . 26 1.6 Các kết quả phân tích phương sai . . . . . . . . . . . . . . . . . . . 26 1.7 Các kết luận về các tham số hồi quy . . . . . . . . . . . . . . . . . 30 1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới . . . . . . 31 1.9 Chẩn đoán và biện pháp khắc phục . . . . . . . . . . . . . . . . . . 35 2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 42 2.1 Mô hình hồi quy tuyến tính và phi tuyến . . . . . . . . . . . . . . 42 2.2 Ước lượng các tham số hồi quy . . . . . . . . . . . . . . . . . . . . 47 2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến . . . . . 48 2.3.1 Nghiệm của phương trình chuẩn . . . . . . . . . . . . . . . 49 2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton . . . 50 2.3.3 Các thủ tục tìm kiếm trực tiếp khác . . . . . . . . . . . . . 55 2.4 Xây dựng và chẩn đoán mô hình . . . . . . . . . . . . . . . . . . . 56 2.5 Các kết luận về tham số hồi quy phi tuyến . . . . . . . . . . . . . 57 2.5.1 Ước lượng phương sai sai số . . . . . . . . . . . . . . . . . . 57 2.5.2 Định lí mẫu lớn . . . . . . . . . . . . . . . . . . . . . . . . . 57 2.5.3 Khi nào định lý mẫu lớn dùng được? . . . . . . . . . . . . . 58 4
  7. Luận văn thạc sỹ khoa học Phạm Thị Hương 2.5.4 Biện pháp khắc phục hậu quả. . . . . . . . . . . . . . . . . 60 2.5.5 Khoảng ước lượng của γk . . . . . . . . . . . . . . . . . . . 60 2.5.6 Khoảng tin cậy đồng thời cho một số γk . . . . . . . . . . . 61 2.5.7 Kiểm tra tính liên quan của một tham số γk . . . . . . . . 61 2.5.8 Kiểm định đồng thời một số γk . . . . . . . . . . . . . . . . 61 2.6 Giới thiệu về mô hình mạng Nơ ron . . . . . . . . . . . . . . . . . 62 2.6.1 Mô hình mạng Nơ ron . . . . . . . . . . . . . . . . . . . . . 62 2.6.2 Mạng đại diện . . . . . . . . . . . . . . . . . . . . . . . . . . 65 2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính. . . 67 2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized . . . . 68 2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron . . . . . . 69 3 Ứng dụng 71 3.1 Ứng dụng 1: Dự báo doanh số bán hàng . . . . . . . . . . . . . . . 71 3.1.1 Đặt bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 3.1.2 Các tính toán cơ bản . . . . . . . . . . . . . . . . . . . . . . 73 3.1.3 Ước lượng hàm hồi quy . . . . . . . . . . . . . . . . . . . . 75 3.1.4 Các ước lượng mẫu và phần dư . . . . . . . . . . . . . . . . 76 3.1.5 Phân tích sự phù hợp của mô hình . . . . . . . . . . . . . . 77 3.1.6 Phân tích phương sai . . . . . . . . . . . . . . . . . . . . . . 79 3.1.7 Ước lượng các tham số hồi quy . . . . . . . . . . . . . . . . 81 3.1.8 Ước lượng trung bình đáp ứng . . . . . . . . . . . . . . . . 82 3.1.9 Giới hạn dự báo cho các quan sát mới . . . . . . . . . . . . 83 3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi xuất viện . . . . . . 84 3.3 Ứng dụng 3: Đường cong học tập . . . . . . . . . . . . . . . . . . . 95 3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim . . . . . . . . . . . . . . . . . 99 KẾT LUẬN 105 Tài liệu tham khảo 106 5
  8. Chương 1 HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.1.1 Mô hình dạng chuẩn Xét mô hình hồi quy đơn tuyến tính (còn gọi là hồi quy tuyến tính đơn hay gọi tắt là hồi quy đơn) với một biến dự báo và hàm hồi quy là tuyến tính. Mô hình được xây dựng như sau: Y i = β0 + β1 X i + εi (1.1) Trong đó: Yi : Giá trị biến đáp ứng trong thử nghiệm thứ i β0 , β1 : Tham số Xi : Hằng số, giá trị biến dự báo trong thử nghiệm thứ i εi : Sai số ngẫu nhiên với trung bình E{εi } = 0; phương sai σ 2 {εi } = σ 2 ; εi và εj không tương quan. Mô hình hồi quy (1.1) được gọi là đơn, tuyến tính với các tham số và tuyến tính với biến dự báo. "Đơn" ở đây là chỉ một biến dự báo. 1.1.2 Các đặc trưng quan trọng của mô hình 1. Giá trị đáp ứng Yi trong thử nghiệm thứ i là tổng của hai thành phần: (1) điều kiện hằng số β0 + β1 Xi và (2) là điều kiện ngẫu nhiên εi . Do đó, Yi là biến ngẫu nhiên. 2. Do E{εi } = 0 nên E{Yi } = β0 + β1 Xi (1.2) 6
  9. Luận văn thạc sỹ khoa học Phạm Thị Hương Vậy hàm hồi quy cho mô hình (1.1) là: E{Y } = β0 + β1 X (1.3) 3. Giá trị đáp ứng Yi trong thử nghiệm thứ i sai khác với giá trị hàm hồi quy một lượng là sai số εi . 4. Sai số εi được giả định là có phương sai không đổi σ 2 nên đáp ứng Yi cũng có phương sai không đổi: σ 2 {Yi } = σ 2 (1.4) Do vậy, mô hình hồi quy (1.1) được giả định rằng phân phối xác suất của Y có cùng phương sai σ 2 . 5. Các sai số được giả định là không tương quan. Do εi và εj là không tương quan nên đáp ứng Yi và Yj cũng không tương quan. 6. Tóm lại, mô hình (1.1) chỉ ra rằng đáp ứng Yi có phân phối xác suất mà trung bình của nó là E{Yi } = β0 + β1 Xi và phương sai của nó là σ 2 và là như nhau với mọi giá trị của X. Hơn nữa, hai giá trị đáp ứng Yi và Yj là không tương quan. 1.1.3 Dạng biến đổi của mô hình hồi quy Đôi khi mô hình hồi quy (1.1) được viết dưới dạng khác. Đặt X0 là hằng số có giá trị bằng 1. Khi đó mô hình (1.1) có thể được viết như sau: Yi = β0 X0 + β1 Xi + εi X0 ≡ 1 (1.5) ở dạng này ứng với mỗi giá trị biến X đều có một hệ số hồi quy. Phép biến đổi sau được dùng cho độ lệch của biến dự báo Xi − X¯ thay cho Xi . Từ (1.1) chúng ta có thể viết: ¯ + β1 X Yi = β0 + β1 (Xi − X) ¯ + εi ¯ + β1 (Xi − X) = (β0 + β1 X) ¯ + εi = β0∗ + β1 (Xi − X) ¯ + εi 7
  10. Luận văn thạc sỹ khoa học Phạm Thị Hương Do vậy dạng mô hình biến đổi là: Yi = β0∗ + β1 (Xi − X) ¯ + εi (1.6) trong đó: β0∗ = β1 X ¯ (1.6a) 1.1.4 Ước lượng hàm hồi quy Các dữ liệu quan sát hoặc thí nghiệm được sử dụng cho việc ước lượng các tham số của hàm hồi quy bao gồm các quan sát của biến dự báo X và biến đáp ứng Y. Với mỗi thử nghiệm, có một giá trị của quan sát X tương ứng một giá trị quan sát Y. Chúng ta biểu diễn các quan sát (X, Y ) cho thử nghiệm thứ nhất là (X1 , Y1 ), cho thử nghiệm thứ hai là (X2 , Y2 ) và tổng quát cho thử nghiệm thứ i là (Xi , Yi ) trong đó i = 1, 2, . . . , n. Phương pháp bình phương cực tiểu Để tìm các ước lượng "tốt" cho các tham số hồi quy β0 và β1 thường dùng phương pháp bình phương cực tiểu. Đối với các quan sát (Xi , Yi ), phương pháp bình phương cực tiểu xem xét độ lệch của Yi với kì vọng của nó: Yi − (β0 + β1 Xi ) (1.7) Phương pháp này đòi hỏi xem xét tổng của n độ lệch bình phương. Tổng này được gọi là hàm tiêu chuẩn Q: n X Q= (Yi − β0 − β1 Xi )2 (1.8) i=1 Theo phương pháp bình phương cực tiểu, các ước lượng của β0 và β1 tương ứng là b0 và b1 làm cực tiểu hóa hàm tiêu chuẩn Q đối với các mẫu quan sát (X1 , Y1 ), (X2 , Y2 ), . . . , (Xn , Yn ) đưa ra. Các ước lượng b0 và b1 thỏa mãn hàm tiêu chuẩn bình phương cực tiểu có thể được xác định bằng hai cách: 1. Các thủ tục tìm kiếm số có thể được sử dụng ước lượng một cách có hệ thống các ước lượng b0 và b1 khác nhau cho tới khi tìm được giá trị cực tiểu 8
  11. Luận văn thạc sỹ khoa học Phạm Thị Hương hàm tiêu chuẩn Q. 2. Các thủ tục phân tích thường được sử dụng để tìm các giá trị b0 và b1 mà cực tiểu hóa hàm Q. Phép phân tích gần đúng được thực hiện khi mô hình hồi quy không quá phức tạp. Khi áp dụng phân tích gần đúng đối với mô hình (1.1), các giá trị ước lượng b0 và b1 cực tiểu hóa hàm Q thỏa mãn các phương trình sau: X X Yi =nb0 + b1 Xi X X X (1.9) Xi Yi =b0 X i + b1 Xi2 Các phương trình (1.9) được gọi là phương trình chuẩn; b0 và b1 được gọi là các ước lượng điểm của β0 và β1 . Từ các phương trình chuẩn (1.9) ta có: ¯ i − Y¯ ) P (Xi − X)(Y b1 = P ¯ 2 (Xi − X) (1.10) 1  X X  b0 = Y i − b1 Xi = Y¯ − b1 X ¯ n Trong đó, X¯ và Y¯ là các giá trị trung bình của các quan sát Xi và Yi . Tính chất của các ước lượng bình phương cực tiểu: Định lí 1.1.1. (Gauss-Markov): Với các điều kiện của mô hình hồi quy (1.1), các ước lượng bình phương cực tiểu b0 và b1 trong (1.10) là không chệch và có phương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch khác. Theo định lí ta thấy: E{b0 } = β0 E{b1 } = β1 Hơn nữa, định lí cũng chỉ ra rằng các ước lượng b0 và b1 là chính xác hơn bất kì ước lượng nào khác trong lớp các ước lượng không chệch mà là hàm tuyến tính của các quan sát Y1 , . . . , Yn . Ví dụ, từ (1.10) ta có: ¯ i − Y¯ ) P (Xi − X)(Y b1 = P ¯ 2 (Xi − X) 9
  12. Luận văn thạc sỹ khoa học Phạm Thị Hương là hàm tuyến tính đối với Yi . Ước lượng điểm của trung bình đáp ứng Từ các ước lượng b0 và b1 của các tham số trong hàm hồi quy (1.3): E{Y } = β0 + β1 X ta ước lượng hàm hồi quy như sau: Yˆ = b0 + b1 X (1.11) với Yˆ là giá trị ước lượng của hàm hồi quy ứng với giá trị X của biến dự báo. Gọi giá trị của biến đáp ứng là đáp ứng và E{Y } là trung bình đáp ứng nên trung bình đáp ứng là trung bình phân phối xác suất của Y ứng với giá trị biến dự báo X. Yˆ là ước lượng điểm của trung bình đáp ứng khi giá trị biến dự báo là X. Định lí Gauss-Markov chỉ ra rằng Yˆ là ước lượng không chệch của E{Y } và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch. Ta gọi Yˆi : Yˆi = b0 + b1 Xi i = 1, . . . , n (1.12) là ước lượng mẫu cho thử nghiệm thứ i. Từ mô hình biến đổi (1.6) : Yi = β0∗ + β1 (Xi − X) ¯ +ε b1 là ước lượng bình phương cực tiểu của β1 . Khi đó, b∗0 là ước lượng bình phương cực tiểu của β0∗ được xác định như sau: b∗0 = b0 + b1 X ¯ = (Y¯ − b1 X) ¯ + b1 X ¯ = Y¯ (1.13) Do đó, ước lượng mẫu cho mô hình hồi quy biến đổi (1.6) là: Yˆ = Y¯ + b1 (X − X) ¯ (1.14) Khi đó, phần dư thứ i là sự khác biệt giữa giá trị quan sát Yi và ước lượng mẫu Yˆi , được kí hiệu là ei và được định nghĩa một cách tổng quát như sau: ei = Yi − Yˆi (1.15) 10
  13. Luận văn thạc sỹ khoa học Phạm Thị Hương Tính chất của đường hồi quy mẫu Đường hồi quy ước lượng (1.11) có một số tính chất quan trọng sau: 1. Tổng phần dư bằng 0: n X ei = 0 (1.16) i=1 e2i , là nhỏ nhất. P 2. Tổng bình phương phần dư, 3. Tổng các giá trị quan sát Yi bằng tổng ước lượng mẫu Yˆi : X X Yi = Yˆi (1.17) 4. Tổng các phần dư có trọng số bằng 0 khi trọng số của nó trong thử nghiệm thứ i là giá trị biến dự báo: X Xi ei = 0 (1.18) 5. Tổng phần dư có trọng số bằng 0 khi trọng số của nó trong thử nghiệm thứ i là ước lượng mẫu của biến đáp ứng: X Yˆi ei = 0 (1.19) ¯ Y¯ ). 6. Đường hồi quy luôn luôn đi qua điểm (X, 1.1.5 Ước lượng phương sai sai số σ 2 Đám đông duy nhất: Single population. Như chúng ta biết, phương sai σ 2 của đám đông duy nhất được ước lượng bởi phương sai mẫu s2 . Để có được phương sai mẫu s2 , ta xem xét độ lệch giữa Yi và trung bình ước lượng Y¯ , bình phương độ lệch đó, và lấy tổng bình phương các độ lệch: X n (Yi − Y¯ )2 i=1 Tổng này được gọi là tổng bình phương. Sau đó lấy tổng bình phương chia cho bậc tự do ứng với nó. Ở đây bậc tự do đó là n − 1 vì một bậc tự do bị mất 11
  14. Luận văn thạc sỹ khoa học Phạm Thị Hương do việc sử dụng Y¯ như là một ước lượng của trung bình đám đông µ. Khi đó, ta có: Pn ¯ 2 2 i=1 (Yi − Y ) s = n−1 là ước lượng không chệch của phương sai σ 2 . Mô hình hồi quy. Một cách logic để phát triển ước lượng σ 2 cho mô hình hồi quy là tương tự như cho đám đông duy nhất. Phương sai của mỗi quan sát Yi là σ 2 và giống với phương sai sai số εi . Cần tính lại tổng các độ lệch bình phương, nhưng lúc này Yi có phân phối xác suất khác nhau với các trung bình khác nhau phụ thuộc vào giá trị của Xi . Do vậy, độ lệch của quan sát Yi phải được tính toán quanh trung bình ước lượng Yˆ . Do đó, độ lệch chính là phần dư: Yi − Yˆi = ei và tổng bình phương, kí hiệu là SSE như sau: n X n X SSE = (Yi − Y¯ )2 = e2i (1.20) i=1 i=1 trong đó, SSE là tổng bình phương sai số hay tổng bình phương phần dư. Tổng bình phương SSE có n − 2 bậc tự do. Hai bậc tự do bị mất vì cả β0 và β1 có ước lượng trong ước lượng trung bình Yˆi . Vì vậy, trung bình tổng bình phương, kí hiệu là MSE hay s2 là: Pn ¯ )2 Pn 2 SSE (Y i − Y i=1 ei s2 = M SE = = i=1 = (1.21) n−2 n−2 n−2 ở đây, MSE là trung bình bình phương sai số hay trung bình bình phương phần dư. MSE là ước lượng không chệch của σ 2 đối với mô hình hồi quy (1.1) E{M SE} = σ 2 (1.22) √ Và ước lượng của độ lệch chuẩn đơn giản là s = M SE . 12
  15. Luận văn thạc sỹ khoa học Phạm Thị Hương 1.2 Các mô hình hồi quy bội 1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một số lượng các biến dự báo. Ta xét một mô hình mà biến đáp ứng là doanh thu của một công ty và biến dự báo được quan tâm bao gồm chi phí cho quảng cảo và lương trả cho nhân viên tiếp thị. Một mô hình khác mà biến đáp ứng là lương thu nhập của mỗi cá nhân và các biến dự báo liên quan là giới tính, Tuổi, số con phải nuôi, trình độ học vấn. Mặt khác, khi chúng ta nghiên cứu những đứa trẻ thấp lùn thì biến đáp ứng là mức hormon lớn dần trong huyết tương, và các biến dự báo gồm giới tính, tuổi, và các thông số cơ thể khác. Trong tất cả các ví dụ này, một biến dự báo đơn lẻ trong mô hình không cung cấp sự mô tả đầy đủ vì một số lượng các biến dự báo chìa khóa tác động đến biến đáp ứng theo các cách đặc biệt và quan trọng. Hơn nữa, trong những tình huống này, chúng ta thường thấy rằng các dự báo của biến đáp ứng dựa vào mô hình chỉ có một biến dự báo riêng lẻ là việc sử dụng không chính xác. Vì vậy các mô hình hồi quy bội tuyến tính (còn gọi là hồi quy tuyến tính bội hay gọi tắt là hồi quy bội) được đưa ra. Trong mỗi ví dụ vừa đề cập, sự phân tích đều dựa trên dữ liệu quan sát vì các biến dự báo không được điều chỉnh, thường thì vì chúng không dễ để điều chỉnh trực tiếp. Phân tích hồi quy bội cũng rất hữu ích trong các trường hợp thí nghiệm mà người làm thí nghiệm có thể điều chỉnh các biến dự báo. Một người làm thí nghiệm sẽ muốn điều tra một số lượng các biến dự báo cùng một lúc vì hầu hết luôn luôn nhiều hơn một biến dự báo chìa khóa ảnh hưởng đến biến đáp ứng. Ví dụ, trong nghiên cứu về năng suất của các đội làm việc, một người làm thí nghiệm có thể muốn điều chỉnh trực tiếp cả quy mô của đội và mức tiền thưởng. Tương tự như vậy, khi nghiên cứu về phản ứng của một loại thuốc, người thử nghiệm có thể điều chỉnh cả liều lượng của thuốc và phương pháp quản lý. Các mô hình hồi quy bội tuyến tính mà chúng ta mô tả bây giờ có thể được sử dụng cho mỗi dữ liệu quan sát hoặc cho dữ liệu thí nghiệm từ các thiết kế hoàn toàn ngẫu nhiên. 13
  16. Luận văn thạc sỹ khoa học Phạm Thị Hương 1.2.2 Mô hình bậc nhất với hai biến dự báo Khi có hai biến dự báo X1 và X2 mô hình hồi quy: Yi = β0 + β1 Xi1 + β2 Xi2 + εi (1.23) được gọi là mô hình bậc nhất với hai biến dự báo. Yi biểu thị giá trị đáp ứng trong thử nghiệm thứ i, Xi1 và Xi2 là các giá trị của hai biến dự báo trong thử nghiệm thứ i. Các tham số trong mô hình là β0 , β1 , β2 và các sai số là εi . Giả định rằng E{εi } = 0, hàm hồi quy cho mô hình (1.23) là: E{Y } = β0 + β1 X1 + β2 X2 (1.24) Với mô hình hồi quy đơn tuyến tính, hàm hồi quy E{Y } = β0 + β1 X1 là một đường thẳng. Ở đây, hàm hồi quy (1.24) là một mặt phẳng. Hình (1.1) đưa ra một phần mặt phẳng đáp ứng: E{Y } = 10 + 2X1 + 5X2 (1.25) Chú ý rằng điểm bất kỳ trên mặt phẳng đáp ứng (1.25) tương ứng với giá trị trung bình E{Y } ứng với X1 và X2 . Hình (1.1) chỉ ra một quan sát Yi tương ứng với giá trị (Xi1 , Xi2 ) của các biến dự báo. Đoạn thẳng dọc giữa Yi và mặt phẳng đáp ứng biểu thị cho sự khác biệt giữa Yi và giá trị trung bình E{Y }. Do đó, khoảng cách từ Yi tới mặt phẳng đáp ứng biểu thị cho sai số εi = Yi − E{Yi }. Thông thường, trong hồi quy bội, hàm hồi quy được gọi là mặt hồi quy hay mặt đáp ứng. Trong hình (1.1), mặt đáp ứng là một mặt phẳng nhưng trong các trường hợp khác mặt đáp ứng có thể phức tạp hơn. Ý nghĩa của các tham số hồi quy. Với mặt đáp ứng (1.25), tham số β0 = 10 là giá trị chặn của Y. Nếu xét tại X1 = 0, X2 = 0 thì β0 = 20 biểu thị cho giá trị trung bình tương ứng của E{Y } tại X1 = 0, X2 = 0. Ngoài ra, β0 không có một ý nghĩa đặc biệt nào trong mô 14
  17. Luận văn thạc sỹ khoa học Phạm Thị Hương Hình 1.1: Hàm đáp ứng là một mặt phẳng hình hồi quy. Tham số β1 chỉ ra sự biến đổi của giá trị trung bình đáp ứng E{Y } khi X1 thay đổi và X2 được giữ cố định. Giống như vậy, β2 chỉ ra sự biến đổi của giá trị trung bình E{Y } khi X2 biến đổi và X1 được giữ cố định. Để thấy rõ điều này, trong ví dụ ta cố định X2 = 2. Hàm hồi quy (1.25) bây giờ là: E{Y } = 10 + 2X1 + 5(2) = 20 + 2X1 X2 = 2 (1.26) Chú ý rằng, hàm đáp ứng là một đường thẳng với hệ số dốc β1 = 2. Điều này vẫn đúng với bất kỳ giá trị khác của X2 ; chỉ giá trị chặn của hàm đáp ứng là khác nhau. Do đó, β1 = 2 chỉ ra rằng trung bình đáp ứng tăng lên 2 lần đơn vị tăng của X1 khi X2 được cố định, không phụ thuộc vào giá trị của X2 . Vì vậy chúng ta thừa nhận rằng β1 chỉ sự biến đổi của E{Y } khi X1 thay đổi và X2 được cố định. Tương tự, β2 = 5 trong hàm hồi quy (1.25) chỉ ra rằng trung bình đáp ứng E{Y } tăng 5 lần đơn vị tăng của X2 khi X1 được cố định. Khi ảnh hưởng của X1 trong trung bình đáp ứng không phụ thuộc vào giá trị 15
  18. Luận văn thạc sỹ khoa học Phạm Thị Hương của X2 và ảnh hưởng của X2 không phụ thuộc vào giá trị của X1 thì hai biến dự báo được nói là có ảnh hưởng cộng tính (additive effects) hay không tương tác (not to interact). Vậy nên mô hình hồi quy bậc nhất (1.23) được thiết kế cho các biến dự báo không có ảnh hưởng tương tác của chúng lên trung bình đáp ứng. Tham số β1 , β2 đôi khi được gọi là hệ số hồi quy cục bộ vì chúng chỉ phản ánh ảnh hưởng cục bộ của một biến dự báo khi biến kia trong mô hình được coi như là hằng số. Ví dụ: Mặt đáp ứng (1.25) được chỉ ra trong hình (1.1) là cho mô hình hồi quy liên quan đến việc kiểm tra doanh thu bán hàng (Y, đơn vị 10 nghìn đô la) tại các điểm bán hàng trực tiếp (X1 , đơn vị nghìn đô la) và bán hàng qua TV (X2 , đơn vị nghìn đô la). Vì β1 = 2 nên nếu cố định điểm bán hàng TV, điểm bán hàng trực tiếp tại một địa phương tăng 1 đơn vị là 1 nghìn đô la thì kỳ vọng doanh thu sẽ tăng 2 đơn vị là 20 nghìn đô la. Tương tự, vì β2 = 5 nếu cố định điểm bán hàng trực tiếp, điểm bán hàng TV tăng 1 đơn vị là 1 nghìn đô la thì kỳ vọng bán hàng sẽ tăng 5 đơn vị là 50 nghìn đô la. Bình luận: 1. Một mô hình hồi quy với mặt đáp ứng là một mặt phẳng có thể được sử dụng trong trường hợp riêng khi nó là phù hợp hoặc xấp xỉ đến một mặt đáp ứng phức tạp hơn. Nhiều mặt đáp ứng phức tạp có thể được xấp xỉ tốt bởi một mặt phẳng với các hạn chế của X1 và X2 . 2. Dễ dàng chứng minh ý nghĩa của β1 và β2 bằng tính toán. Lấy đạo hàm riêng của mặt đáp ứng (1.24) theo X1 , X2 ta có: ∂E{Y } ∂E{Y } = β1 = β2 ∂X1 ∂X2 Các đạo hàm riêng đo tỷ lệ thay đổi trong E{Y } đối với mỗi biến dự báo khi biến kia được cố định. 16
  19. Luận văn thạc sỹ khoa học Phạm Thị Hương 1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo Bây giờ chúng ta xem xét trường hợp có p − 1 biến dự báo X1 , ...,Xp−1 . Mô hình hồi quy: Yi = β0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi (1.27) được gọi là mô hình bậc nhất với p − 1 biến dự báo. Cũng có thể viết: p−1 X Yi = β0 + βk Xik + εi (1.27a) k=1 hoặc nếu lấy Xi0 ≡ 1 mô hình tương ứng là: p−1 X Yi = βk Xik + εi (1.27b) k=0 Giả sử rằng E{εi } = 0, hàm đáp ứng cho mô hình (1.27) là: E{Y } = β0 + β1 X1 + β2 X2 + ... + βp−1 Xp−1 (1.28) Hàm đáp ứng này là một siêu phẳng, là mặt có nhiều hơn hai kích thước và có hình dáng không giống với mặt đáp ứng trong trường hợp mô hình có hai biến dự báo (hình 1.1). Tuy nhiên, ý nghĩa của các tham số là giống nhau. Tham số βk chỉ sự thay đổi của trung bình đáp ứng E{Y } với 1 đơn vị tăng trong biến dự báo Xk khi tất cả các biến dự báo còn lại được coi là hằng số. Chú ý rằng, với mô hình (1.27), ảnh hưởng của biến dự báo bất kỳ trong trung bình đáp ứng là như nhau khi các biến dự báo khác được cố định. Do đó, mô hình hồi quy bậc nhất (1.27) được thiết kế cho các biến dự báo mà ảnh hưởng của nó trên trung bình đáp ứng là cộng tính hay không có tương tác. Bình luận: Khi p − 1 = 1, mô hình hồi quy (1.27) là: Yi = β0 + β1 Xi1 + εi đây là mô hình hồi quy đơn tuyến tính. 1.2.4 Mô hình hồi quy tuyến tính tổng quát Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện các sai số chuẩn như sau: Yi = β0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi (1.29) 17
  20. Luận văn thạc sỹ khoa học Phạm Thị Hương Trong đó: β0 , β1 ,. . . , βp−1 : là các tham số Xi1 ,...,Xip−1 : là các hằng số đã biết εi ∼ N (0, σ 2 ) i = 1, ..., n Nếu Xi0 ≡ 1 mô hình hồi quy (1.29) có thể được viết như sau: Yi = β0 Xi0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi (1.29a) Hoặc p−1 X Yi = βk Xik + εi (1.29b) k=0 Vì E{εi } = 0 nên hàm đáp ứng cho mô hình hồi quy (1.29) là : E{Y } = β0 + β1 X1 + β2 X2 + ... + βp−1 Xp−1 (1.30) Do vậy, mô hình hồi quy tuyến tính tổng quát với điều kiện sai số chuẩn có các quan sát Yi là các biến chuẩn độc lập, với trung bình E{Y } như (1.30) và phương sai không đổi σ 2 . Mô hình tuyến tính tổng quát bao gồm một loạt các tình huống rất đa dạng. Bây giờ chúng ta xem xét một số vấn đề trong số những tình huống đó: p-1 biến dự báo Khi X1 , . . . , Xp−1 biểu diễn p − 1 biến dự báo khác nhau, mô hình tuyến tính tổng quát (1.29) là mô hình bậc nhất không có các ảnh hưởng tương tác giữa các biến dự báo. Ví dụ trong hình (1.1) liên quan đến mô hình bậc nhất với hai biến dự báo. Các biến dự báo định tính Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không chỉ các biến dự báo định lượng mà còn bao gồm các biến dự báo định tính, ví dụ giới tính (nam, nữ) hay trạng thái khuyết tật (không khuyết tật, khuyết tật một phần, khuyết tật toàn phần). Chúng ta sử dụng các biến chỉ số nhận giá trị 0 và 1 để 18
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

 

Đồng bộ tài khoản
3=>0