BỘ GIÁO DỤC VÀ ĐÀO TẠO

ĐẠI HỌC ĐÀ NẴNG

PHẠM LÊ KIM THANH

PHƢƠNG PHÁP BÌNH PHƢƠNG NHỎ NHẤT VÀ ỨNG DỤNG

Chuyên ngành: Phƣơng pháp toán sơ cấp

Mã số: 60. 46. 01.13

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC

Đà Nẵng –Năm 2016

Công trình được hoàn thành tại

ĐẠI HỌC ĐÀ NẴNG

Người hướng dẫn khoa học: TS. LÊ HẢI TRUNG

Phản biện 1: TS. Lê Hoàng Trí

Phản biện 2: TS.Trịnh Đào Tiến

Luận văn đã được bảo vệ trước Hội đồng chấm Luận văn tốt

nghiệp thạc sĩ Khoa học tại Đại học Đà Nẵng vào ngày 13

tháng 8 năm 2016.

Có thể tìm hiểu luận văn tại:

- Trung tâm Thông tin – Học liệu, Đại học Đà Nẵng.

- Thư viện trường Đại học Sư phạm, Đại học Đà Nẵng

1

MỞ ĐẦU

1. Lý do chọn đề tài

Trong khoa học kỹ thuật chúng ta thường gặp rất nhiều bài

toán tối ưu hóa được quy về tìm cực trị của dạng bình phương ví dụ

như tìm cực tiểu của năng lượng hay tìm cực đại của entropy. Trong

toán học cũng như trong thực tế ta thường gặp các bài toán liên quan

đến khảo sát và tính giá trị của hàm nào đó. Tuy nhiên trong

thực tế không phải lúc nào ta cũng xác định được sẵn hàm số mà chỉ

nhận được các dữ liệu rời rạc tương ứng với giá trị Vấn đề đặt

ra là xây dựng một hàm số biểu diễn cho các giá trị đã cho.

Có rất nhiều lớp các bài toán thực tế mà qua khảo sát người ta xác

định được nó có dạng tuyến tính như hoặc

hoặc các mô hình phức tạp hơn. Có nhiều phương

pháp để xác định được các hàm đã nêu ví dụ như: Phương pháp nội

suy, Phương pháp bình phương nhỏ nhất, Phương pháp Picard… Để

tìm hiểu về phương pháp xây dựng hàm số nêu trên và được sự gợi ý

của giáo viên hướng dẫn nên tôi đã lựa chọn đề tài « Phương pháp

bình phương nhỏ nhất và ứng dụng » cho luận văn thạc sĩ của

mình.

2. Mục tiêu nghiên cứu của đề tài

Mục tiêu của đề tài này là nghiên cứu về phương pháp bình

phương nhỏ nhất. Đồng thời, nghiên cứu ứng dụng phương pháp bình

phương nhỏ nhất vào các bài toán.

2

3. Đối tƣợng và phạm vi nghiên cứu

3.1. Đối tượng nghiên cứu

Nghiên cứu xây dựng mô hình tuyến tính bằng phương pháp

xấp xỉ bình phương nhỏ nhất.

3.2. Phạm vi nghiên cứu

Nghiên cứu từ các tài liệu, các giáo trình về phương pháp bình

phương nhỏ nhất của các tác giả liên quan.

Xây dựng các mô hình một biến, nhiều biến và đánh giá sự

tương hợp của mô hình.

4. Phƣơng pháp nghiên cứu

Nghiên cứu các tài liệu tham khảo liên quan đến đề tài, nắm

vững cơ sở lý thuyết, từ đó ứng dụng phần mềm Mathematica để mô

tả nghiệm (gần đúng) và tìm nghiệm gần đúng của bài toán. Trong

luận văn, các phương pháp sử dụng nằm trong các lĩnh vực sau đây:

Toán học giải tích, Giải tích hàm, Giải tích số, Quy hoạch thực

nghiệm, Thống kê toán học.

5. Bố cục đề tài

Ngoài phần mở đầu và kết luận, luận văn có 3 chương

Chương 1. Kiến thức chuẩn bị. Chương này trình bày một số

khái niệm, định lý về sự liên tục của hàm nhiều biến; sơ lược phép

tính vi phân hàm nhiều biến; điều kiện đạt cực trị của hàm nhiều

biến.

Chương 2. Phương pháp bình phương nhỏ nhất và ứng dụng.

Chương này trình bày về nội dung của phương pháp bình phương

3

nhỏ nhất; bài toán phương pháp bình phương nhỏ nhất để xấp xỉ hàm

trong thực nghiệm; ưu điểm và hạn chế của phương pháp bình

phương nhỏ nhất trong mô hình tuyến tính và một số tiêu chuẩn đánh

giá mô hình tuyến tính. Ứng dụng của phương pháp bình phương nhỏ

nhất.

6. Tổng quan tài liệu nghiên cứu

Nghiên cứu từ các tài liệu liên quan đến Toán học giải tích, Giải

tích hàm, Giải tích số, Quy hoạch thực nghiệm, Thống kê toán học và

các tài liệu liệu về phần mềm Mathematica của tác giả trong và ngoài

nước.

7. Ý nghĩa khoa học và thực tiễn của đề tài

Đề tài góp phần nghiên cứu phương pháp bình phương nhỏ

nhất và ứng dụng phù hợp với chuyên nghành Phương pháp toán sơ

cấp.

Sau khi cho phép bảo vệ, được sự góp ý của các thầy cô trong

hội đồng, luận văn có thể dùng làm tài liệu tham khảo cho sinh viên,

giáo viên, học sinh phổ thông và những đối tượng quan tâm lĩnh vực

này.

Do thời gian nghiên cứu không nhiều nên có thể còn một số

nội dung mà luận văn chưa đề cập đến. Tôi sẽ tiếp tục nghiên cứu và

bổ sung thường xuyên để nội dung luận văn được phong phú, và có

giá trị thực tiễn hơn.

4

CHƢƠNG 1

KIẾN THỨC BỔ TRỢ

1.1. SỰ LIÊN TỤC CỦA HÀM NHIỀU BIẾN

1.1.1. Rn và các tập con

1.1.2. Biểu diễn hình học của hàm hai biến số

1.1.3. Giới hạn của hàm nhiều biến số Z = f(x, y)

1.1.4. Sự liên tục của hàm số Z = f(x, y)

1.2. SƠ LƢỢC PHÉP TÍNH VI PHÂN CỦA HÀM NHIỀU BIẾN

1.2.1. Khái niệm mở đầu

a. Không gian

b. Khoảng cách, chuẩn trong

c. Lân cận, điểm tụ

1.2.2. Đạo hàm riêng

Định lý 1.1. (Định lý Schawartz). Nếu f(x, y) liên tục trên miền

mở có đạo hàm cấp hai liên tục tại điểm

thì

1.3. ĐIỀU KIỆN ĐẠT CỰC TRỊ CỦA HÀM NHIỀU BIẾN

1.3.1. Cực trị tự do

a. Định nghĩa và điều kiện cần của cực trị

Định lý 1.2. Nếu đạt cực trị tại M0 và có các đạo hàm

riêng tại đó thì các đạo hàm riêng bằng 0.

5

b. Điều kiện đủ của cực trị

Định lý 1.3. Giả sử có đạo hàm riêng cấp hai liên tục

tại lân cận của điểm dừng và gọi:

Khi đó:

- Nếu > 0 thì hàm số không đạt cực trị tại

- Nếu = 0 thì chưa kết luận gì được về

- Nếu < 0 thì hàm số đạt cực trị tại

Cụ thể đạt cực đại nếu A < 0, đạt cực tiểu nếu A > 0.

1.3.2. Cực trị có điều kiện

a. Định nghĩa và điều kiện cần

b. Điều kiện đủ

1.4. MA TRẬN VÀ PHÉP TÍNH LIÊN QUAN

1.4.1. Ma trận

1.5. DẪN NHẬP VỀ HỆ PHƢƠNG TRÌNH TUYẾN TÍNH

1.5.1. Khái niệm chung

1.5.2. Hệ Cramer

1.5.3. Hệ phƣơng trình tuyến tính tổng quát

1.5.4. Hệ phƣơng trình tuyến tính thuần nhất

6

CHƢƠNG 2

PHƢƠNG PHÁP BÌNH PHƢƠNG NHỎ NHẤT

VÀ ỨNG DỤNG

2.1. NỘI DUNG PHƢƠNG PHÁP BÌNH PHƢƠNG NHỎ NHẤT

2.1.1. Khái niệm

Phương pháp bình phương nhỏ nhất (tối thiểu) là kĩ thuật ước

lượng thống kê được sử dụng phổ biến nhất trong các mô hình hồi

quy tuyến tính. Mục đích của phương pháp là từ các mẫu rời rạc quan

sát được trên thực nghiệm xác định một hàm biểu diễn gần đúng sự

phân phối của các mẫu đó, từ đó có thể ước lượng được các giá trị

chưa thể đo được trên thực tế.

Giả sử đã đo được các mẫu với i = 1,2,….,n. Mục đích

là xác định hàm thỏa mãn :

7

Giải sử hàm f có thể thay đổi hình dạng phụ thuộc vào một

hàm với j = 0,1,2,…m,

Sai số giữa giá trị thực và giá trị ước lượng theo hàm

tại

Xác định các giá trị sao cho biểu thức sau đạt giá trị cực

tiểu:

Điều này giải thích tại sao tên của phương pháp là bình

phương tối thiểu.

Đôi khi thay vì tìm giá trị n của tổng bình phương, người ta có

thể tìm giá trị nhỏ nhất của bình phương trung bình.

điều này dẫn đến tên gọi bình phương trung bình tối thiểu.

2.1.2. Lập công thức hồi quy dạng

Giả sử biết được n giá trị thực nghiệm của

hàm f(x) tại các điểm tương ứng. Tìm hàm xấp xỉ f(x) là một đa

thức cấp m có dạng

Theo định nghĩa ta có.

min.

Coi S là hàm số 2 biến a và b, như vậy S đạt cực tiểu tại điểm

mà đạo hàm của S theo a và b đồng thời bằng 0:

8

Rút gọn và chuyển vế ta có:

Giải ra ta được:

2.1.3. Hàm nhiều biến số

Giả sử rằng mối tương quan đại lượng ra y phụ thuộc tuyến

tính vào nhiều yếu tố đầu vào, như mòn dụng cụ cắt, phụ thuộc vào

vận tốc, áp lực, vật liệu cắt các chế độ khác…

Giả thuyết rằng chúng có quan hệ tuyến tính với các thông số

vào , hàm số tương ứng sẽ là:

(2.1)

Sử dụng phương pháp bình phương nhỏ nhất các giá trị

9

sao cho:

(2.2)

nhận giá trị nhỏ nhất.

Ta có hệ phương trình:

(2.3)

hay viết dưới dạng ma trận như sau.

trong đó: coi tức là coi a0 là hệ số của x0 luôn bằng 1.

Gọi XT là ma trận chuyển vị của ma trận X, nghĩa là

là ma trận cấp

sao cho: (2.4)

Sử dụng (2.3) vào ta có:

(2.5)

Phương trình này là phương trình cơ bản của phương pháp bình

phương nhỏ nhất, nó giúp ta xác định được các giá trị của ma trận

thông số

10

(2.6)

Đặt XT.X = M, (2.7)

với M là ma trận vuông cấp k+1. Nếu det (M) 0 thì M là ma

trận khả nghịch, từ (2.3) ta có:

(2.8)

(2.9)

(2.10)

trong đó:

(2.11)

 Áp dụng cho hàm một biến

Giả thiết có mối tương quan bậc nhất:

Từ n thí nghiệm ta có bảng sau:

11

Tương ứng ta có ma trận:

Ma trận M là:

Từ:

có

12

(2.12)

Đặt: (2.13)

trong đó các giá trị là các giá trị trung bình cộng.

Ta có:

(2.14)

 Đôi khi ta còn thực hiện tuyến tính hóa hàm phi tuyến nhiều

biến dạng:

Logarit hai vế :

bằng cách biến đổi

13

mới, ta được hàm tuyến tính nhiều biến số:

Sau khi tính toán, ta được , còn tham số

vẫn giữ nguyên với dạng đa thức:

ta biến đổi mới

Từ đó ta sử dụng hàm hồi quy nhiều biến tuyến tính để xác

định các tham số ai.

2.1.4. Công thức hồi quy tổng quát dạng đa thức bậc m

Giả sử biết được n giá trị thực nghiệm của f(x)

tại các điểm tương ứng. Tìm hàm xấp xỉ của f(x) là một đa thức cấp

m có dạng:

Khi đó các hệ số sẽ là nghiệm của phương

trình có dạng:

14

2.1.5. Bình phƣơng tối thiểu tuyến tính

2.2. BÀI TOÁN PHƢƠNG PHÁP BÌNH PHƢƠNG NHỎ NHẤT

ĐỂ XẤP XỈ HÀM TRONG THỰC NGHIỆM

2.2.1. Đặt vấn đề

Bài toán 2.1. (Tìm hàm xấp xỉ)

Giả sử đã biết các giá trị của hàm tại

các điểm tương ứng Tìm hàm xấp xỉ với hàm

trong đó:

với là những hàm đã biết, là những hệ số hằng số.

Trong khi giải quyết bài toán này cần chọn hàm sao cho

quá trình tính toán đơn giản đồng thời những sai số có tính chất

ngẫu nhiên (xuất hiện khi thu được các số liệu ) cần phải được

chỉnh lí trong quá trình tính toán. Trong bài toán tìm hàm xấp xỉ trên

việc chọn dạng của hàm xấp xỉ là tùy thuộc vào ý nghĩa thực

tiễn của hàm

Bài toán 2.2. (Tìm các tham số của hàm có dạng đã biết)

Giả sử đã biết dạng tổng quát của hàm.

(2.15)

trong đó là những hằng số.

15

Giả sử qua thực nghiệm ta thu được n giá trị của hàm

ứng với các giá trị của đối số. Vấn đề là từ

những số liệu thực nghiệm thu được cần xác định các giá trị của tham

số để tìm được dạng cụ thể của biểu thức (2.15)

về sự phụ thuộc giữa y và x.

2.2.2. Sai số trung bình bình phƣơng và phƣơng pháp bình

phƣơng tối thiểu tìm xấp xỉ tốt nhất với một hàm

a. Sai số trung bình bình phương

Những hàm trong thực nghiệm thu được thường mắc phải

những sai số có tính chất ngẫu nhiên. Những sai số này xuất hiện do

sự tác động của những yếu tố ngẫu nhiên vào kết quả thực nghiệm để

thu được các giá trị của hàm. Chính vì lý do trên, để đánh giá sự sai

số khác nhau giữa hai hàm trong thực nghiệm ta cần đưa ra khái niệm

về sai số (hoặc độ lệch) sao cho một mặt nó chấp nhận được trong

thực tế, một mặt lại san bằng những sai số ngẫu nhiên (nghĩa là gạt

bỏ được những yếu tố ngẫu nhiên tác động vào kết quả của thực

nghiệm). Cụ thể nếu hai hàm thực chất khá gần nhau thì sai số chúng

ta đưa ra phải khá bé.

Khái niệm về sai số nói trên không chú ý tới kết quả có tính chất cá

biệt nên được gọi là sai số trung bình bình phương.

b. Định nghĩa

Theo định nghĩa ta sẽ gọi là sai số (hoặc độ lệch) trung

bình bình phương của hai hàm và trên tập

, và được xác định bởi:

16

(2.16)

c. Ý nghĩa của sai số trung bình bình phương

Để tìm hiểu ý nghĩa của sai số trung bình bình phương ta giả

thiết và là những hàm liên tục trên đoạn và

là tập hợp các điểm cách đều trên đoạn :

Theo định nghĩa tích phân xác định ta có:

, (2.17)

trong đó:

(2.18)

Giả sử có trên đoạn một số hữu hạn cực trị

và là một số dương nào đó cho trước. Khi đó trên sẽ có k

đoạn riêng biệt sao cho:

( với ).

Gọi là tổng các độ dài của k đoạn nói trên.

Với n đủ lớn và đủ bé, từ (2.17) ta suy ra bé tùy ý).

Từ (2.18) ta có:

do đó:

17

nghĩa là tổng độ dài của các đoạn sẽ bé tùy ý.

Tóm lại với đủ bé (n khá lớn) thì trên đoạn (trừ tại

những điểm của đoạn mà tổng độ dài bé tùy ý), ta có

trong đó là một số dương tùy ý cho trước.

Từ nhận xét trên ta rút ra nhận ý nghĩa thực tiễn của sai số

trung bình bình phương như sau: Nếu sai số trung bình bình phương

của hai hàm f(x) và trên tập hợp n điểm (n đủ

lớn) mà khá bé thì với tuyệt đối đa số giá trị của x trên cho sai

số tuyệt đối giữa f(x) và khá bé.

2.2.3. Xấp xỉ hàm theo nghĩa trung bình phƣơng

2.3. ƢU ĐIỂM VÀ HẠN CHẾ CỦA PHƢƠNG PHÁP BÌNH

PHƢƠNG NHỎ NHẤT TRONG MÔ HÌNH TUYẾN

2.3.1. Ƣu điểm

2.3.2. Hạn chế

2.4. MỘT SỐ TIÊU CHUẨN ĐÁNH GIÁ MÔ HÌNH TUYẾN

TÍNH

2.4.1. Các tiêu chuẩn đánh giá

a. Mức ý nghĩa

b. Phân phối Student

Định lý 2.1. (Xem [1]) Cho t tuân theo luật phân phối Student

18

với n bậc tự do Khi đó:

(i) Hàm mật độ t là:

(ii) Với là hàm chẵn).

Với .

Định lý 2.2. (Xem [1]) Cho X tuân theo luật phân phối chuẩn

là mẫu của X. Khi đó đại lượng thống

kê có phân phối Student với n-1 bậc tự do, trong đó

c. Phân phối Fisher

Định lý 2.3. (Xem [1]) Cho biến ngẫu nhiên X có phân phối

Khi đó:

(i) Hàm mật độ của X là

19

Bây giờ ta cho là mẫu của X, là mẫu

của Y và

Định lý 2.4. (Xem [1]) Cho X và Y là các biến ngẫu nhiên độc

lập có phân phối chuẩn cùng phương sai (D(X) = D(Y)). Khi đó đại

lượng thống kê có phân phối Fisher

d. Chuẩn Cochran ( )

Định lý 2.5. (Xem [6]) Phương sai mẫu của loạt dữ liệu j được

coi là một giá trị ở mức ý nghĩa α nếu Ct vượt quá giới hạn trên giá trị

quan trọng CUL. CUL phụ thuộc vào α mức ý nghĩa mong muốn, số

lượng được coi là hàng loạt dữ liệu N, và số lượng các điểm dữ liệu

(n) mỗi chuỗi dữ liệu. Lựa chọn các giá trị cho CUL đã được lập

bảng ở mức ý nghĩa α = 0.01, α = 0.025, và α = 0.05. CUL cũng có

thể được tính toán từ:

Trong đó

20

CUL : giới hạn trên giá trị quan trọng cho thử nghiệm một

chiều trên một thiết kế cân bằng.

α : mức ý nghĩa.

n : số điểm dữ liệu mỗi chuỗi dữ liệu.

Fc : giá trị quan trọng của tỷ lệ F Fisher; Fc có thể thu được từ

các bảng phân phối F hoặc sử dụng phần mềm máy tính cho chức

năng này.

2.4.2. Đánh giá kết quả nhận đƣợc bằng phƣơng pháp bình

phƣơng nhỏ nhất

a. Kiểm định các tham số aj và khoảng xác định sai lệch của

chúng

Khi hệ số nào đó quá nhỏ, ta có quyền nghi ngờ có thể

bằng không, tức là không tồn tại số hạng trong hàm hồi

quy thu được. Tức là khác không do sai số ngẫu nhiên gây ra. Ta

cần kiểm định xem hay

Nếu biểu thức sau tồn tại, tức là thực sự khác 0.

): trong đó: Sdu là phương sai dư, tính theo S(

ở đây n là số thử nghiệm; m là số các thông số cần xác định, trừ

thông số

21

và là phân vị của luật phân bố Student với

bậc tự do.

Đồng thời ta có khoảng sai lệch của với độ tin cậy

là:

với là số hạng thứ jj của ma trận ma trận nghịch đảo của ma

trận .

b. Kiểm tra bằng nhau của phương sai

Các ước lượng thường dùng chưa dựa vào một giả thiết nào

về dạng của mối quan hệ giữa biến ra y và biến vào xi. Khi thí

nghiệm được lặp lại r lần, phương sai của y khi đó gọi là phương sai

tái sinh, kí hiệu (Sts):

Nếu mỗi thí nghiệm i, xác định tại điểm thí nghiệm xi lặp lại r

lần giá trị đầu ra Tính trong đó

Phương sai tái sinh của biến ra y với số lần lặp lại r được định

nghĩa:

22

Phương sai Sts có bậc tự do là n(r-1) được coi là một ước lượng

của nếu phương sai của y tại điểm thí nghiệm xi được coi

là như nhau.

Cần kiểm định giả thuyết đó theo tiêu chuẩn Cochran.

Giả sử biến ngẫu nhiên có

bằng bảng phân vị Cochran. So sánh Ct với

Nếu công nhận giả thiết Ho, có nghĩa là

phương sai của y gần đúng bằng

của y khác Nếu thì bác bỏ giả Ho, hay

nhau.

c. Kiểm tra sự tương hợp của hàm hồi quy

Giả sử rằng : thì ta có:

tuân theo phân phối Fisher – Snedekor.

Nếu

thì bác bỏ sự tương hợp của hàm hồi quy với mức ý nhĩa Ngược

lại nếu:

23

thì coi như thực nghiệm chấp nhận hàm số hồi quy với mức ý nghĩa

Sự chênh lệch của Ft và F nhiều hay ít, có sự tương hợp mạnh hay

yếu; cùng kết quả thực nghiệm cùng hồi quy, nhưng thay đổi mức ý

nghĩa có thể từ công nhận tương hợp sang không tương hợp.

d. Tìm khoảng sai lệch yi

Ta có trong đó uii là số hạng thứ

ii của ma trận U, với:

Tính tỷ số:

so sánh tt với t(n-m-1) bậc tự do theo phân phối Student, suy ra

khoảng sai lệch của y sẽ là:

24

KẾT LUẬN

Sau một thời gian nghiên cứu thực hiện, luận văn đã hoàn

thành được những mục đích và nhiệm vụ như sau:

* Trình bày một số khái niệm, định lý về sự liên tục của hàm

nhiều biến; sơ lược phép tính vi phân hàm nhiều biến; điều kiện đạt

cực trị của hàm nhiều biến; ma trận và các tính chất liên quan; dẫn

nhập về hệ phương trình tuyến tính.

* Trình bày về nội dung của phương pháp bình phương nhỏ

nhất; bài toán phương pháp bình phương nhỏ nhất để xấp xỉ hàm

trong thực nghiệm; ưu điểm và hạn chế của phương pháp bình

phương nhỏ nhất trong mô hình tuyến tính và một số tiêu chuẩn đánh

giá mô hình tuyến tính. Ứng dụng của phương pháp bình phương nhỏ

nhất.

* Luận văn là một tài liệu tham khảo hữu ích cho bạn đọc yêu

thích tìm hiểu về nội dung phương pháp bình phương nhỏ nhất và

ứng dụng.

* Trong thời gian thực hiện luận văn không thể tránh khỏi

những sai sót, kính mong các thầy đóng góp ý kiến để luận văn thêm

hoàn thiện.