Bài giảng Thống kê học ứng dụng trong quản lý xây dựng: Phần 7 của TS. Nguyễn Duy Long

Phần 07 Nguyễn Duy Long, Tiến Sỹ Bộ môn Thi Công và QLXD Bộ môn Thi Công và QLXD

 Các kiểm nghiệm giả thiết về các phần  Phần thêm về kiểm nghiệm  Phần thêm về kiểm nghiệm

9/8/2010

Testing Hypotheses about Proportions



9/8/2010

  1. Nếu dữ liệu nhất quán với mô hình, ta không có lý

Trong thống kê học, một giả thiết đề nghị một mô hình cho thế giới. Rồi xem về dữ liệu… Rồi xem về dữ liệu

Dữ liệu nhất quán với mô hình thêm phần hỗi trợ (lend support) giả thiết, nhưng không chứng minh (prove) nó.

Hay…

do để không tin giả thiết. ◦

2. Nếu dữ liệu không nhất quán với mô hình, ta cần chọn xem dữ liệu có không nhất quán đủ để á đủ để dữ liệ ó khô h không tin vào mô hình. ◦

Nếu chúng không đủ nhất quán, có thể từ chối (reject) mô hình.

hấ

 Nghĩ về logic trong xét xử:

◦ Để chứng minh ai đó có tội, ta bắt đầu bằng giả định họ vô ◦ Ta giữ lại giả thiết đó đến khi các chứng cứ làm nó không ◦ Khi và chỉ khi đó, ta từ chối giả thiết vô tội và tuyên bố

tộitội. thể vượt ngoài một nghi ngờ hợp lý. người đó có tội.

 Logic dùng trong các xét xử được dùng giống

Bắt đầ bằ

9/8/2010

 Công ty xây dựng sản xuất ống bê tông ly tâm và

trong các kiểm nghiệm giả thiết trong thống kê học: ◦ Bắt đầu bằng giả định giả thiết là đúng. iả đị h iả thiết là đú ◦ Xem dữ liệu có nhất quán với giả thiết. ◦ Nếu như vậy, tất cả những gì ta có thể làm là giữ lại giả thiết mà ta đã bắt đầu. Nếu không như vậy, thì như hội thẩm đoàn, ta tự hỏi chúng không thể nằm ngoài một nghi ngờ hợp lý không.

là không có vết nứt.

◦ Kỹ thuật mới được kiểm nghiệm với 400 ống bê tông đúc

thử có 17% bị nứt.

◦ Công ty tranh luận về việc chuyển qui trình mới này,

nhưng sẽ mất thời gian và tiền bạc.

 Công ty này muốn biết họ có thể kết luận một cách

muốn ngăn chặn vết nứt. ◦ Qui trình sản xuất hiện thời cho thấy chỉ 80% ống bê tông ◦ Qui trình sản xuất hiện thời cho thấy chỉ 80% ống bê tông

hợp lý rằng qui trình mới cải thiện vấn đề nứt. hợp lý rằng qui trình mới cải thiện vấn đề nứt.

 Đặc tính thống kê là ta có thể định lượng mức độ

9/8/2010

suất mà biến cố ta chứng kiến có thể xảy ra.

 Xác suất đó được gọi là giá trị p (p-value).

◦ Giá trị p càng nhỏ, biến cố càng ít xảy ra, cho giả thiết

đúng.

 Giả thiết rỗng (null hypothesis), viết tắt H0, mô tả thông số mô hình quần thể đang quan tâm và đề nghị một giá trị cho thông số đó nghị một giá trị cho thông số đó. ◦ Ví dụ, H0: p = 0.20, như trong ví dụ sự nứt của ống bê tông  Ta muốn so sánh dữ liệu của chúng ta với giá trị mà

nghi ngờ của chúng ta. ◦ Có thể dùng mô hình được đề nghị bởi giả thiết để tính xác

chuẩn từ giá trị đề nghị.

 Sẽ hỏi cơ hội có kết quả đó nếu giả thiết rỗng là

ta kỳ vọng với H0 là đúng. ◦ Có thể làm điều này bằng cách tìm ra bao nhiêu độ lệch

đúng.

 Kiểm nghiệm giả thiết giống với xét xử ở tòa án.  Giả thiết rỗng là bị can vô tội. ồ Rồi trình bày chứng cứ - dữ liệu được thu thập.  Rồi đánh giá chứng cứ: “Các dữ liệu này khả dĩ xảy ra một cách hợp lý và tình cờ nếu giả thiết rỗng đúng?”

 Cuối cùng, ta phải quyết định “không khả dĩ ra sao về vấn đề không khả dĩ (How unlikely is “unlikely”?) ◦ Một số người đặt những tiêu chuẩn cứng – 1 của 20 (0 05) Một số người đặt những tiêu chuẩn cứng 1 của 20 (0.05) hay 1 của 100 (0.01).

◦ Nhưng nếu bạn phải ra quyết định, bạn phải phán xét trong tình huống cụ thể là xác suất đủ nhỏ để có “nghi ngờ hợp lý” (“reasonable doubt”)

iữ iả thiết ỗ

hải

 Khi dữ liệu nhất quán với mô hình từ giả thiết rỗng, giá trị p cao và ta không thể bác bỏ giả thiết rỗng. ◦ Ta phải giữ giả thiết rỗng. ◦ Nếu ta không thể chứng minh nó; ta không chấp nhận giả

thiết rỗng…

◦ … thay vào đó, ta “thất bại trong việc bác bỏ giả thiết rỗng” (“fail toreject the null hypothesis”) khi dữ liệu nhất quán với mô hình giả thiết rỗng và phù hợp với những gì ta có thể kỳ vọng từ sự biến đổi trong lấy mẫu (natural sampling variability). iá ị

9/8/2010

là đủ hỏ

Nế  Nếu giá trị p là đủ nhỏ, ta sẽ “bác bỏ giả thiết rỗng” “bá bỏ iả hiế ỗ ” (“reject the null hypothesis”) vì những gì ta quan sát thấy là rất không thể mô hình rỗng đúng.

 Nếu chứng cứ là không đủ mạnh để bác bỏ giả định vô tội, bồi thẩm đoàn sẽ tuyên “vô tội” (“not guilty”) ấ

9/8/2010

 Trong thống kê học, ta thất bại trong việc bác bỏ

ố

 Trong xét xử, trách nhiệm chứng minh thuộc về

giả thiết rỗng. ◦ Không bao giờ tuyên bố giả thiết rỗng là đúng. ◦ Thỉnh thoảng ta nói giả thiết rỗng vẫn được giữ.

 Trong kiểm nghiệm giả thiết, trách nhiệm chứng  Trong kiểm nghiệm giả thiết, trách nhiệm chứng

bên khởi tố.

hypothesis) là không bình thường.



minh thuộc về các xác nhận không thường. ◦ Giả thiết rỗng là bình thường, giả thiết thay thế (alternative



1. Các giả thiết (Hypotheses) 2. Mô hình (Model) 3. Sự tính toán (Mechanics) 4. Kết luận (Conclusion) Xem chi tiết tiếp sau đây…

Bốn phần cơ bản của một kiểm nghiệm giả thiết:

9/8/2010

1. Các giả thiết

iả thiết t ướ tiê hải h ể

Tổng quát, ta có

H0: tham số (parameter) = giátrị đượcgiả thiết

(hypothesized value).

◦ Giả thiết rỗng: để thực hiện một kiểm nghiệm giả thiết, trước tiên phải chuyển câu hỏi ta â hỏi t quan tâm thành một phát biểu về các tham số của mô hình. 

iả hiế h hế H hế

◦ Giả thiết thay thế: giả thiết thay thế, HA, chứa Giả hiế h hứ các giá trị của tham số mà ta chấp nhận nếu ta bác bỏ giả thiết rỗng.

2. Mô hình 



ộ , g

◦

“Vìcácđiềukiệnđãthỏa, tôicóthể môhìnhphânphối mẫucủaphầnvớimộtmôhìnhchuẩn.” Có thể có trường hợp bạn sẽ nói “Vìcácđiềukiệnkhông thỏa, tôikhôngthể tiếptụcvớisự kiểmnghiệm.”

Để bắt đầu một kiểm nghiệm giả thiết, chỉ ra mô g ệ hình mà bạn sẽ dùng để kiểm nghiệm giả thiết rỗng và thông số quan tâm. Tất cả các mô hình đều cần các giả định, phát biểu các giả định và kiểm tra các điều kiện tương ứng. Bạn có thể kết thúc với một phát biểu như sau:

 Các điều kiện cần thiết cho kiểm nghiệm z một phần (one-proportion z-test) giống với khoảng z một phần (one proportion z-interval). Ta kiểm nghiệm giả thiết

H0: p = p0



tính trị số thống kê kiểm nghiệm, z:

9/8/2010

 ˆ p p  0  ˆ SD p

 



 ˆ SD p



với

p q 0 0 n

Điểm quan trọng nhưng dễ sai: để tính SD dùng giá trị po

ề

ế ỗ

 Khi các điều kiện thỏa và giả thiết rỗng là đúng, trị số ố

thông kê nghiểm nghiệm này theo mô hình chuẩn tắc, vì thế ta có thể dùng mô hình này để có giá trị p.

Bảng z, có z để tìm giá trị p



3. Tính toán 



ể

◦

là đú

◦

Giá trị p là xác suất mà giá trị thống kê được quan sát có thể xảy ra nếu mô hình rỗng đúng. Nói cách khác, giá trị p là xác suất có điều kiện: xác suất mà các kết quả quan át ó thể ả sát có thể xảy ra nếu giả thiết rỗng là đúng. iả thiết ỗ ế Nếu p đủ nhỏ, ta bác bỏ giả thiết rỗng.

Tính trị số thông kê kiểm nghiệm từ dữ liệu. Các kiểm nghiệm khác nhau có các công thức khác nhau và trị số thống kê kiểm nghiệm khác nhau. Sau tính toán, ta có giá trị p.

9/8/2010

4. Kết luận ◦

◦

1. Tùy thuộc vào ta kiểm nghiệm gì và quan tâm tìm

◦ Kết luận về một kiểm nghiệm giả thiết luôn là một phát biểu về giả thiết rỗng. Kết luận phải luôn phát biểu hoặc bác bỏ hoặc giữ (thất bại trong việc bác bỏ giả thiết rỗng). Kết luận nên phát biểu trong ngữ cảnh của nó.

1. HA: thôngsố < giátrị đượcgiả thiết hay 2. HA: thôngsố ≠giátrị đượcgiả thiết hay 3. HA: thôngsố > giátrị đượcgiả thiết

kiếm gì, có ba giả thiết thay thế khả dĩ:

 HA: thôngsố ≠giátrị được gọi là thay thế 2

9/8/2010

 Cho thay thế hai phương, giá trị p là xác suất lệch

ế ỗ phương (two-sided alternative) vì ta quan tâm sự chệch cả hai bên của giá trị giả thiết rỗng.

 Hai giả thiết thay thế khác được gọi là thay thế một

 Thay thế một phương tập trung các độ lệch từ giá á độ lệ h từ iá tậ t

theo hai hướng từ giá trị giả thiết rỗng.

 Giá trị p cho thay thế một phương là xác suất lệch chỉ một hướng của sự thay thế từ giá trị giả thiết rỗng.

ột hươ thế phương (one-sided alternatives). Th trị giả thiết rỗng chỉ theo một hướng.

 Đâu là giả thiết rỗng và giả thiết thay thế dùng

ấ ố

Sản xuất ống bê tông ly tâm trong ví dụ trên ả l

bê ô

í d

9/8/2010

tháng có thể giảm cân.

3. Bạn là một chủ tiệm spa, bạn muốn biết nếu quảng cáo trên báo của bạn hiệu quả (đo lường bằng số khách hàng hằng tuần)

4. Ban nghĩ rằng tiêu thụ nhiên liệu của xe cẩu của bạn có

thể khác với tiêu thụ đưa ra của nhà sản xuất.

 Giá trị p nhỏ ra sao để bạn có thể bác bỏ giả thiết

trong các tình huống sau? 1. â 2. Bạn muốn biết nếu dùng một loại thảo dược trong hai

rỗng?

 Tiêu chí quyết định phụ thuộc tình huống.  Yếu tố nữa để chọn giá trị p là tầm quan trọng của

ố ế

 Đừng chỉ tuyên bố giả thiết rỗng là bị bác hay

vấn đề cần kiểm nghiệm.

với giả thiết.

không bị bác. ◦ Báo cáo giá trị p để thể hiện “sức mạnh” của chứng cứ đối

 Trở lại ví dụ: Với qui trình hiện tại có 80% ống bê

9/8/2010

 Công ty bê tông muốn biết kỹ thuật mới giảm tỷ lệ

tông không bị nứt. Kỹ thuật mới được thử nghiệm sản xuất 400 ống có kết quả 17% bị nứt. sản xuất 400 ống có kết quả 17% bị nứt

dụng nó.

3. Nếu có thể tiếp tục từ bước 2, tính trị số thông kê kiểm

nghiệm và giá trị p nghiệm và giá trị p

4. Kết luận

 Giá trị p là 0.0668. Chỉ 6.7% khả năng kết quả từ qui trình thử nghiệm là do sự biến đổi tự nhiên (natural variation) Tacóthể bácbỏ giả thiết (natural variation). Ta cóthể bácbỏ giả thiết rỗng?

 Trong thực tế, ta chỉ ra giá trị “trần” (cut-off) cho

nứt không. 1. Phát biểu giả thiết. (Ho) 2. Chỉ ra mô hình và kiểm tra các điều kiện cần thiết để sử

giá trị p trước khi phân tích. ◦ Nếu ta chọn 5%, ta sẽ giữ lại giả thiết rỗng.

 Tại một vùng xa chỉ khoảng 30% giếng được đào là tìm đủ nước ở độ sâu 30 mét hay nhỏ hơn. Một người đàn ông địa phương cho rằng có thể tìm người đàn ông địa phương cho rằng có thể tìm nước bằng cách “dò mạch nước” – dùng gậy để chỉ giếng nên đào ở đâu. Bạn kiểm tra 80 khách hàng của anh ta và thấy rằng 27 khách hàng có giếng 30 mét hay nhỏ hơn. Bạn kết luận gì về “thủ pháp” của anh ta? Biết rằng giá trị p khoảng 5% để có chứng cứ xác đáng.

More about tests

9/8/2010

 Khi giá trị p nhỏ, cho ta biết dữ liệu là hiếm với giả

9/8/2010

 Hiếm như thế nào là hiếm ? Ta có thể xác định sự  Hiếm như thế nào là “hiếm”? Ta có thể xác định sự

thiết rỗng đã cho.

◦ Ngưỡng này là mức alpha, còn gọi là mức đáng kể

(significance level), viết tắt .

◦ Các mức alpha là 0.10, 0.05, và 0.01.

 Bạn nói gì nếu giá trị p là không thấp hơn ?

◦ Bạn không chấp nhận giả thiết rỗng. Bạn chỉ giữ lại hay thất

bại trong bác bỏ nó.

 Ý bạn là gì khi nói kiểm nghiệm là đáng kể về

kiện hiếm một cách tùy tiện bằng cách đặt một ngưỡng cho giá trị p của ta. ◦ Nếu p dưới điểm đó, ta bác bỏ H0. Ta gọi kết quả là đáng kể về mặt thông kê (statistically significant) hay ta có thể nói là kiểm nghiệm là đáng kể ở mức đó (“significant at that level”).

 Đừng nghĩ rằng đáng kể về thống kê thì tự động có

thống kê (statistically significant)? ◦ Ý ta là trị số thống kê kiểm nghiệm z có giá trị p tương Ý ta là trị số thống kê kiểm nghiệm, z, có giá trị p tương ứng thấp hơn mức alpha mà bạn chọn.

kê, nếu kích thước mẫu đủ lớn.

 Mặt khác, nếu mẫu không đủ lớn, thậm chí có sự khác nhau lớn về tài chính hay khoa học cũng có khác nhau lớn về tài chính hay khoa học cũng có thể không đáng kể về thống kê.

tầm quan trọng hay ảnh hưởng thực tiễn. ◦ Ta có một sự thay đổi nhỏ (nhỏ hơn 1%) đáng kể về thống

 Ở phần 06, khi tạo mức tin chắc, ta lấy giá trị tới

9/8/2010

 Ta cũng dùng các giá trị tới hạn trong kiểm nghiệm

hì bá bỏ

hạn (critical value, z*) tương ứng với mức tin chắc đã chọn. đã chọn

 Một số giá trị tới hạn thường gặp từ mô hình chuẩn

◦ Với đuôi dưới (lower tail), z* âm

giả thiết. ◦ z* phụ thuộc vào  và kiểm nghiệm 1 hay 2 phương.  Một khi tính trị thống kê kiểm nghiệm, z, thay vì dùng bảng Z để tìm giá trị p, chỉ kiểm tra nó trực tiếp với các giá trị tới hạn. Ví dụ, với kiểm nghiệm một phương, đuôi trên (upper tail): ◦ z > z*, thì bác bỏ H0. ◦ z< z*, thất bại trong việc bác bỏ H0. ◦ Vẫn hữu ích khi tìm giá trị p, để định lượng kết quả không khả dĩ ra sao, nếu giả thiết rỗng đúng.

1-phương 2-phương 

0.05 1.645 1.96

0.01 2.28 2.575

0.001 3.09 3.29

9/8/2010

 Khi giả thiết thay thế là hai phương, giá trị giới hạn chia đôi  cho hai h h h i đuôi:

 Khi giả thiết thay thế là một phương, giá trị tới hạn đặt tất cả  chỉ ấ một bên:

Giá trị tới hạn

Slide 21- 31



hi đôi



Ví dụ này chỉ sự tương ứng giữa trị số thống kê kiểm nghiệm (z), giá trị tới hạn z* , giá trị p và mức alpha, . mức alpha, .

Ta đã nghe ĐHBK có 60% nam sinh viên nhưng muốn kiểm tra xem phần trăm này đã thay đổi. Ta chấp nhận mức đáng kể  = 4% như vượt ngoài nghi ngờ hợp lý. Ta thực hiện lấy mẫu ngẫu nhiên 250 sinh viên ĐHBK và thấy rằng 140 là nam. Giả định rằng các điều kiện thỏa điều kiện thỏa. 1. Các giả thiết là gì? 2. Giá trị tới hạn z*, với mức alpha đã cho? 3. Tính z, trị số thống kê kiểm nghiệm 4. Ta giữ hay bác bỏ H0? 5. Giá trị p?



9/8/2010

Ta cần kiểm nghiệm 2 phương với  = 4%

z= -1.29, Giá trị = 9.9%

=2%

Giá trị tới hạn 2.05 z* = -2.05 z

Giá trị tới hạn 2.05 z* = 2.05 z



Vì z > z* hay -1.29 > -2.05, ta giữ H0

hay một cách tương đương,



Giá trị p = .0985 > .02 = α/2, ta giữ H0

 Khoảng tin chắc và kiểm nghiệm giả thiết được xây

Tóm tắt tính toán: ◦

ˆp

dựng với các phép tính giống nhau. ◦ Giống các giả định và điều kiện Giống các giả định và điều kiện. ◦ Cả hai dùng giá trị tới hạn, z*.

 Có thể xấp xỉ một kiểm nghiệm giả thiết bằng cách xem xét khoảng tin chắc. (sự xấp xỉ sẽ tốt hơn khi p0 và ◦ Chỉ hỏi giá trị giả thiết rỗng có nhất quán với khoảng tin

chắc cho thông số với mức tin chắc tương ứng.

tiến gần nhau)

 Vì khoảng tin chắc là hai phương, chúng tương

9/8/2010

 Mối liện hệ giữa khoảng tin chắc và kiểm nghiệm

ứng với kiểm nghiệm hai phương. ◦ Tổng quát khoảng tin chắc với mức tin chắc C% tương ứng Tổng quát, khoảng tin chắc với mức tin chắc C% tương ứng với kiểm nghiệm hai phương với mức  là 100 – C%.

 Thậm chí với nhiều chứng cứ, ta vẫn có thể có kết

giả thiết một phương phức tạp hơn. ◦ Khoảng tin chắc với mức tin chắc C% tương ứng với kiểm nghiệm giả thiết một phương với mức  là ½(100 – C)%.

 Khi thực hiện kiểm nghiệm giả thiết, ta có thể sai

luận sai.

loại 1 (Type I error).

2.Giả thiết rỗng sai, nhưng ta thất bại trong bác bỏ nó – sai

sót loại II (Type II error).

 Bốn tình huống trong kiểm nghiệm giả thiết…

theo hai cách: 1.Giả thiết rỗng đúng, nhưng ta sai lầm bác bỏ nó – sai sót

 Bốn tình huống trong kiểm nghiệm giả thiết:

9/8/2010

Sự Thật

H0 Đúng H0 Sai

 Trở lại với sự tương đồng trong xét xử, nếu thất bại trong luận tội người thật sự có tội là sai sót loại I, sự tươngđồng củasaisótloạiII làgì?

 Sai sót loại I xảy ra thường xuyên ra sao?

◦ Vì sai sót loại I là bác giả thiết rỗng thật, xác suất tạo sai

sót loại I là mức . ó l

i I là ứ

◦ Với  là 5%, ta có 5% cơ hội tạo sai sót loại I

OK Bác H0 Sai Sót Loại I (α) Quyết Định của Tôi OK Giữ H0 Sai Sót Loại II (β) II (β)

 Khi H0 sai nhưng ta thất bại trong bác bỏ nó, ta tạo

9/8/2010

◦ Gán  cho xác suất của sai sót này. Sức mạnh của kiểm

nghiệm là 1 – .

◦ Đánh giá  khó hơn vì ta không biết giá trị của thông số. ◦ Không có giá trị duy nhất cho . Thực tế, có một tập các ,

mỗi giá trị cho mỗi giá trị thông số sai.

 Một cách để tập trung sự chú ý của ta vào một  cụ thể là nghĩ về kích thước ảnh hưởng (effect size).  Ta có thể giảm  cho tất cả các giá trị thông số thay

ra sai sót loại II. ◦ Khả năng của kiểm nghiệm nhận ra giả thiết sai gọi là sức mạnh (power) của kiểm nghiệm xác suất bác bỏ đúng giả mạnh (power) của kiểm nghiệm – xác suất bác bỏ đúng giả thiết rỗng sai.

g g

 Các duy nhất để giảm cả hai loại sai sót là thu thập

thế bằng cách tăng . ◦ Có thể giảm  nhưng tăng cơ hội của sai sót loại I. ◦ “Sức căng” giữ sai sót loại I và II là tất yếu.

nhiều dữ liệu hơn.

 Kích thước ảnh hưởng càng lớn, càng dễ thấy nó.  Có kích thước mẫu lớn hơn giảm xác suất của sai sót loại II,

và tăng sức mạnh của kiểm nghiệm.

 Càng chấp nhận sai sót loại I, càng ít cơ hội có sai sót loại II.  Càng chấp nhận sai sót loại I càng ít cơ hội có sai sót loại II

Giả sử giả thiết rỗng đúng

Giả sử giả thiết rỗng không đúng rỗng không đúng

Bác H0

Thất bại trong bác H0

 Ta có thể giảm cả hai loại sai sót bằng cách tạo hai đường cong

hẹp hơn. Bằng cách nào?

Giả sử giả thiết Giả sử giả thiết rỗng đúng

Giả sử giả thiết rỗng không đúng

Bác H0

Thất bại trong bác H0

9/8/2010

 Đừng diển giải giá trị p như là xác suất mà H0 là thật.

◦ Giá trị p là về dữ liệu, không phải giả thiết. ◦ Là xác suất của dữ liệu với H0 là thật, không phải ngược lại. ◦ Là xác suất của dữ liệu với H là thật không phải ngược lại

 Đừng tin quá mạnh vào các mức alpha tùy tiện.

◦ Cho biết giá trị p để người đọc có thể có quyết đinh cho họ.  Đừng nhầm lẫn giữa sự đáng kể về mặt thực tiễn và

9/8/2010

đáng kể trong thực tiễn.

 Đừng quên rằng dù tất cả nỗ lực của bạn, bạn có thể Đừng quên rằng dù tất cả nỗ lực của bạn bạn có thể có kết luận sai.

về mặt thống kê. ◦ Chỉ vì giả thiết là đáng kể về mặt thống kê không có nghĩa là