Bài giảng Lý thuyết thông tin: Chương 0 - Bùi Văn Thành

Chia sẻ: Hera_02 Hera_02 | Ngày: | Loại File: PPTX | Số trang:38

Thêm vào BST

Báo xấu

118
lượt xem 12
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mời các bạn cùng tìm hiểu thí nghiệm ngẫu nhiên, không gian mẫu, biến cố; xác suất;... được trình bày cụ thể trong "Bài giảng Lý thuyết thông tin: Chương 0" do Bùi Văn Thành biên soạn. Hy vọng tài liệu là nguồn thông tin hữu ích cho quá trình học tập và nghiên cứu của các bạn.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Lý thuyết thông tin: Chương 0 - Bùi Văn Thành

Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn 1 Tháng 7 năm 2013
Chương 0 XÁC SuẤT MA TRẬN 2
XÁC SUẤT (Probability) 1.1. THÍ NGHIỆM NGẪU NHIÊN, KHÔNG GIAN MẪU, BIẾN CỐ: 1.1.1. Thí nghiệm ngẫu nhiên (Random Experiment) Thí nghiệm ngẫu nhiên là một thí nghiệm có hai đặc tính : Không biết chắc hậu quả nào sẽ xảy ra. Nhưng biết được các hậu quả có thể xảy ra Ví dụ: Tung một con xúc sắc là một thí nghiệm ngẫu nhiên vì : Ta không biết chắc mặt nào sẽ xuất hiện Nhưng biết được có 6 trường hợp xảy ra (xúc sắc có 6 mặt 1, 2, 3, 4, 5, 6) Ràng buộc: 3 Con xúc sắc đồng chất để 6 mặt đều có thể xuất hiện như nhau. Cách tung xúc sắc không cố ý thiên vị cho mặt nào hiện ra.
1.1.2. Không gian mẫu (Sample Space) Tập hợp các hậu quả có thể xảy ra trong thí nghiệm ngẫu nhiên gọi là không gian mẫu của thí nghiệm đó. Ví dụ: Không gian mẫu của thí nghiệm thảy một con xúc xắc là: E = {1, 2, 3, 4, 5, 6} Không gian mẫu của thí nghiệm thảy cùng một lúc hai đồng xu là: E = {SS, SN, NS, NN} với S: Sấp, N: Ngửa 1.1.3. Biến cố (Event) a) Biến cố Mỗi tập hợp con của không gian mẫu là một biến cố Biến cố chứa một phần tử gọi là biến cố sơ đẳng Ví dụ: Trong thí nghiệm thảy 1 con xúc sắc : Biến cố các mặt chẵn là : {2, 4, 6}. Biến cố các mặt lẻ: {1, 3, 5} Các biến cố sơ đẳng là : {1}, {2}, {3}, {4}, {5}, {6} 4
b) Biến cố xảy ra (hay thực hiện) Gọi r là một hậu quả xảy ra và A là một biến cố: nếu r ∈ A ta nói biến cố A xảy ra nếu r ∉ A ta nói biến cố A không xảy ra Ví dụ: Trong thí nghiệm thảy một con xúc sắc nếu mặt 4 xuất hiện thì: Biến cố {2,4,6} xảy ra vì 4 ∈{2, 4, 6} Biến cố {1,3,5} không xảy ra vì 4 ∉{1, 3, 5} Ghi chú: φ⊂ E => φ là một biến cố ∀r, r ∉φ => φ là một biến cố vô phương (biến cố không) E ⊂ E => E là một biến cố ∀ r, r ∈ E => E là một biến cố chắc chắn 5
1.1.4. Các phép tính về biến cố Cho 2 biến cố A, B với A⊂ E và B ⊂ E a) Biến cố hội A ∪ B (Union): Biến cố hội của 2 biến cố A và B được ký hiệu là A ∪ B: A ∪ B xảy ra  (A xảy ra HAY B xảy ra) b) Biến cố giao A ∩ B (Intersection): A ∩ B xảy ra (A xảy ra VÀ B xảy ra) 6 A∩B
c) Biến cố phụ A (Biến cố đối lập, Component of A):A xảy ra  A không xảy ra d) Biến cố cách biệt ( biến cố xung khắc, mutually exclusive event) A cách biệt với B  A ∩ B = φ A cách biệt với B  A với B không cùng xảy ra 7
Ví dụ: Trong thí nghiệm thảy một con xúc sắc, ta có không gian mẫu: E = {1, 2, 3, 4, 5, 6} Gọi A là biến cố mặt lẻ xuất hiện => A = {1, 3, 5} Gọi B là biến cố khi bội số của 3 xuất hiện => B = {3, 6} Gọi C là biến cố khi mặt 4 xuất hiện => C = {4}, biến cố sơ đẳng. Ta có: A ∪ B = {1, 3, 5, 6} A ∩ B = {3} A = {2,4,6} : biến cố khi mặt chẵn xuất hiện. A ∩ C = φ => A và C là 2 biến cố cách biệt. e) Hệ đầy đủ (Collectively Exhaustive) Gọi A1, A2…, Ak là k biến cố trong không gian mẫu E Nếu A1∪ A2∪… ∪Ak = E thì K biến cố trên được gọi 8 là một hệ đầy đủ.
1.2. XÁC SUẤT (Probability). 1.2.1. Định nghĩa: Nếu thông gian mẫu E có N biến cố sơ đẳng và biến cố A có n biến cố sơ đẳng thì xác suất của biến cố A là : P(A) = n(A)/N Một cách khác ta có thể viết : P(A) = Soá tröôøng hôïp A xaûy ra/Soá tröôøng hôïp coùtheå xaûy ra Ví dụ: Trong thí nghiệm thảy một con xúc sắc, xác suất biến cố các mặt chẵn xuất hiện là : P(A) =n(A)/N = 3/6=1/2 1.2.2. Tính chất: 9 a. Gọi A là một biến cố bất kỳ trong không gian mẫu E : 0 ≤ P(A) ≤ 1 b. P (φ) = 0 => φ là Biến cố vô phương P (E) = 1 => E là Biến cố chắc chắn
1.2.3. Công thức về xác suất : a) Xác suất của biến cố hội: P (A ∪ B) = P (A) + P(B) P( A ∩ B) Chứng minh: Gọi N : là số phần tử của không gian mẫu E n1: là số phần tử của (A B) n2: là số phần tử của (A∩B) n3: là số phần tử của (B A) n(A ∪ B)=n1 + n2 + n3= n1+n2+n2+n3 –n2 = n(A) +n(B) n(A ∩ B) Do đó : n( A ∪ B)/N = n(A)/N + n(B)/N n(A ∩ B )/N 10 P(A ∪ B) = P(A) + P(B) P(A ∩ B)
Ghi chú : Nếu A và B là 2 biến cố cách biệt, ta có: A ∩ B = φ =>P(A ∩ B) = P(φ) = 0 ==> P (A ∪ B) = P(A) + P(B) b) Xác suất của biến cố phụ (biến cố đối lập) Biến cố phụ của biến cố A trong không gian mẫu E là A : P(A) + P (A) = 1 Chứng minh: A∪ A = E P (A∪A ) = P(E) P(A) + P( A ) P(A ∩ A ) = 1 vì P(A∩ A ) = P(φ) = 0 11
1.2.4. Công thức nhân về xác suất : a) Xác xuất có điều kiện : Gọi P (B / A) là xác suất có điều kiện của biến cố B sau khi biến cố A đã thực hiện. Với P(A) > 0 ; P(B) > 0 12
Chứng minh : Gọi E là không gian mẫu chứa hai biến cố A,B Giả sử A thực hiện rồi thì A là biến cố chắc chắn, ta có thể chọn A làm không gian mẫu thu gọn. Biến cố B thực hiện sau khi biến cố A xảy ra trở thành biến cố B/A. Trong không gian mẫu biến cố B/A thực hiện nếu và chỉ nếu A ∩ B thực hiện. r ∈ B/A  r ∈ A ∩ B Theo định nghĩa, ta có: P(B/ A) =n(A ∩ B) /n(A) =(n(A ∩ B) /N)/(n(A)/N) = P(A 13 ∩ B)/P(A)
b) Công thức nhân về xác suất: Cho hai biến cố A và B trong không gian mẫu E, xác suất của biến cố giao được tính: P(A∩B) = P(B/A) * P(A) hay P(A∩B) = P(A/B) * P(B) c) Biến cố độc lập : Biến cố gọi là độc lập với biến cố A về phương diện xác suất nếu xác suất của biến cố B không thay đổi cho dù biến cố A đã xảy ra, nghĩa là: P(B/A) = P(B) ngược lại: P(A/B) = P(A) Trong trường hợp hai biến cố độc lập, công thức nhân trở thành: P(A∩B) = P(A) * P(B) 14
1.2.5. Công thức xác suất đầy đủ Công thức Bayes a) Công thức xác suất đầy đủ : Giả sử biến cố B xảy ra khi và chỉ khi một trong các biến cố của hệ đầy đủ cách biệt nhau từng đôi một A1, A2…, Ak xảy ra. Biết xác suất P(Ai) và P(B/Ai) hãy tìm P(B) A1 Ak A2 B 15 B ∩A1 B∩A2 B∩Ak
Theo giả thiết bài toán thì B = (B ∩ A1) ∪ (B ∩ A2) ∪ … ∪ (B∩Ak) P(B)= P[(B∩A1) ∪ (B∩A2) ∪…∪ (B∩Ak)] = P(B∩A1) + P(B∩A2) + … + P(B∩Ak) Vì: P(B∩Ai) = P(B/Ai) * P(Ai) k P(B) = ∑ P(B/ Ai)*P(Ai) i=1 Công thức này được gọi là công thức xác xuất đầy đủ. 16
Ví dụ: Trong nhà máy có 4 phân xưởng.Phân xưởng I sản xuất chiếm 1/3 tổng sản lượng của nhà máy; Phân xưởng II chiếm 1/4; Phân xưởng III chiếm 1/4; Phân xưởng IV chiếm 1/6. Tỷ lệ phế phẩm tương ứng với các phân xưởng là 0,15; 0,08; 0,05; 0,01. Tìm xác suất để lấy ngẫu nhiên một sản phẩm trong kho sản phẩm của nhà máy thì sản phẩm đó là phế phẩm Giải : Gọi A1, A2, A3, A4 là biến cố lấy đúng một sản phẩm của phân xưởng I,II,III,IV. Gọi B là biến cố lấy được một phế phẩm B = (B∩A1) ∪ (B∩A2) ∪ (B∩A3) ∪ (B∩A4) 4 ==>P(B) = ∑P(B/ Ai)*P(Ai) i=1 Theo đề bài: P(A1) = 1/3, P(A2) = 1/4, P(A3)= 1/4, P(A4) = 1/6, ∑P(Ai) = 1 P(B/A1) = 0,15, P(B/A2) = 0,08, P(B/A3) = 0,05, P(B/A4) = 0,01 17 Vậy P(B) =1/3 * 0,15 + 1/4 * 0,08 + 1/4 * 0,05 + 1/6 * 0,01 = 0,0816
b) Công thức Bayes: Giải bài toán ngược của bài toán trên, tức là biết các P(Ai), P(B/Ai) và biến cố B đã xảy ra, tìm P(Ai/B) Ta có : B = (B∩A1) ∪ (B∩A2) ∪ (B∩A3) ∪ (B∩A4) và P(Ai∩B) = P(Ai/B) * P(B) = P(B/Ai) * P(Ai)P(B/Ai )* P(Ai ) P(Ai/B)= P(B/Ai )* P(Ai )/P(B) k P(Ai/B)= P(B/Ai )* P(Ai ) /(∑ P(B/Ai ) * P(Ai )) 18 i=1
Công thức này được gọi là công thức Bayes, hay công thức xác suất các giả thiết về các biến cố Ai có thể xem như giả thiết theo đó biến cố B xuất hiện. Ta phải tính xác suất của các giả thiết với điều kiện biến cố B xuất hiện. Ví dụ: Xét lại thí dụ 2.2, cũng với giả thiết đó bây giờ ta yêu cầu xác suất để lấy một sản phẩm của phân xưởng thứ nhất biết nó là một phế phẩm. Ta phải tìm P(A1/B) P(A1/B) = [P(B/A1) * P(A)]/P(B) = [0,15 * 1/3]/0,0816 = 0,61 19
1.2.6. Công thức Bernoulli : a) Công thức Bernoulli : Nếu tiến hành những phép thử độc lập, trong mỗi phép thử xác suất hiện của biến cố A như nhau và bằng p thì xác suất để biến cố A xuất hiện k lần trong n phép thửđó được biểu diễn bằng công thức Bernoulli Pn(k) = Cn k pk qnk Với q = 1p Ghi chú : a.Trong trường hợp biến cố A xuất hiện từ k1 đến k2 lần trong n phép thử thì ta ký hiệu xác xuất đó là Pn(k1,k2) Gọi Aki là biến cố A xuất hiện ki lần A = Aki ∪ Ak1+1 ∪…∪ Ak2 k2 20 Pn(k1,k2)=P(A)= ∑Cni piqni