Bài giảng Thống kê máy tính: Phân tích dữ liệu - Đặc trưng mẫu và ước lượng tham số quần thể - Lê Phong

Chia sẻ: Năm Tháng Tĩnh Lặng | Ngày: | Loại File: PDF | Số trang:24

Thêm vào BST

Báo xấu

133
lượt xem 9
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Trong bài giảng này trình bày về phân tích dữ liệu - Đặc trưng mẫu và ước lượng tham số quần thể. Các nội dung chính trong bài giảng gồm có: Một số đặc trưng của tập mẫu (Trung bình mẫu, phương sai mẫu, moment mẫu), một số phương pháp ước lượng tham số quần thể (Maximum Likelihood, phương pháp moments).

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Thống kê máy tính: Phân tích dữ liệu - Đặc trưng mẫu và ước lượng tham số quần thể - Lê Phong

Phân tích dữ liệu - Đặc trưng mẫu & ước lượng tham số quần thể
Dàn bài Giới thiệu Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp moments
Giới thiệu Các công cụ trực quan giúp có được cái nhìn tổng thể để ước đoán mô hình phân bố hoặc quan sát sự phân tách các tập dữ liệu không áp dụng được cho quá trình tính toán Cần phải xác định các đặc trưng (số) của tập dữ liệu Cần phải ước lượng các đặc trưng đó sao cho ‘tốt nhất’
Giới thiệu (tt) Về mặt thống kê, các đặc trưng cần quan tâm liên quan đến mô hình phân bố xác suất của quần thể ◦ Trung bình ◦ Phương sai ◦ Các moment ◦ Các tham số đầu vào của mô hình phân bố ◦ …
Dàn bài Giới thiệu Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp moments
Một số đặc trưng mẫu Cho tập mẫu {X1,…,Xn} Các Xi là biến ngẫu nhiên có cùng phân bố là phân bố của tập quần thể Giả sử các Xi độc lập xác suất từng đôi một p( X1 ,..., X n ) = p( X1 )... p( X n ) Định lý Monte Carlo 1 n ∑ n i =1 n →∞ f (xi )  → E[ f ( X)] = ∫ f (x) p (x)dx với xi là thể hiện của Xi
Trung bình mẫu Trung bình mẫu được cho bởi 1 n X = ∑ Xi n i =1 là một biến ngẫu nhiên có phân bố ‘gần’ chuẩn với E[ X] = E[ X] var[ X] var[ X] = n (theo định lý hội tụ trung tâm)
Trung bình mẫu (tt) Từ định lý Monte Carlo 1 n x = ∑ xi  n →∞ → E[ X] n i =1 (chú ý: xi là thể hiện của Xi)
Phương sai mẫu Phương sai mẫu được cho bởi 1 n S= ∑ n − 1 i =1 ( Xi − X)( Xi − X) ' Từ định lý Monte Carlo 1 n ∑ n − 1 i =1 ( x i − x )( x i − x ) ' n →∞  → cov( X)
Moment mẫu Ở đây chỉ xét đến 1 chiều Moment mẫu bậc r được cho bởi 1 n r Mr = ∑ Xi n i =1 Từ định lý Monte Carlo 1 n r n→∞ ∑ n i =1 xi  → E[ X r ]
Dàn bài Giới thiệu Một số đặc trưng của tập mẫu ◦ Trung bình mẫu ◦ Phương sai mẫu ◦ Moment mẫu Một số phương pháp ước lượng tham số quần thể ◦ Maximum Likelihood ◦ Phương pháp moments
Ước lượng tham số quần thể Các đặc trưng ở trên có tính chất mô tả tập mẫu. Để mô tả cả một quần thể, thông thường người ta đi tìm một mô hình nào đó cho quần thể. Mỗi mô hình như vậy cần có tham số cần phải ước lượng những tham số đó Vấn đề: tìm ước lượng tham số ‘tốt nhất’ từ tập mẫu hữu hạn
Ước lượng tham số (tt) Một ước lượng là một hàm từ không gian dữ liệu vào không gian tham số T = t(X1,…,Xn) chú ý rằng T là một biến ngẫu nhiên. Để đánh giá một ước lượng có tốt hay không, thông thường có 3 vấn đề cần quan tâm ◦ Lệch (bias) ◦ Trung bình bình phương mẫu (mean squared error) ◦ Standard error
Bias Gọi θ là giá trị đúng của tham số cần ước lượng Bias được định nghĩa bởi Bias(T) = E[T] - θ Nếu Bias(T) = 0 thì ta nói đó là ước lượng không lệch (unbias)
Standard error Standard error của một ước lượng được cho bởi SE(T) = sqrt(var(T))
Mean squared error Mean squared error được định nghĩa bởi MSE(T) = E[ (T - θ)2 ] MSE(T) càng nhỏ càng cho thấy ước lượng T càng hiệu quả, điều đó có nghĩa là nếu MSE(T1) < MSE(T2) thì ước lượng T1 hiệu quả hơn T2 Cực tiểu hóa MSE là một tiêu chí phổ biến
MSE (tt) Một điều lưu ý MSE(T) = SE(T)2 + Bias(T)2 Nếu ước lượng là không lệch thì cực tiểu hóa MSE tương đương với cực tiểu hóa SE
Maximum Likelihood Estimator (MLE) Giả sử θ = [θ1,…, θm] là vector tham số cần ước lượng Ý tưởng của MLE là sẽ tìm θˆ MLE = arg max p (x1 ,..., x n | θ) θ Hướng giải tổng quát là đi tìm nghiệm dp (x1 ,..., x n | θ) =0 dθ
MLE (tt) Ví dụ: ◦ X ~ N(µ,σ2) với µ chưa biết, σ đã biết ◦ Tập mẫu (X1,…,Xn) thỏa các Xi đôi một độc lập xác suất ◦ Tìm µ. Ta có n /2 n  1   1 n 2 p ( x1 ,..., xn | µ ) = ∏ p ( xi |µ ) =  2  exp  − ∑ ( xi − µ )  i =1  2πσ   2 i =1 
MLE (tt) Cực đại hóa vế trái tương đương với cực đại hóa ln(p(x1,…,xn|µ) 1 n ln p( x1 ,..., xn | µ ) ∝ − ∑ ( xi − µ ) 2 2 i =1 d ln p ( x1 ,..., xn | µ ) =0 dµ n ⇔ ∑ ( xi − µ ) = 0 i =1 1 n ⇔ µ = ∑ xi n i =1