Bài giảng Thống kê máy tính: Phân loại bằng Bayes - Lê Phong

Chia sẻ: Năm Tháng Tĩnh Lặng | Ngày: | Loại File: PDF | Số trang:43

Thêm vào BST

Báo xấu

110
lượt xem 8
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng Thống kê máy tính: Phân loại bằng Bayes gồm có các nội dung chính sau: Giới thiệu về bài toán phân loại và hướng tiếp cận Bayes, lý thuyết ra quyết định Bayes, phân lớp bằng biệt hàm, một số vấn đề mở rộng, xây dựng hệ phân lớp. Mời các bạn cùng tham khảo.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Bài giảng Thống kê máy tính: Phân loại bằng Bayes - Lê Phong

Phân loại bằng Bayes Lê Phong
Dàn bài Giới thiệu ◦ Bài tóan ◦ Hướng tiếp cận Bayes Lý thuyết ra quyết định Bayes Phân lớp bằng biệt hàm Một số vấn đề mở rộng Xây dựng hệ phân lớp
Giới thiệu Bài toán phân loại (Pattern Classification) Xác định đối tượng có đặc trưng x thuộc lớp nào trong c lớp w1, w2,…, wc. x ? ? ? ? w1 w2 … wc Lý thuyết ra quyết định Bayes là nền tảng cho các phương pháp phân lớp thống kê.
Giới thiệu (tt) Giả sử đã biết trước xác suất tiền định P(w = wi) i = 1..c Gọi p(x|wi) là mật độ xác suất của đặc trưng x trong lớp wi. Khi đó, xác suất hậu định để đối tượng có đặc trưng x thuộc lớp wi là ◦ Trong đó Để ngắn gọn, viết
Giới thiệu (tt) p(x|wi), i=1..c x P(w1|x) P(w2|x) P(wi|x) P(wc|x) w1 w2 … wc P(w1) P(w2) P(wi) P(wc) Dựa trên P(wi|x) để quyết định đối tượng x thuộc lớp nào.
Dàn bài Giới thiệu Lý thuyết ra quyết định Bayes ◦ Trường hợp đơn giản – 2 lớp ◦ Trường hợp tổng quát ◦ Ví dụ Phân lớp bằng biệt hàm Một số vấn đề mở rộng Xây dựng hệ phân lớp
Lý thuyết ra quyết định Bayes Về mặt cảm quan, chọn lớp wbest sao cho P(wbest|x) = min P(wi|x) i=1..c Xem xét 2 trường hợp ◦ Trường hợp đơn giản 2 lớp ◦ Trường hợp tổng quát
Trường hợp đơn giản Có 2 lớp w1 và w2
Trường hợp đơn giản (tt) Trung bình xác suất lỗi (average probability of error) ◦ Trong đó là xác suất lỗi khi đưa ra quyết định Luật 1 tương ứng làm cực tiểu hóa trung bình xác suất lỗi
Trường hợp tổng quát Mở rộng giả thiết với 1. Số lớp là bất kỳ. 2. a hành động α1, α2,…, αa (ví dụ như hành động αi là phân x vào lớp wi). 3. Hàm tiêu tốn λ(αi|wj) thể hiện cái giá phải trả khi thực hiện hành động αi trong trường hợp đối tượng thuộc lớp wj (ví dụ như là chi phí khi phân loại sai).
Trường hợp tổng quát (tt) Xác suất lỗi được tổng quát hóa bằng rủi ro có điều kiện Thể hiện cái giá phải trả cho hành động αi khi đối tượng có đặc trưng x Xác suất lỗi trung bình được tổng quát hóa bằng rủi ro toàn bộ ◦ Trong đó α(x) nhận các hành động αi (i=1..a) tương ứng với đặc trưng x tìm α(x) để đạt cực tiểu R.
Trường hợp tổng quát (tt) Luật 2 đạt được cực tiểu cho R* - còn được gọi là rủi ro Bayes.
Hàm tiêu tốn đối xứng Trường hợp đặc biệt: αi là hành động phân đối tượng x vào lớp wi với hàm tiêu tốn Ý nghĩa: không trả giá nếu phân loại đúng, ngược lại trả giá là 1. Hàm rủi ro có điều kiện
Ví dụ 2 lớp P(w1)=2/3, P(w2)=1/3 3 hành động ◦ α1 = “xếp đối tượng vào lớp w1” ◦ α2 = “xếp đối tượng vào lớp w2” ◦ α3 = “không phân lớp” Hàm tiêu tốn λ
Ví dụ (tt) Tính
Ví dụ (tt) α1 α3 α2
Dàn bài Giới thiệu Lý thuyết ra quyết định Bayes Phân lớp bằng biệt hàm ◦ Biệt hàm, vùng ra quyết định ◦ Biệt hàm cho phân phối chuẩn Một số vấn đề mở rộng Xây dựng hệ phân lớp
Biệt hàm Mỗi lớp wi có một biệt hàm (discriminant function) gi(x). Với mỗi đối tượng có đặc trưng x, hệ phân lớp sẽ phân x và lớp wi nếu
Biệt hàm (tt) Một số trường hợp ◦ Tính chi phí bằng xác suất lỗi trung bình hoặc ◦ Tính chi phí bằng rủi ro toàn cục
Vùng ra quyết định Phân hoạch không gian đặc trưng ra c phần không giao nhau R1,…, Rc với x thuộc Ri nếu x được phân vào lớp wi Ri được gọi là vùng ra quyết định (decision region) Biên bao quanh các Ri được gọi là biên ra quyết định (decision boundary)