intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE

Bài giảng Nhập môn trí tuệ nhân tạo: Chương 5 - Văn Thế Thành

Chia sẻ: Hấp Hấp | Ngày: | Loại File: PDF | Số trang:7

95
lượt xem
6
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài giảng "Nhập môn trí tuệ nhân tạo - Chương 5: Phân lớp Bayes" trình bày các nội dung: Phân lớp Bayes - Tại sao, tính xác suất a a-posteriori, phân lớp Naive Bayesian, phân lớp Naive Bayesian - Giả thiết độc lập, độ chính xác trong phân lớp,... Mời các bạn tham khảo.

Chủ đề:
Lưu

Nội dung Text: Bài giảng Nhập môn trí tuệ nhân tạo: Chương 5 - Văn Thế Thành

  1. Phân lớp Bayes 1 Phân lớp Bayes: Tại sao? (1) • Học theo xác suấ suất: o tính các xác suất rõ ràng cho các giả thiết o một trong những hướng thiết thực cho một số vấn đề thuộc loại học trưởng: • Có tăng trưở ng o mỗi mẫu huấn luyện có thể tăng/giảm dần khả năng đúng của một giả thiết o tri thức ưu tiên có thể kết hợp với dữ liệu quan sát 2 1
  2. Phân lớp Bayes: Tại sao? (2) • Dự đoá suất: đoán theo xác suấ o dự đoán nhiều giả thiết, trọng số cho bởi khả năng xảy ra của chúng Chuẩn: • Chuẩ o Ngay cả khi các phương pháp Bayes khó trong tính toán, chúng vẫn có thể cung cấp một chuẩn để tạo quyết định tới ưu so những phương pháp khác 3 Phân lớp Bayes suất • Bài toán phân lớp có thể hình thức hóa bằng xác suấ a-posteriori: P(C|X) P( ) = xác suất mẫu X= thuộc về lớp C • Ví dụ P(class= P( =N | outlook=sunny,windy=true,…)) tưởng: • Ý tưở ng: gán cho mẫu X nhãn phân lớp là C sao cho P(C|X) P( ) là lớn nhất 4 2
  3. Tính xác suất a-posteriori • Định lý Bayes: Bayes P(C|X) P( ) = P(X|C) P( )· P(C) P( ) / P(X) P( ) • P(X) P( ) là hằng số cho tất cả các lớp • P(C) P( ) = tần số liên quan của các mẫu thuộc lớp C • C sao cho P(C|X) P( lớn nhất = C sap cho P(X|C) P( )· P(C) P( ) lớn nhất • Vấn đề: tính P(X|C) P( ) là không khả thi! 5 Phân lớp Naïve Bayesian • Thừa nhận Naïve: sự độc lập thuộthuộc tính P(x P( 1,…,xk|C)) = P(x P( 1|C))·…· P(x P( k|C)) • Nếu thuộc tính thứ i là rời rạc: P( i|C)) được ước lượng bởi tần số liên quan của các P(x mẫu có giá trị xi cho thuộc tính thứ i trong lớp C • Nếu thuộc tính thứ i là liên tục: liên tụ P( i|C)) được ước lượng thông qua một hàm mật độ P(x Gaussian • Tính toán dễ dàng trong cả hai trường hợp 6 3
  4. Phân lớp Naïve Bayesian – Ví dụ Outlook Temperature Humidity Windy Class sunny hot high false N sunny hot high true N overcast hot high false P rain mild high false P rain cool normal false P rain cool normal true N overcast cool normal true P sunny mild high false N sunny cool normal false P rain mild normal false P sunny mild normal true P overcast mild high true P overcast hot normal false P rain mild high true N 7 Phân lớp Naïve Bayesian – Ví dụ (1) • Ứơc lượng P(x P( i|C)) P(p p) = 9/14 P(n n) = 5/14 Thời tiết P(nắng | p) = 2/9 P(nắng | n) = 3/5 Độ ẩm P(u ám | p) = 4/9 P(u ám | n) = 0 P(cao | p) = 3/9 P(cao | n) = 4/5 P(mưa | p) = 3/9 P(mưa | n) = 2/5 P(vừa | p) = 6/9 P(vừa | n) = 1/5 Nhiệt độ P(nóng | p) = 2/9 P(nóng | n) = 2/5 Gió P(ấm áp | p) = 4/9 P(ấm áp | n) = 2/5 P(có | p) = 3/9 P(có | n) = 3/5 P(mát | p) = 3/9 P(mát | n) = 1/5 P(không | p) = 6/9 P(fkhông | n) = 2/5 8 4
  5. Phân lớp Naïve Bayesian – Ví dụ (2) • Phân lớp X: o một mẫu chưa thấy X = o P(X|p) P( )· P(p) P( ) = P(mưa|p) P( )· P(nóng|p) P( )· P(cao|p) P( )· P(không|p) P( )· P(p) P( ) = 3/9·2/9·3/9·6/9·9/14 = 0.010582 o P(X|n) P( )· P(n) P( ) = P(mưa|n) P( )· P(nóng|n) P( )· P(cao|n) P( )· P(không|n) P( )· P(n) P( ) = 2/5·2/5·4/5·2/5·5/14 = 0.018286 o Mẫu X được phân vào lớp n (không chơi tennis) 9 Phân lớp Naïve Bayesian – giả thuyết độc lập • … làm cho có thể tính toán • … cho ra bộ phân lớp tối ưu khi thỏa yêu cầu • … nhưng yêu cầu ít khi được thỏa trong thực tế vì các thuộc tính (các biến) thường có liên quan với nhau. • Những cố gắng khắc phục điểm hạn chế này: o Các mạng Bayes (Bayesian networks), networks) kết hợp lý luận Bayes với các mối quan hệ nhân quả giữa các thuộc tính quyết đị o Các cây quyế định, nh lý luận trên một thuộc tính tại một thời điểm, xét những thuộc tính quan trọng nhất trước 10 5
  6. Các phương pháp phân lớp khác Các • Mạng Neural phương phá pháp • Phân lớp k láng giề giềng gần khá nhất nhấ khác • luận dựa vào trườ Suy luậ trường hợp • Thuật toá Thuậ truyền toán di truyề • Hướng tập thô Hướ • hướng tập mờ Các hướ 11 Độ chính xác trong phân lớp Ước lượ lượng tỉ lệ sai: sai: hoạch: • Phân hoạ ch huấn luyện và kiểm tra (những tập dữ liệu lớn) o dùng hai tập dữ liệu độc lập , tập huấn luyện (2/3), tập kiểm tra (1/3) Kiểm tra ché • Kiể chéo (những tập dữ liệu vừa) o chia tập dữ liệu thành k mẫu con o sử dụng k-1 mẫu con làm tập huấn luyện và một mẫu con làm tập kiểm tra --- kiểm tra chép k thành phần Bootstrapping xóa đi một - leave-one-out (những tập dữ • Bootstrapping: liệu nhỏ) 12 6
  7. Tóm tắt (1) lớp là • Phân lớ là một vấ vấn đề đề nghiên cứ cứu bao quá quát lớn có • Phân lớ khả năng là có khả là một trong nhữ những kỹ kỹ thuậ thuật phá dữ liệ khai phá liệu đượ được dù rộng rãi nhấ dùng rộ nhất vớ với rấ rất nhiều mở nhiề mở rộng 13 Tóm tắt (2) uyển chuyể • Tính uyể chuyển vẫ vẫn đang là là một vấ vấn đềđề quan trọng củ trọ của tấtất cá các ứng dụ dụng cơ sở sở dữ liệ liệu hướng nghiên cứ • Các hướ cứu: phân lớlớp dữ dữ liệ liệu không- không- quan hệệ h v, víí dụ như , text, text không gian và v à đa phương tiệtiện 14 7
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

 

Đồng bộ tài khoản
2=>2