Bài giảng Học máy (IT 4862): Chương 3 - Nguyễn Nhật Quang

Học Máy<br /> (IT 4862)<br /> <br /> Nguyễn<br /> ễ Nhật<br /> hậ Quang<br /> quangnn-fit@mail.hut.edu.vn<br /> <br /> Trường Đại học Bách Khoa Hà Nội<br /> Viện Công nghệ thông tin và truyền thông<br /> Năm học 2011-2012<br /> <br /> Nội dung<br /> d<br /> môn<br /> ô học:<br /> h<br /> „<br /> <br /> Giới thiệu chung<br /> g<br /> <br /> „<br /> <br /> Đánh giá hiệu năng hệ thống học máy<br /> <br /> „<br /> <br /> Cá phương<br /> Các<br /> h<br /> pháp<br /> há học<br /> h dựa<br /> d<br /> t ê xác<br /> trên<br /> á suất<br /> ất<br /> <br /> „<br /> <br /> Các phương pháp học có giám sát<br /> <br /> „<br /> <br /> Các phương pháp học không giám sát<br /> <br /> „<br /> <br /> Lọc cộng tác<br /> <br /> „<br /> <br /> Học tăng cường<br /> Học Máy – IT 4862<br /> <br /> 2<br /> <br /> Các phương pháp học dựa trên xác suất<br /> „<br /> <br /> Các phương pháp thống kê cho bài toán phân loại<br /> <br /> „<br /> <br /> Phâ lloạii d<br /> Phân<br /> dựa trên<br /> t ê một<br /> ột mô<br /> ô hì<br /> hình<br /> h xác<br /> á suất<br /> ất cơ sở<br /> ở<br /> <br /> „<br /> <br /> Việc phân loại dựa trên khả năng xảy ra (probabilities)<br /> của các phân lớp<br /> <br /> „<br /> <br /> Các chủ đề chính:<br /> • Giới thiệu về xác suất<br /> • Định lý Bayes<br /> g<br /> cực đại (Maximum<br /> (<br /> a posteriori)<br /> p<br /> )<br /> • Xác suất hậu nghiệm<br /> • Đánh giá khả năng có thể nhất (Maximum likelihood estimation)<br /> • Phân loại Naïve Bayes<br /> • Cực đại hóa kỳ vọng (Expectation maximization)<br /> Học Máy – IT 4862<br /> <br /> 3<br /> <br /> Các khái niệm cơ bản về xác suất<br /> „<br /> <br /> Giả sử chúng ta có một thí nghiệm (ví dụ: đổ một quân xúc sắc) mà kết<br /> quả của nó mang tính ngẫu nhiên (phụ thuộc vào khả năng có thể xảy<br /> ra)<br /> <br /> „<br /> <br /> Không gian các khả năng S. Tập hợp tất cả các kết quả có thể xảy ra<br /> Ví dụ: S=<br /> S {1<br /> {1,2,3,4,5,6}<br /> 2 3 4 5 6} đối với thí nghiệm đổ quân xúc sắc<br /> <br /> „<br /> <br /> Sự kiện E. Một tập con của không gian các khả năng<br /> Ví dụ: E= {1}: kết quả quân súc xắc đổ ra là 1<br /> Ví dụ:<br /> d E= {1,3,5}: kết quả<br /> ả quân<br /> â súc<br /> ú xắc<br /> ắ đổ ra là một<br /> ột số<br /> ố lẻ<br /> <br /> „<br /> <br /> Không gian các sự kiện W. Không gian (thế giới) mà các kết quả của sự<br /> kiện có thể xảy ra<br /> Ví dụ: W bao gồm<br /> ồ tất<br /> ấ cả các lần<br /> ầ đổ<br /> ổ súc xắc<br /> ắ<br /> <br /> „<br /> <br /> Biến ngẫu nhiên A. Một biến ngẫu nhiên biểu diễn (diễn đạt) một sự<br /> kiện, và có một mức độ về khả năng xảy ra sự kiện này<br /> Học Máy – IT 4862<br /> <br /> 4<br /> <br /> Biểu diễn xác suất<br /> P(A): “Phần của không gian (thế giới) mà trong đó A là đúng”<br /> Không gian sự kiện<br /> của ((không<br /> g ggian của<br /> tất cả các giá trị có<br /> thể xảy ra của A)<br /> <br /> Không gian mà<br /> trong đó A là<br /> đúng<br /> Không gian mà<br /> trong đó A là sai<br /> <br /> [http://www cs cmu edu/~awm/tutorials]<br /> [http://www.cs.cmu.edu/~awm/tutorials]<br /> Học Máy – IT 4862<br /> <br /> 5<br /> <br />