Luận án Tiến sĩ Công nghệ thông tin: Nghiên cứu cải tiến các kỹ thuật rút gọn đặc trưng cho phân lớp dữ liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI<br /> TRƯỜNG ĐẠI HỌC CÔNG NGHỆ<br /> <br /> Hà Văn Sang<br /> <br /> NGHIÊN CỨU CẢI TIẾN CÁC KỸ THUẬT RÚT GỌN<br /> ĐẶC TRƯNG CHO PHÂN LỚP DỮ LIỆU<br /> <br /> LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN<br /> <br /> HÀ NỘI – 2018<br /> <br /> ĐẠI HỌC QUỐC GIA HÀ NỘI<br /> TRƯỜNG ĐẠI HỌC CÔNG NGHỆ<br /> <br /> Hà Văn Sang<br /> <br /> NGHIÊN CỨU CẢI TIẾN CÁC KỸ THUẬT RÚT<br /> GỌN ĐẶC TRƯNG CHO PHÂN LỚP DỮ LIỆU<br /> <br /> Chuyên ngành: Hệ thống thông tin<br /> Mã số: 62.48.01.04<br /> LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN<br /> <br /> NGƯỜI HƯỚNG DẪN KHOA HỌC:<br /> 1. PGS. TS. NGUYỄN HÀ NAM<br /> 2. PGS. TS. NGUYỄN HẢI CHÂU<br /> <br /> Hà Nội – 2018<br /> <br /> LỜI CAM ĐOAN<br /> Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện dưới sự hướng<br /> dẫn của PGS.TS. Nguyễn Hà Nam và PGS.TS. Nguyễn Hải Châu tại Bộ môn các Hệ<br /> thống Thông tin, Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học<br /> Quốc gia Hà nội. Các số liệu và kết quả trình bày trong luận án là trung thực và chưa<br /> được công bố trong bất cứ các công trình nào khác trước đây.<br /> Tác giả<br /> <br /> Hà Văn Sang<br /> <br /> i<br /> <br /> LỜI CẢM ƠN<br /> Luận án được thực hiện tại Bộ môn Hệ thống Thông tin-Khoa CNTT, Trường<br /> Đại học Công nghệ, Đại học Quốc gia Hà Nội, dưới sự hướng dẫn của PGS.TS.<br /> Nguyễn Hà Nam và PGS.TS. Nguyễn Hải Châu.<br /> Trước tiên, tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS. Nguyễn Hà Nam<br /> và PGS.TS. Nguyễn Hải Châu. Hai Thầy đã tận tụy chỉ dạy, giúp đỡ tôi từ định hướng<br /> nghiên cứu đến việc giải quyết những vấn đề khó khăn nhất trong quá trình nghiên<br /> cứu. Không chỉ về lĩnh vực nghiên cứu khoa học, các Thầy còn chỉ bảo cho tôi nhiều<br /> điều trong cuộc sống. Đó là những bài học vô cùng quý giá và hữu ích cho chính bản<br /> thân tôi trong thời gian tới.<br /> Tôi cũng xin gửi lời cảm ơn tới tập thể các Thầy, Cô giáo, các nhà khoa học<br /> trong khoa CNTT đã truyền đạt cho tôi những kiến thức quý báu và đã tạo điều kiện<br /> thuận lợi cho tôi trong quá trình học tập và nghiên cứu.<br /> Tôi xin gửi lời cảm ơn tới các Thầy, Cô giáo ở Bộ môn Tin học Tài chính kế<br /> toán, khoa Hệ thống Thông tin kinh tế, Học viện Tài chính, những người đồng nghiệp<br /> đã tạo điều kiện giúp đỡ tôi về mặt thời gian cũng như sắp xếp công việc trong quá<br /> trình tôi làm nghiên cứu sinh.<br /> Tôi cũng gửi lời cảm ơn tất cả bạn bè, những người đã giúp đỡ và hỗ trợ tôi<br /> trong suốt quá trình nghiên cứu.<br /> Cuối cùng, tôi vô cùng biết ơn gia đình, bố mẹ tôi, anh chị em, đặc biệt là vợ<br /> của tôi, những người đã động viên, tạo mọi điều kiện thuận lợi để tôi có thể hoàn<br /> thành chương trình nghiên cứu sinh của mình.<br /> Hà Văn Sang<br /> <br /> Hà Nội, 1-12-2017<br /> <br /> ii<br /> <br /> TÓM TẮT<br /> Rút gọn đặc trưng ngày càng được sử dụng rộng rãi nhằm tăng hiệu năng cũng<br /> như giảm chi phí trong quá trình phân tích dữ liệu. Mục tiêu của việc rút gọn đặc<br /> trưng là xác định và giảm bớt đặc trưng của dữ liệu gốc dựa trên việc biến đổi không<br /> gian đặc trưng hoặc lựa chọn những đặc trưng quan trọng, loại bỏ các đặc trưng không<br /> liên quan, dư thừa nhằm giảm kích thước dữ liệu, từ đó cải thiện hiệu quả, độ chính<br /> xác của các mô hình phân tích dữ liệu. Các kỹ thuật rút gọn đặc trưng đã được áp<br /> dụng rộng rãi trong nhiều ứng dụng khác nhau như: cho điểm tín dụng, phân tích dữ<br /> liệu ung thư, tìm kiếm thông tin, phân lớp văn bản. Tuy nhiên, không tồn tại một kỹ<br /> thuật rút gọn đặc trưng mà hiệu quả trên mọi miền dữ liệu. Trong luận án này, chúng<br /> tôi tập trung vào việc tìm hiểu, phân tích và cải tiến một số kỹ thuật rút gọn đặc trưng<br /> nhằm tăng hiệu năng của kỹ thuật phân tích dữ liệu hiện có theo hai hướng tiếp cận<br /> là lựa chọn đặc trưng và trích xuất đặc trưng.<br /> Có nhiều cách tiếp cận rút gọn đặc trưng khác nhau đã được giới thiệu, tuy<br /> nhiên các cách tiếp cận này vẫn tồn tại một số hạn chế khi áp dụng với các miền dữ<br /> liệu khác nhau. Chúng tôi đã đề xuất phương pháp lựa chọn đặc trưng có tên FRFE<br /> (Fast Recursive Feature Elimination) dựa trên hướng tiếp cận đóng gói (wrapper) với<br /> lõi là một thủ tục loại bỏ đặc trưng đệ quy. Để tăng hiệu quả của việc lựa chọn đặc<br /> trưng, chúng tôi đã đề xuất một hàm đánh giá (ranking) đặc trưng và thủ tục lựa chọn<br /> đặc trưng tương ứng. Hơn nữa, do đặc điểm của phương pháp lựa chọn đặc trưng<br /> đóng gói là chi phí tính toán cao, vì vậy chúng tôi đã áp dụng các thư viện xử lý phân<br /> tán để cải thiện hiệu năng của thuật toán đề xuất. Kết quả thực nghiệm thuật toán<br /> FRFE (được viết bằng ngôn ngữ R) trên hai bộ dữ liệu tín dụng Đức và Úc cho thấy<br /> thuật toán đề xuất đã cải thiện được thời gian chạy so với thuật toán cơ sở và đạt kết<br /> quả khả quan so với các kỹ thuật hiện có.<br /> Theo hướng tiếp cận trích xuất đặc trưng, chúng tôi đã đề xuất phương pháp<br /> trích xuất đặc trưng có tên C-KPCA (Custom-Kernel PCA) nhằm làm giảm số lượng<br /> đặc trưng dựa trên kỹ thuật hàm nhân PCA. Đóng góp chính của phương pháp đề xuất<br /> <br /> iii<br /> <br />