Luận văn Thạc sĩ Hệ thống thông tin: Giải pháp xếp hạng và tính toán song song trên nền tảng Apache Spark

ĐẠI HỌC QUỐC GIA HÀ NỘI<br /> TRƯỜNG ĐẠI HỌC CÔNG NGHỆ<br /> <br /> NGUYỄN ĐÔNG ĐỨC<br /> <br /> GIẢI PHÁP XẾP HẠNG VÀ TÍNH TOÁN SONG<br /> SONG TRÊN NỀN TẢNG APACHE SPARK<br /> <br /> LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN<br /> <br /> Hà Nội - 2016<br /> <br /> ĐẠI HỌC QUỐC GIA HÀ NỘI<br /> TRƯỜNG ĐẠI HỌC CÔNG NGHỆ<br /> <br /> NGUYỄN ĐÔNG ĐỨC<br /> <br /> GIẢI PHÁP XẾP HẠNG VÀ TÍNH TOÁN SONG SONG TRÊN NỀN<br /> TẢNG APACHE SPARK<br /> Ngành: Công Nghệ Thông Tin<br /> Chuyên ngành: Hệ thống Thông Tin<br /> Mã số chuyên ngành: 60480104<br /> <br /> LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN<br /> <br /> NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. Nguyễn Ngọc Hóa<br /> <br /> Hà Nội – 2016<br /> <br /> LỜI CAM ĐOAN<br /> “ Tôi xin cam đoan đây là công trình nghiên cứu của bản thân. Các số liệu, kết quả<br /> trình bày trong luận văn này là trung thực và chưa từng được ai công bố trong bất<br /> kỳ công trình luận văn nào trước đây.”<br /> <br /> Chữ ký:………………………………………………<br /> <br /> PHÊ DUYỆT CỦA GIÁO VIÊN HƯỚNG DẪN<br /> “Tôi xin cam đoan rằng luận án đã đảm bảo đúng yêu cầu của chương trình đào Thạc sĩ Công<br /> nghệ Thông Tin của trường Đại học Công Nghệ.”<br /> <br /> Chữ ký:………………………………………………<br /> <br /> MỤC LỤC<br /> Lời cảm ơn ...................................................................................................................... 8 <br /> Danh sách các hình ......................................................................................................... 9 <br /> Danh sách các bảng ....................................................................................................... 10 <br /> Danh sách các từ viết tắt ................................................................................................ xi <br /> Chương 1. <br /> <br /> Giới thiệu chung ..................................................................................... 12 <br /> <br /> <br /> <br /> Động lực nghiên cứu ...................................................................................... 12 <br /> <br /> <br /> <br /> Mục tiêu và nội dung của luận văn ................................................................ 12 <br /> <br /> <br /> <br /> Tổ chức của luận văn ..................................................................................... 13 <br /> <br /> Chương 2. <br /> <br /> Tổng quan về xếp hạng ........................................................................... 14 <br /> <br /> <br /> <br /> Tổng quan về xếp hạng .................................................................................. 14 <br /> <br /> <br /> <br /> Mô hình xếp hạng dựa trên độ liên quan........................................................ 16 <br /> <br /> <br /> <br /> Mô hình xếp hạng dựa trên độ quan trọng ..................................................... 18 <br /> <br /> Chương 3. <br /> <br /> Học máy xếp hạng .................................................................................. 21 <br /> <br /> <br /> <br /> Nền tảng cơ sở của học máy .......................................................................... 21 <br /> <br /> <br /> <br /> Nền tảng cơ sở của học máy xếp hạng. .......................................................... 22 <br /> <br /> 3.2.1 <br /> 3.2.2 <br /> 3.2.3 <br /> <br /> <br /> Hướng tiếp cận Pointwise
 ................................................................. 23 <br /> Hướng tiếp cận Pairwise ......................................................................... 23 <br /> Hướng tiếp cận Listwise ..................................................................... 23 <br /> <br /> Tổng kết chương ............................................................................................ 24 <br /> <br /> Chương 4. <br /> <br /> Giải pháp xếp hạng và tính toán song song trên nền apache spark ........ 25 <br /> <br /> <br /> <br /> Bài toán đặt ra ................................................................................................ 25 <br /> <br /> <br /> <br /> Mô hình đặt ra ................................................................................................ 25 <br /> <br /> <br /> <br /> Apache Spark ................................................................................................. 27 <br /> <br /> 4.3.1 <br /> <br /> Tính năng của Apache Spark .................................................................. 28 <br /> <br /> 4.3.2 <br /> <br /> Các thành phần của Apache Spark ......................................................... 28 <br /> <br /> 4.3.3 <br /> <br /> Resilient Distributed Datasets................................................................. 29 <br /> <br /> <br /> <br /> Elasticsearch ................................................................................................... 29 <br /> <br /> 4.4.1 <br /> <br /> Tính năng tổng quát ................................................................................ 30 <br /> <br /> 4.4.2 <br /> <br /> Khái niệm cơ bản .................................................................................... 30 <br /> <br />