ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN ĐÔNG ĐỨC
GIẢI PHÁP XẾP HẠNG VÀ TÍNH TOÁN SONG
SONG TRÊN NỀN TẢNG APACHE SPARK
LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN
Hà Nội - 2016
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN ĐÔNG ĐỨC
GIẢI PHÁP XẾP HẠNG VÀ TÍNH TOÁN SONG SONG TRÊN NỀN
TẢNG APACHE SPARK
Ngành: Công Nghệ Thông Tin
Chuyên ngành: Hệ thống Thông Tin
Mã số chuyên ngành: 60480104
LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. Nguyễn Ngọc Hóa
Hà Nội – 2016
LỜI CAM ĐOAN
“ Tôi xin cam đoan đây là công trình nghiên cứu của bản thân. Các số liệu, kết quả
trình bày trong luận văn này là trung thực và chưa từng được ai công bố trong bất
kỳ công trình luận văn nào trước đây.”
Chữ ký:………………………………………………
PHÊ DUYỆT CỦA GIÁO VIÊN HƯỚNG DẪN
“Tôi xin cam đoan rằng luận án đã đảm bảo đúng yêu cầu của chương trình đào Thạc sĩ Công
nghệ Thông Tin của trường Đại học Công Nghệ.”
Chữ ký:………………………………………………
MỤC LỤC
Lời cảm ơn ...................................................................................................................... 8!
Danh sách các hình ......................................................................................................... 9!
Danh sách các bảng ....................................................................................................... 10!
Danh sách các từ viết tắt ................................................................................................ xi!
Chương 1.!Giới thiệu chung ..................................................................................... 12!
!Động lực nghiên cứu ...................................................................................... 12!
!Mục tiêu và nội dung của luận văn ................................................................ 12!
!Tổ chức của luận văn ..................................................................................... 13!
Chương 2.!Tổng quan về xếp hạng ........................................................................... 14!
!Tổng quan về xếp hạng .................................................................................. 14!
!Mô hình xếp hạng dựa trên độ liên quan ........................................................ 16!
!Mô hình xếp hạng dựa trên độ quan trọng ..................................................... 18!
Chương 3.!Học máy xếp hạng .................................................................................. 21!
!Nền tảng cơ sở của học máy .......................................................................... 21!
!Nền tảng cơ sở của học máy xếp hạng. .......................................................... 22!
3.2.1!Hướng tiếp cận Pointwise ................................................................. 23!
3.2.2!Hướng tiếp cận Pairwise ......................................................................... 23!
3.2.3!Hướng tiếp cận Listwise ..................................................................... 23!
!Tổng kết chương ............................................................................................ 24!
Chương 4.!Giải pháp xếp hạng và tính toán song song trên nền apache spark ........ 25!
!Bài toán đặt ra ................................................................................................ 25!
!Mô hình đặt ra ................................................................................................ 25!
!Apache Spark ................................................................................................. 27!
4.3.1!Tính năng của Apache Spark .................................................................. 28!
4.3.2!Các thành phần của Apache Spark ......................................................... 28!
4.3.3!Resilient Distributed Datasets ................................................................. 29!
!Elasticsearch ................................................................................................... 29!
4.4.1!Tính năng tổng quát ................................................................................ 30!
4.4.2!Khái niệm cơ bản .................................................................................... 30!