Game mạng xã hội – Làm thế nào để xem KPI

Chia sẻ: Le Thanh Dung | Ngày: | Loại File: PDF | Số trang:13

Thêm vào BST

Báo xấu

76
lượt xem 8
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Hadoop Distributed File System: lưu trữ dữ liệu phân cụm có khả năng tự sửa lỗi với băng thông cao. MapReduce: quản lý tài nguyên phân tán có khả năng chịu lỗi và lập lịch xử lý song song lượng dữ liệu lớn.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Game mạng xã hội – Làm thế nào để xem KPI

Game mạng xã hội – Làm thế nào để xem KPI Le Kim Dung DeNA Hanoi March 15, 2013 Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Nội dung Hadoop Hadoop là gì? Hadoop hoạt động như thế nào? Pig Kiến trúc phân tích cho game mạng xã hội References Q&A Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Hadoop là gì? Hadoop là một framework mã nguồn mở trên nền Java hỗ trợ xử lý dữ liệu lớn trong môi trường tính toán phân tán. Efficient distribution Distributed Distributed to multiple machines Processing Data Storage Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Hadoop hoạt động như thế nào? Thành phần chính của Hadoop: HDFS và MapReduce Hadoop Distributed File System: lưu trữ dữ liệu phân cụm có khả năng tự sửa lỗi với băng thông cao. MapReduce: quản lý tài nguyên phân tán có khả năng chịu lỗi và lập lịch xử lý song song lượng dữ liệu lớn. Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Hadoop hoạt động như thế nào? Hadoop Distributed File System File dữ liệu được chia thành các blocks sau đó được nhân rộng trên các cụm (Hadoop cluster) Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Hadoop hoạt động như thế nào? Hadoop Distributed File System Tối ưu: • Throughput • Put/Get/Delete • Appends Nhân rộng block: • Durability • Availability • Throughput Các block nhân rộng được phân tán trên các máy chủ và tủ máy chủ (rack) Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Hadoop hoạt động như thế nào? MapReduce Công việc được chia nhỏ thành các nhiệm vụ, sau đó các nhiệm vụ này được lập lịch để gần với dữ liệu nhất có thể. Huge calculation task Map Reduced Result Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Hadoop hoạt động như thế nào? MapReduce Các mức phân phối nhiệm vụ: • Cùng máy chủ với dữ liệu (local disk) • Cùng tủ máy chủ với dữ liệu (rack/leaf switch) • Nơi có bộ nhớ trống (cross rack) Tối ưu: • Xử lý theo khối • Khôi phục lỗi Hệ thống phát hiện các nhiệm vụ bị trễ và thực hiện song song các nhiệm vụ trên cùng một khối dữ liệu Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Pig Pig là một ngôn ngữ script gần giống với SQL cho phép thực thi một cách dễ dàng các tiến trình Map Reduce phức tạp A = LOAD ‘myfile' AS (id: int, name: chararray, date: chararray, num: int); B = GROUP A BY date PARALLEL 20; C = FOREACH B GENERATE group AS date, SUM(num) AS total; D = ORDER C BY date PARALLEL 1; STORE D INTO ‘output’; Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Kiến trúc phân tích game mạng xã hội Combo Combo Real time Log Log Combo Combo Log Log Big Data Combo Combo Hourly Log Ad-hoc Log Pig Data Data Processing Processing Games Hourly Report Mail Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Tổng kết Hadoop là một framework hiệu quả cho các ứng dụng phân tán. Hadoop gồm 2 thành phần chính là HDFS là MapReduce Pig là một ngôn ngữ luồng dữ liệu được sử dụng trong việc phân tích lượng dữ liệu lớn Sử dụng Pig cùng hệ thống Hadoop để phân tích dữ liệu người chơi, tạo các báo cáo KPI hàng ngày, hàng giờ. Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Tài liệu tham khảo Juji Ukai - Basics of SG Analytics How to Make $10M/month Games - January 8, 2013. Juji Ukai – Hadoop Trainning – May 24, 2011. Amr Awadallah - Introducing Apache Hadoop: The Modern Data Operating System - November 16, 2011. http://hadoop.apache.org/ http://strata.oreilly.com/2012/02/what-is-apache- hadoop.html http://pig.apache.org/docs/r0.7.0/index.html Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.
Thank you! Copyright (C) 2013 DeNA Co.,Ltd. All Rights Reserved.