Mapreduce của hadoop

Nội dung chính của đồ án là tìm hiều về các thành phần công nghệ và quản lý Big data. Tìm hiểu mô hình xử lý dữ liệu phân tán MapReduce. Tìm hiểu hệ thống Hadoop. Đề ra phương pháp xây dựng hệ thống. Thử nghiệm với các công cụ để giải quyết bài toán.

96p thithizone5 12-08-2019 266 49   Download

Nội dung luận văn này được trình bày trong bốn chương. Phần giới thiệu về đề tài; chương 1 trình bày các khái niệm cơ bản phục vụ cho đề tài; chương 2 trình bày các kiến thức cơ bản về Hadoop và MapReduce, giới thiệu về kiến trúc của Hadoop, MapReduce cũng như cơ chế làm việc của chúng, Chương 3 sẽ trình bày về việc ứng dụng Hadoop và MapReduce vào mô hình ngôn ngữ; chương 4 giới thiệu về công cụ thực nghiệm và kết quả thực nghiệm. Phần kết luận đưa ra kết luận, định hướng phát triển cho đề tài.

54p hanh_tv26 03-04-2019 55 7   Download

Khi Google tung ra tính năng tìm kiếm hình ảnh vào năm 2001, Google đã có 250 triệu hình ảnh được lập chỉ mục. Gần một thập kỷ sau đó, gã khổng lồ tìm kiếm này đã lập chỉ mục hơn 10 tỷ hình ảnh. Ba mươi lăm giờ nội dung được tải lên YouTube mỗi phút. Tính trung bình, Twitter được cho là xử lý 55 triệu mẫu tin ngắn mỗi ngày. Đầu năm nay, 600 triệu truy cập hàng ngày đã đăng nhập vào tính năng tìm kiếm của Twitter. Đó là những gì chúng tôi muốn đưa...

12p bunmam_1 12-05-2013 98 28   Download

Là một mô hình mới của máy tính có thể chuyển đổi các tài nguyên máy tính thuộc sở hữu tư nhân vào các dịch vụ điện toán tiện ích công cộng.  Một trong những ứng dụng thành công nhất của điện toán đám mây là việc phân tích các bộ dữ liệu rất lớn. Google’s MapReduce, Sawzall, Yahoo’s Hadoop , Pig, Microsoft’s Dryad …  Hầu hết các dịch vụ điện toán đám mây đều dựa trên công nghệ máy ảo (Vitural machine: VM): Xen và VMware ESX server, … Nguồn tài nguyên phong phú của phần cứng và...

17p thai_an1828 20-10-2011 333 135   Download

Phát triển một ứng dụng MapReduce của Ruby cho Hadoop M. Tim Jones, Tác giả độc lập, Emulex Tóm tắt: Với việc cấu hình, cài đặt và sử dụng Hadoop trong các kiến trúc một nút và nhiều nút đã thu được, bạn có thể chuyển sang nhiệm vụ phát triển các ứng dụng trong cơ sở hạ tầng Hadoop. Bài viết cuối cùng trong loạt bài này tìm hiểu các API (Giao diện lập trình ứng dụng) của Hadoop và luồng dữ liệu và trình bày cách sử dụng của chúng với một ứng dụng trình ánh xạ (mapper)...

18p hoathietmoclan 13-09-2011 258 43   Download