Kiến trúc của Hadoop

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 3.2 - Hệ thống tập tin phân tán Hadoop HDFS" trình bày các nội dung chính sau đây: Tổng quan về HDFS; Nguyên lý thiết kế cốt lõi của HDFS; Kiến trúc của HDFS; Vai trò của Name node; Nhân bản dữ liệu; Tái nhân bản dữ liệu;... Mời các bạn cùng tham khảo!

30p gaupanda025 09-04-2024 5 3   Download

Bài nghiên cứu này cho biết một thuật toán gom cụm được gọi là K-means dựa trên mô hình MapReduce để xử lý dữ liệu hàng hải tàu biển tại khu vực miền Nam, Việt Nam. Với kết quả thu được, chúng tôi đưa ra suy luận hoặc dự đoán về dữ liệu gom cụm mà chúng được thu thập và sau đó là hiển thị dữ liệu của các hàng hải tàu biển, bao gồm quy mô, hướng và phân bố không gian.

7p bobietbay 22-12-2021 15 1   Download

Nội dung luận văn này được trình bày trong bốn chương. Phần giới thiệu về đề tài; chương 1 trình bày các khái niệm cơ bản phục vụ cho đề tài; chương 2 trình bày các kiến thức cơ bản về Hadoop và MapReduce, giới thiệu về kiến trúc của Hadoop, MapReduce cũng như cơ chế làm việc của chúng, Chương 3 sẽ trình bày về việc ứng dụng Hadoop và MapReduce vào mô hình ngôn ngữ; chương 4 giới thiệu về công cụ thực nghiệm và kết quả thực nghiệm. Phần kết luận đưa ra kết luận, định hướng phát triển cho đề tài.

54p hanh_tv26 03-04-2019 53 6   Download

Bài viết này trình bày một cách tổng quan về vấn đề xử lý dữ liệu lớn trên nền tảng điện toán đám mây như kiến trúc và thành phần của Hadoop, hệ thống tập tin phân tán, mô hình rapreduce và ứng dụng của nó.

8p tieuthi3006 16-03-2018 85 11   Download

Phát triển một ứng dụng MapReduce của Ruby cho Hadoop M. Tim Jones, Tác giả độc lập, Emulex Tóm tắt: Với việc cấu hình, cài đặt và sử dụng Hadoop trong các kiến trúc một nút và nhiều nút đã thu được, bạn có thể chuyển sang nhiệm vụ phát triển các ứng dụng trong cơ sở hạ tầng Hadoop. Bài viết cuối cùng trong loạt bài này tìm hiểu các API (Giao diện lập trình ứng dụng) của Hadoop và luồng dữ liệu và trình bày cách sử dụng của chúng với một ứng dụng trình ánh xạ (mapper)...

18p hoathietmoclan 13-09-2011 258 43   Download