Hadoop và MapReduce

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 2 - Hệ sinh thái Hadoop" trình bày các nội dung chính sau đây: Apache Hadoop; Hệ thống tệp tin Hadoop (HDFS); Mô thức xử lý dữ liệu MapReduce; Các thành phần khác trong hệ sinh thái Hadoop. Mời các bạn cùng tham khảo!

40p gaupanda025 09-04-2024 10 3   Download

Bài nghiên cứu này cho biết một thuật toán gom cụm được gọi là K-means dựa trên mô hình MapReduce để xử lý dữ liệu hàng hải tàu biển tại khu vực miền Nam, Việt Nam. Với kết quả thu được, chúng tôi đưa ra suy luận hoặc dự đoán về dữ liệu gom cụm mà chúng được thu thập và sau đó là hiển thị dữ liệu của các hàng hải tàu biển, bao gồm quy mô, hướng và phân bố không gian.

7p bobietbay 22-12-2021 15 1   Download

Bài viết này giới thiệu phương pháp phân tích hồ sơ cá nhân bằng cách áp dụng các giải thuật phổ biến vào mô hình Map-Reduce dựa trên Hadoop framework. Đây là phương pháp nhằm tạo ra công cụ hiệu quả, tiết kiệm thời gian và công sức tìm ra danh sách tối ưu những người có cùng sở thích để phục vụ doanh nghiệp tư vấn sản phẩm cho khách hàng.

7p vining2711 09-08-2021 76 8   Download

Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu và ứng dụng Hadoop để khai thác tập phổ biến được thực hiện với mục tiêu nhằm thực hiện thuật toán Apriori trên một số tập dữ liệu mẫu lớn, tính toán trên hệ thống song song Hadoop/MapReduce. Mời các bạn cùng tham khảo.

114p xusong 12-07-2021 46 3   Download

Nội dung chính của đồ án là tìm hiều về các thành phần công nghệ và quản lý Big data. Tìm hiểu mô hình xử lý dữ liệu phân tán MapReduce. Tìm hiểu hệ thống Hadoop. Đề ra phương pháp xây dựng hệ thống. Thử nghiệm với các công cụ để giải quyết bài toán.

96p thithizone5 12-08-2019 257 49   Download

Nội dung luận văn này được trình bày trong bốn chương. Phần giới thiệu về đề tài; chương 1 trình bày các khái niệm cơ bản phục vụ cho đề tài; chương 2 trình bày các kiến thức cơ bản về Hadoop và MapReduce, giới thiệu về kiến trúc của Hadoop, MapReduce cũng như cơ chế làm việc của chúng, Chương 3 sẽ trình bày về việc ứng dụng Hadoop và MapReduce vào mô hình ngôn ngữ; chương 4 giới thiệu về công cụ thực nghiệm và kết quả thực nghiệm. Phần kết luận đưa ra kết luận, định hướng phát triển cho đề tài.

54p hanh_tv26 03-04-2019 53 6   Download

Đề tài "Mô hình ngôn ngữ sử dụng mapreduce" nhằm mục đích nghiên cứu sử dụng Hadoop và MapReduce vào việc xây dựng mô hình ngôn ngữ nhằm cải tiến tốc độ cho việc xây dựng mô hình ngôn ngữ và ước lượng mô hình để có thể thực hiện với lượng dữ liệu rất lớn để đưa ra mô hình ngôn ngữ chính xác hơn. Mời các bạn cùng tìm đọc toàn văn luận văn này.

36p hanh_tv26 03-04-2019 51 5   Download

Hadoop Distributed File System: lưu trữ dữ liệu phân cụm có khả năng tự sửa lỗi với băng thông cao. MapReduce: quản lý tài nguyên phân tán có khả năng chịu lỗi và lập lịch xử lý song song lượng dữ liệu lớn.

13p volylamsao 22-10-2013 71 8   Download

Là một mô hình mới của máy tính có thể chuyển đổi các tài nguyên máy tính thuộc sở hữu tư nhân vào các dịch vụ điện toán tiện ích công cộng.  Một trong những ứng dụng thành công nhất của điện toán đám mây là việc phân tích các bộ dữ liệu rất lớn. Google’s MapReduce, Sawzall, Yahoo’s Hadoop , Pig, Microsoft’s Dryad …  Hầu hết các dịch vụ điện toán đám mây đều dựa trên công nghệ máy ảo (Vitural machine: VM): Xen và VMware ESX server, … Nguồn tài nguyên phong phú của phần cứng và...

17p thai_an1828 20-10-2011 332 135   Download

Phát triển một ứng dụng MapReduce của Ruby cho Hadoop M. Tim Jones, Tác giả độc lập, Emulex Tóm tắt: Với việc cấu hình, cài đặt và sử dụng Hadoop trong các kiến trúc một nút và nhiều nút đã thu được, bạn có thể chuyển sang nhiệm vụ phát triển các ứng dụng trong cơ sở hạ tầng Hadoop. Bài viết cuối cùng trong loạt bài này tìm hiểu các API (Giao diện lập trình ứng dụng) của Hadoop và luồng dữ liệu và trình bày cách sử dụng của chúng với một ứng dụng trình ánh xạ (mapper)...

18p hoathietmoclan 13-09-2011 258 43   Download