Hệ thống MAP-REDUCE

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 2 - Hệ sinh thái Hadoop" trình bày các nội dung chính sau đây: Apache Hadoop; Hệ thống tệp tin Hadoop (HDFS); Mô thức xử lý dữ liệu MapReduce; Các thành phần khác trong hệ sinh thái Hadoop. Mời các bạn cùng tham khảo!

40p gaupanda025 09-04-2024 10 3   Download

Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu và ứng dụng Hadoop để khai thác tập phổ biến được thực hiện với mục tiêu nhằm thực hiện thuật toán Apriori trên một số tập dữ liệu mẫu lớn, tính toán trên hệ thống song song Hadoop/MapReduce. Mời các bạn cùng tham khảo.

114p xusong 12-07-2021 46 3   Download

Nội dung của bài viết này trình bày hướng nghiên cứu và xây dựng hệ thống sandbox trên môi trường phân tán MapReduce nhằm tự động phân tích các hành vi của mã độc. Giải pháp đề xuất cho phép giảm thời gian phân tích và phát hiện chính xác mã độc.

6p caygaocaolon9 04-01-2021 81 7   Download

Bài viết nghiên cứu nhằm đề xuất một số giải pháp hiệu quả cho xử lý Join đệ quy trên nền tảng xử lý dữ liệu lớn thế hệ mới Spark. Đề xuất của chúng tôi đã loại bỏ một lượng lớn dữ liệu dư thừa được tạo ra trong các xử lý lặp của Join đệ quy, tận dụng những lợi thế của việc xử lý trong bộ nhớ và cơ chế bộ nhớ đệm để giảm thiểu các chi phí có liên quan. Thông qua mô hình chi phí và các thực nghiệm, nghiên cứu này chỉ ra rằng các giải pháp của chúng tôi đã cải tiến đáng kể hiệu suất thực thi của Join đệ quy trong môi trường MapReduce.

14p quenchua9 20-11-2020 30 2   Download

Nội dung chính của đồ án là tìm hiều về các thành phần công nghệ và quản lý Big data. Tìm hiểu mô hình xử lý dữ liệu phân tán MapReduce. Tìm hiểu hệ thống Hadoop. Đề ra phương pháp xây dựng hệ thống. Thử nghiệm với các công cụ để giải quyết bài toán.

96p thithizone5 12-08-2019 257 49   Download

Hadoop Distributed File System: lưu trữ dữ liệu phân cụm có khả năng tự sửa lỗi với băng thông cao. MapReduce: quản lý tài nguyên phân tán có khả năng chịu lỗi và lập lịch xử lý song song lượng dữ liệu lớn.

13p volylamsao 22-10-2013 71 8   Download