Mapreduce

Bài giảng Tìm kiếm và trình diễn thông tin - Bài 10: Các phương pháp xây dựng chỉ mục ngược. Bài này cung cấp cho sinh viên những nội dung gồm: phần cứng căn bản; các giải thuật xây dựng chỉ mục ngược: BSBI, SPIMI, MapReduce; quản lý bộ dữ liệu động;... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

33p codabach1016 03-05-2024 4 1   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 2 - Hệ sinh thái Hadoop" trình bày các nội dung chính sau đây: Apache Hadoop; Hệ thống tệp tin Hadoop (HDFS); Mô thức xử lý dữ liệu MapReduce; Các thành phần khác trong hệ sinh thái Hadoop. Mời các bạn cùng tham khảo!

40p gaupanda025 09-04-2024 14 3   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 6 - Các kĩ thuật xử lý dữ liệu lớn theo khối (Phần 1)" trình bày các nội dung chính sau đây: Mô thức xử lý dữ liệu MapReduce, dữ liệu cho MapReduce, chương trình MapReduce, luồng dữ liêu với bài toán Word Count, MapReduce trên môi trường phân tán,... Mời các bạn cùng tham khảo!

58p gaupanda025 09-04-2024 21 3   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 6 - Các kĩ thuật xử lý dữ liệu lớn theo khối (Phần 2)" trình bày các nội dung chính sau đây: MapReduce với chuỗi các jobs; Toàn cảnh về I/O dữ liệu; RAM có khả năng thay thế ổ đĩa cứng; Một nền tảng xử lý dữ liệu hợp nhất cho dữ liệu lớn;... Mời các bạn cùng tham khảo!

52p gaupanda025 09-04-2024 18 3   Download

Bài viết Một cải tiến thuật toán dự báo học lực học sinh phổ thông dựa trên phương pháp Bayes sử dụng mô hình MapReduce ứng dụng thuật toán Bayes và mô hình MapReduce trong việc dự báo học lực của học sinh để hỗ trợ cho việc quản lý cũng như đánh giá học sinh trong trường phổ thông.

7p viannee 02-08-2023 7 3   Download

Phân cụm là kỹ thuật rất quan trọng trong khai phá dữ liệu, nó thuộc lớp các phương pháp Unsupervised Learning trong Machine Learning. Bài viết Ứng dụng mô hình mapreduce trong phân cụm ảnh đề xuất cải tiến thuật toán phân cụm KMeans dựa trên mô hình MapReduce để có thể áp dụng cho phân cụm ảnh.

3p vipriyankagandhi 27-07-2022 23 4   Download

Trong nghiên cứu này, nhóm nghiên cứu đưa ra mô hình Mapreduce_Fuzzy sẽ khắc phục được các nhược điểm trong bài toán phân vùng ảnh viễn thám. Trong thực nghiệm cũng chỉ rằng thời gian thực thi của mô hình đề xuất cải thiện hơn cho bài toán phân vùng ảnh viên thám.

8p visherylsandberg 18-05-2022 10 3   Download

Bài nghiên cứu này cho biết một thuật toán gom cụm được gọi là K-means dựa trên mô hình MapReduce để xử lý dữ liệu hàng hải tàu biển tại khu vực miền Nam, Việt Nam. Với kết quả thu được, chúng tôi đưa ra suy luận hoặc dự đoán về dữ liệu gom cụm mà chúng được thu thập và sau đó là hiển thị dữ liệu của các hàng hải tàu biển, bao gồm quy mô, hướng và phân bố không gian.

7p bobietbay 22-12-2021 15 1   Download

Nghiên cứu này trình bày ý tưởng cải tiến thuật toán phân cụm dữ liệu PK-means, phân tích ưu và nhược điểm của thuật toán này, sau đó trình bày thuật toán cải tiến của chúng tôi SK-meansMR và thực nghiệm đánh giá chất lượng, tốc độ của thuật toán trên dữ liệu lớn.

8p tomjerry008 11-12-2021 13 1   Download

Bài viết này giới thiệu phương pháp phân tích hồ sơ cá nhân bằng cách áp dụng các giải thuật phổ biến vào mô hình Map-Reduce dựa trên Hadoop framework. Đây là phương pháp nhằm tạo ra công cụ hiệu quả, tiết kiệm thời gian và công sức tìm ra danh sách tối ưu những người có cùng sở thích để phục vụ doanh nghiệp tư vấn sản phẩm cho khách hàng.

7p vining2711 09-08-2021 76 8   Download

Luận văn tập trung nghiên cứu vào mô hình MapReduce, cấu trúc và cách thức hoạt động. Từ đó kết hợp với thuật toán đánh chỉ mục và chỉ mục ngược để thực hiện việc tìm kiếm và thống kê kết quả. Mời các bạn cùng tham khảo!

77p generallady 24-07-2021 15 3   Download

Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu mô hình kiểm soát truy xuất cho dữ liệu lớn được thực hiện với mục tiêu nhằm nghiên cứu về dữ liệu lớn trong tình trạng bùng nổ dữ liệu nói chung, đã và đang đòi hỏi một giải pháp kiểm soát truy xuất chặt chẽ để bảo vệ dữ liệu tránh khỏi những truy xuất không hợp lệ nhằm tăng tính an toàn cho dữ liệu, tăng độ tin cậy dữ liệu cho các ứng dụng liên quan. Mời các bạn cùng tham khảo

106p xusong 12-07-2021 42 6   Download

Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu và ứng dụng Hadoop để khai thác tập phổ biến được thực hiện với mục tiêu nhằm thực hiện thuật toán Apriori trên một số tập dữ liệu mẫu lớn, tính toán trên hệ thống song song Hadoop/MapReduce. Mời các bạn cùng tham khảo.

114p xusong 12-07-2021 46 3   Download

Nội dung của bài viết này trình bày hướng nghiên cứu và xây dựng hệ thống sandbox trên môi trường phân tán MapReduce nhằm tự động phân tích các hành vi của mã độc. Giải pháp đề xuất cho phép giảm thời gian phân tích và phát hiện chính xác mã độc.

6p caygaocaolon9 04-01-2021 85 7   Download

Bài viết nghiên cứu nhằm đề xuất một số giải pháp hiệu quả cho xử lý Join đệ quy trên nền tảng xử lý dữ liệu lớn thế hệ mới Spark. Đề xuất của chúng tôi đã loại bỏ một lượng lớn dữ liệu dư thừa được tạo ra trong các xử lý lặp của Join đệ quy, tận dụng những lợi thế của việc xử lý trong bộ nhớ và cơ chế bộ nhớ đệm để giảm thiểu các chi phí có liên quan. Thông qua mô hình chi phí và các thực nghiệm, nghiên cứu này chỉ ra rằng các giải pháp của chúng tôi đã cải tiến đáng kể hiệu suất thực thi của Join đệ quy trong môi trường MapReduce.

14p quenchua9 20-11-2020 30 2   Download

Nội dung chính của đồ án là tìm hiều về các thành phần công nghệ và quản lý Big data. Tìm hiểu mô hình xử lý dữ liệu phân tán MapReduce. Tìm hiểu hệ thống Hadoop. Đề ra phương pháp xây dựng hệ thống. Thử nghiệm với các công cụ để giải quyết bài toán.

96p thithizone5 12-08-2019 258 49   Download

Nội dung luận văn này được trình bày trong bốn chương. Phần giới thiệu về đề tài; chương 1 trình bày các khái niệm cơ bản phục vụ cho đề tài; chương 2 trình bày các kiến thức cơ bản về Hadoop và MapReduce, giới thiệu về kiến trúc của Hadoop, MapReduce cũng như cơ chế làm việc của chúng, Chương 3 sẽ trình bày về việc ứng dụng Hadoop và MapReduce vào mô hình ngôn ngữ; chương 4 giới thiệu về công cụ thực nghiệm và kết quả thực nghiệm. Phần kết luận đưa ra kết luận, định hướng phát triển cho đề tài.

54p hanh_tv26 03-04-2019 54 7   Download

Đề tài "Mô hình ngôn ngữ sử dụng mapreduce" nhằm mục đích nghiên cứu sử dụng Hadoop và MapReduce vào việc xây dựng mô hình ngôn ngữ nhằm cải tiến tốc độ cho việc xây dựng mô hình ngôn ngữ và ước lượng mô hình để có thể thực hiện với lượng dữ liệu rất lớn để đưa ra mô hình ngôn ngữ chính xác hơn. Mời các bạn cùng tìm đọc toàn văn luận văn này.

36p hanh_tv26 03-04-2019 51 5   Download

Hadoop Distributed File System: lưu trữ dữ liệu phân cụm có khả năng tự sửa lỗi với băng thông cao. MapReduce: quản lý tài nguyên phân tán có khả năng chịu lỗi và lập lịch xử lý song song lượng dữ liệu lớn.

13p volylamsao 22-10-2013 71 8   Download

Khi Google tung ra tính năng tìm kiếm hình ảnh vào năm 2001, Google đã có 250 triệu hình ảnh được lập chỉ mục. Gần một thập kỷ sau đó, gã khổng lồ tìm kiếm này đã lập chỉ mục hơn 10 tỷ hình ảnh. Ba mươi lăm giờ nội dung được tải lên YouTube mỗi phút. Tính trung bình, Twitter được cho là xử lý 55 triệu mẫu tin ngắn mỗi ngày. Đầu năm nay, 600 triệu truy cập hàng ngày đã đăng nhập vào tính năng tìm kiếm của Twitter. Đó là những gì chúng tôi muốn đưa...

12p bunmam_1 12-05-2013 98 28   Download