Apache spark

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 7 - Các kĩ thuật xử lý luồng dữ liệu lớn" trình bày các nội dung chính sau đây: Hệ sinh thái Apache Spark; Tổng quan về Spark streaming; Ưu điểm của Spark streaming; Luồng hoạt động của Spark streaming; Transformation trên DStreams;... Mời các bạn cùng tham khảo!

75p gaupanda025 09-04-2024 10 2   Download

Ebook "Learning hadoop" includes content: Introduction, the inner workings of HDFS, processing – MapReduce and beyond, real-time computation with samza, iterative computation with spark, data analysis with apache pig,.... and other contents.

382p haojiubujain07 20-09-2023 3 2   Download

Part 1 of ebook "Graph algorithms: Practical examples in Apache Spark and Neo4j" provides readers with contents including: chapter 1 - introduction; chapter 2 - graph theory and concepts; chapter 3 - graph platforms and processing; chapter 4 - pathfinding and graph search algorithms; chapter 5 - centrality algorithms;...

126p tieulangtran 28-09-2023 8 3   Download

Continued part 1, part 2 of ebook "Graph algorithms: Practical examples in Apache Spark and Neo4j" provides readers with contents including: chapter 6 - community detection algorithms; chapter 7 - graph algorithms in practice; chapter 8 - using graph algorithms to enhance machine learning;...

131p tieulangtran 28-09-2023 6 2   Download

Bài viết Xây dựng nền tảng lưu trữ và phân tích dữ liệu lớn với Apache Hadoop và Spark trình bày việc triển khai xây dựng nền tảng lưu trữ dữ liệu lớn sử dụng Apache Hadoop trên một cụm (cluster) các máy tính và Apache Spark để phân tích dữ, trích rút các thông tin có ích (insights) từ tập dữ liệu lưu trữ trên các máy tính này.

8p viengels 25-08-2023 9 6   Download

Bài viết đề xuất thuật toán song song MCP-mRI nhằm nâng cao hiệu năng cho khai thác tập hiếm tối thiểu trên bộ xử lý đa nhân. Thuật toán đề xuất dễ dàng mở rộng trên nhiều hệ thống tính toán phân tán như Hadoop, Apache Spark. Kết quả thực nghiệm trên bộ dữ liệu thực của UCI và bộ dữ liệu giả lập của trung tâm nghiên cứu IBM Almaden, cho thấy thuật toán đề xuất hiệu quả. Mời các bạn cùng tham khảo!

5p wangziyi_1307 26-04-2022 16 2   Download

Bài viết giới thiệu phương pháp xử lý dữ liệu ảnh vệ tinh sử dụng thư viện RasterFrames trên nền tảng Apache Spark. Thư viện RasterFrames xử lý dữ liệu raster cho Python, Scala và SQL, mang sức mạnh của Spark DataFrames vào việc truy cập dữ liệu quan sát Trái đất (Earth Observation), điện toán đám mây và khoa học dữ liệu. Trong phần thực nghiệm, chỉ số thực vật NDVI và sự thay đổi giá trị trung bình của NDVI theo chuỗi thời gian đã được tính toán để chỉ ra sự biến đổi lớp phủ thực vật tại khu vực tỉnh Phú Thọ từ năm 2013-2015.

11p angicungduoc10 15-03-2021 44 3   Download

The impressively low cost and improved quality of genome sequencing provides to researchers of genetic diseases, such as cancer, a powerful tool to better understand the underlying genetic mechanisms of those diseases and treat them with effective targeted therapies.

8p vioklahoma2711 19-11-2020 8 1   Download

Bài viết trình bày tiếp cận xây dựng mô hình dự báo dịch rầy nâu gây hại trên lúa. Mô hình máy học véc-tơ hỗ trợ và rừng ngẫu nhiên là các mô hình được sử dụng phổ biến trong dự báo do tính chính xác của chúng. Tuy nhiên, việc cân chỉnh mô hình để tìm các siêu tham số của giải thuật máy học tốn nhiều thời gian tính toán. Đề xuất phân tán các tác vụ cân chỉnh mô hình trên nền Apache Spark (nền tảng tính toán nhóm trên bộ nhớ trong), để rút ngắn thời gian tìm kiếm các siêu tham số của giải thuật học khi xây dựng mô hình dự báo mật số rầy nâu.

9p quenchua9 20-11-2020 27 2   Download

In this paper we propose SparkBLAST, a parallelization of a sequence alignment application (BLAST) that employs cloud computing for the provisioning of computational resources and Apache Spark as the coordination framework.

13p viflorida2711 30-10-2020 20 2   Download

Bisulfite sequencing is one of the major high-resolution DNA methylation measurement method. Due to the selective nucleotide conversion on unmethylated cytosines after treatment with sodium bisulfite, processing bisulfite-treated sequencing reads requires additional steps which need high computational demands.

9p vicoachella2711 27-10-2020 10 1   Download

Luận văn "Giải pháp xếp hạng và tính toán song song trên nền tảng Apache Spark " sẽ nghiên cứu các cách tiếp cận cho bài toán xếp hạng sử dụng Apache Spark và các thành phần bên trong nó cho việc phân tích dữ liệu đồng thời trên quy mô lớn có thể mở rộng dễ dàng cũng như khả năng chịu lỗi.

23p hanh_tv27 06-04-2019 32 5   Download

Luận văn này sẽ nghiên cứu các cách tiếp cận mô hình học máy xếp hạng áp dụng cho bài toán xếp hạng trang web xem phim trên Cốc Cốc sử dụng Apache Spark và Elasticsearch cho lưu trữ, phân tích dữ liệu đồng thời trên quy mô lớn có thể mở rộng dễ dàng cũng như khả năng chịu lỗi.

52p hanh_tv26 05-04-2019 57 7   Download