Nền tảng Apache Spark

Bài viết Xây dựng nền tảng lưu trữ và phân tích dữ liệu lớn với Apache Hadoop và Spark trình bày việc triển khai xây dựng nền tảng lưu trữ dữ liệu lớn sử dụng Apache Hadoop trên một cụm (cluster) các máy tính và Apache Spark để phân tích dữ, trích rút các thông tin có ích (insights) từ tập dữ liệu lưu trữ trên các máy tính này.

8p viengels 25-08-2023 11 6   Download

Bài viết giới thiệu phương pháp xử lý dữ liệu ảnh vệ tinh sử dụng thư viện RasterFrames trên nền tảng Apache Spark. Thư viện RasterFrames xử lý dữ liệu raster cho Python, Scala và SQL, mang sức mạnh của Spark DataFrames vào việc truy cập dữ liệu quan sát Trái đất (Earth Observation), điện toán đám mây và khoa học dữ liệu. Trong phần thực nghiệm, chỉ số thực vật NDVI và sự thay đổi giá trị trung bình của NDVI theo chuỗi thời gian đã được tính toán để chỉ ra sự biến đổi lớp phủ thực vật tại khu vực tỉnh Phú Thọ từ năm 2013-2015.

11p angicungduoc10 15-03-2021 44 3   Download

Bài viết trình bày tiếp cận xây dựng mô hình dự báo dịch rầy nâu gây hại trên lúa. Mô hình máy học véc-tơ hỗ trợ và rừng ngẫu nhiên là các mô hình được sử dụng phổ biến trong dự báo do tính chính xác của chúng. Tuy nhiên, việc cân chỉnh mô hình để tìm các siêu tham số của giải thuật máy học tốn nhiều thời gian tính toán. Đề xuất phân tán các tác vụ cân chỉnh mô hình trên nền Apache Spark (nền tảng tính toán nhóm trên bộ nhớ trong), để rút ngắn thời gian tìm kiếm các siêu tham số của giải thuật học khi xây dựng mô hình dự báo mật số rầy nâu.

9p quenchua9 20-11-2020 27 2   Download

Luận văn "Giải pháp xếp hạng và tính toán song song trên nền tảng Apache Spark " sẽ nghiên cứu các cách tiếp cận cho bài toán xếp hạng sử dụng Apache Spark và các thành phần bên trong nó cho việc phân tích dữ liệu đồng thời trên quy mô lớn có thể mở rộng dễ dàng cũng như khả năng chịu lỗi.

23p hanh_tv27 06-04-2019 33 5   Download

Luận văn này sẽ nghiên cứu các cách tiếp cận mô hình học máy xếp hạng áp dụng cho bài toán xếp hạng trang web xem phim trên Cốc Cốc sử dụng Apache Spark và Elasticsearch cho lưu trữ, phân tích dữ liệu đồng thời trên quy mô lớn có thể mở rộng dễ dàng cũng như khả năng chịu lỗi.

52p hanh_tv26 05-04-2019 59 7   Download