Xử lý dữ liệu lớn

Nền kinh tế nền tảng là một dạng giao thoa của viễn thông trong môi trường kỹ thuật số với dữ liệu lớn và các thuật toán được áp dụng để xử lý chúng. Thị trường nền tảng kinh doanh đang từng bước được hình thành và tăng trưởng liên tục rất nhiều trong những năm qua kéo theo sự phát triển của nền kinh tế nền tảng. Bài viết này nghiên cứu lý luận phát triển nền tảng số cho doanh nghiệp, trên cơ sở đó làm căn cứ lý luận cho các nghiên cứu tiếp theo phát triển nền tảng số cho doanh nghiệp trong thời gian tới.

7p tonhiemm 07-06-2024 1 0   Download

Bài viết phân tích và đề xuất một số giải pháp nhằm tăng cường sử dụng công nghệ kỹ thuật số trong phân tích tài chính thông qua việc hợp lý hóa các quy trình, cải thiện độ chính xác và đưa ra các quyết định dựa trên dữ liệu sâu sắc hơn.

4p viamancio 04-06-2024 1 0   Download

Nội dung của nghiên cứu này được sắp xếp như sau. Chương 1 trình bày tổng quan về tình hình nghiên cứu, từ đó xác định vấn đề cần giải quyết. Chương 2 trình bày phương pháp luận để xây dựng lên mô hình kiến trúc đề xuất. Chương 3 trình bày kết quả thực nghiệm và các thảo luận liên quan. Kết luận và các hướng phát triển tương lại được trình bày ở chương 4.

61p khanhchi2510 19-04-2024 8 5   Download

Bài báo đã tiến hành khảo sát xử lý dữ liệu GNSS thu nhận được bởi trạm thu GNSS CORS có tên CTHO sử dụng 5 dịch vụ xử lý PPP trực tuyến đó là OPUS, AusPOS, GAPS, CRCS-PPP và GNSS converter. Từ kết quả nhận được cho thấy, sử dụng các dịch vụ xử lý dữ liệu trực tuyến đạt kết quả tốt ngoại trừ dịch vụ OPUS cho độ chính xác thấp, độ lệch tọa độ trung bình cũng như biến thiên tọa độ lớn. Với độ chính xác xác định tọa độ đạt được như trên, hoàn toàn có thể ứng dụng kết quả đạt được với dịch vụ xử lý dữ liệu GNSS trực tuyến trong công tác trắc địa - bản đồ tại Việt Nam.

9p gaupanda028 22-04-2024 4 3   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 2 - Hệ sinh thái Hadoop" trình bày các nội dung chính sau đây: Apache Hadoop; Hệ thống tệp tin Hadoop (HDFS); Mô thức xử lý dữ liệu MapReduce; Các thành phần khác trong hệ sinh thái Hadoop. Mời các bạn cùng tham khảo!

40p gaupanda025 09-04-2024 5 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 3.1 - Hệ thống tập tin phân tán Hadoop HDFS" trình bày các nội dung chính sau đây: Các khái niệm; Hệ thống tệp tin phân tán vs. cục bộ; Các vấn đề về thiết kế trong hệ thống tệp tin phân tán;... Mời các bạn cùng tham khảo!

18p gaupanda025 09-04-2024 4 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 3.2 - Hệ thống tập tin phân tán Hadoop HDFS" trình bày các nội dung chính sau đây: Tổng quan về HDFS; Nguyên lý thiết kế cốt lõi của HDFS; Kiến trúc của HDFS; Vai trò của Name node; Nhân bản dữ liệu; Tái nhân bản dữ liệu;... Mời các bạn cùng tham khảo!

30p gaupanda025 09-04-2024 3 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 4 - Cơ sở dữ liệu phi quan hệ NoSQL (Phần 1)" trình bày các nội dung chính sau đây: Kỷ nguyên của cơ sở dữ liệu, trường hợp sử dụng NoSQL, mô hình dữ liệu quan hệ, kho lưu trữ cơ sở dữ liệu đồ thị;... Mời các bạn cùng tham khảo!

43p gaupanda025 09-04-2024 3 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 4 - Cơ sở dữ liệu phi quan hệ NoSQL (Phần 2)" trình bày các nội dung chính sau đây: Kiến trúc hệ thống dữ liệu, thuật toán phân vùng, đồng bộ bản sao, phiên bản dữ liệu,... Mời các bạn cùng tham khảo!

16p gaupanda025 09-04-2024 4 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 4 - Cơ sở dữ liệu phi quan hệ NoSQL (Phần 3)" trình bày các nội dung chính sau đây: Kiến trúc phân tán, mô hình thực thi Presto, tối ưu hóa truy vấn, thực thi truy vấn,... Mời các bạn cùng tham khảo!

50p gaupanda025 09-04-2024 7 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 5 - Hệ thống truyền thông điệp phân tán" trình bày các nội dung chính sau đây: Khả năng của Apache Kafka, kiến ​​trúc Apache Kafka, lưu giữ hồ sơ Kafka, chia sẻ tải của người tiêu dùng Kafka,.... Mời các bạn cùng tham khảo!

43p gaupanda025 09-04-2024 5 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 6 - Các kĩ thuật xử lý dữ liệu lớn theo khối (Phần 1)" trình bày các nội dung chính sau đây: Mô thức xử lý dữ liệu MapReduce, dữ liệu cho MapReduce, chương trình MapReduce, luồng dữ liêu với bài toán Word Count, MapReduce trên môi trường phân tán,... Mời các bạn cùng tham khảo!

58p gaupanda025 09-04-2024 12 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 6 - Các kĩ thuật xử lý dữ liệu lớn theo khối (Phần 2)" trình bày các nội dung chính sau đây: MapReduce với chuỗi các jobs; Toàn cảnh về I/O dữ liệu; RAM có khả năng thay thế ổ đĩa cứng; Một nền tảng xử lý dữ liệu hợp nhất cho dữ liệu lớn;... Mời các bạn cùng tham khảo!

52p gaupanda025 09-04-2024 11 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 7 - Các kĩ thuật xử lý luồng dữ liệu lớn" trình bày các nội dung chính sau đây: Hệ sinh thái Apache Spark; Tổng quan về Spark streaming; Ưu điểm của Spark streaming; Luồng hoạt động của Spark streaming; Transformation trên DStreams;... Mời các bạn cùng tham khảo!

75p gaupanda025 09-04-2024 10 2   Download

Bài giảng "Lưu trữ và xử lý dữ liệu lớn: Chương 1 - Tổng quan về lưu trữ và xử lý dữ liệu lớn" trình bày các nội dung chính sau đây: Những con số về tốc độ sinh dữ liệu; Các nguồn tạo ra dữ liệu lớn; Đặc điểm 5’V của dữ liệu lớn; Khai thác dữ liệu lớn trong giáo dục; Khai thác dữ liệu lớn trong khoa học chăm sóc sức khoẻ;... Mời các bạn cùng tham khảo!

43p gaupanda025 09-04-2024 8 1   Download

Nghiên cứu cho thấy khả năng ứng dụng công nghệ GIS và Viễn thám trong giám sát biến động diện tích, chất lượng nước mặt và phục vụ quản lý trang trại chăn nuôi tại tỉnh Bình Phước. Nền tảng Google Earth Engine (GEE) xử lý, tính toán từ số lượng lớn dữ liệu ảnh vệ tinh Sentinel-2 từ năm 2017 đến năm 2022 để tính chỉ số NDWI và thông số chất lượng nước Chl-a, TSI và SD.

8p visergey 14-03-2024 5 1   Download

Đề tài nghiên cứu khoa học "Xử lý dữ liệu cho bài toán phân lớp ổn định hệ thống điện" với mục tiêu nhằm đưa ra đề xuất mô hình song song làm gọn nhẹ mô hình huấn luyện nhưng không phù hợp cho chẩn giá ổn định hệ thống điện lớn nhiều máy.

79p mucnang444 02-02-2024 7 4   Download

Bài viết "Một số công cụ xử lý số liệu trong nghiên cứu khoa học, áp dụng cho sinh viên ngành kinh tế - xã hội" giới thiệu đặc điểm và so sánh ưu, nhược điểm của một số công cụ xử lý dữ liệu trong nghiên cứu khoa học như SPSS, STATA, SAS, Eviews,... và big data ứng dụng chuyên ngành nghiên cứu khoa học ở các trường đại học.

3p gaupanda011 10-01-2024 4 0   Download

Bài viết tập trung nghiên cứu các yếu tố ảnh hưởng đến kết quả đo đạc và xử lý dữ liệu GNSS độ chính xác cao, và các tiêu chuẩn của các phần mềm hiện đại được sử dụng để xử lý dữ liệu đo GNSS độ chính xác cao trên các khoảng cách lớn.

3p gaupanda011 10-01-2024 8 1   Download

Bài viết Thuật toán song song khai thác nhanh các mẫu trọng số hữu ích phổ biến từ cơ sở dữ liệu định lượng động giới thiệu một giải pháp song song hoạt động trên bộ xử lý đa lõi, đặt tên là pdFWUNL, để khai thác các mẫu trọng số hữu ích phổ biến từ cơ sở dữ liệu định lượng động có trọng số các mục thay đổi.

7p visystrom 22-11-2023 11 6   Download