Bài giảng Điện toán đám mây: Chương 3 - Mạc Văn Quang

Trong kỷ nguyên số hóa, việc quản lý và xử lý lượng lớn dữ liệu đóng vai trò then chốt đối với sự phát triển của công nghệ và các ứng dụng hiện đại. Khả năng lưu trữ dữ liệu một cách hiệu quả, bền vững và đồng thời xử lý dữ liệu nhanh chóng là những thách thức trung tâm. Chương này giới thiệu các khái niệm cơ bản và các hệ thống tiên tiến trong lĩnh vực này, tập trung vào các giải pháp lưu trữ và xử lý dữ liệu phân tán nhằm đáp ứng nhu cầu ngày càng tăng về quy mô và hiệu suất.

Sinh viên ngành Công nghệ thông tin, Kỹ thuật phần mềm, Khoa học máy tính; các kỹ sư, chuyên gia dữ liệu và nhà nghiên cứu quan tâm đến hệ thống phân tán và xử lý dữ liệu lớn.

Chương này đi sâu vào các phương pháp và hệ thống cốt lõi trong lưu trữ và xử lý dữ liệu, bắt đầu với các hệ thống file phân tán truyền thống như NFS (Network File System) và AFS (Andrew File System). NFS được giới thiệu với ưu điểm về tính trong suốt trong truy cập tập tin, mặc dù có nhược điểm về khả năng mở rộng thấp khi đọc/ghi dữ liệu qua mạng và hiệu năng suy giảm khi truy cập tương tranh. AFS, một hệ thống file phân tán khác, cải thiện khả năng mở rộng nhờ cơ chế sao chép toàn bộ tập tin về máy người dùng để xử lý cục bộ, dù tính nhất quán có thể bị ảnh hưởng. Tiếp đó, chương trình chuyển sang Hadoop, một framework mạnh mẽ cho các ứng dụng phân tán, được thiết kế để xử lý dữ liệu rất lớn. Hadoop bao gồm hai thành phần chính: HDFS (Hadoop Distributed File System) để lưu trữ dữ liệu khổng lồ (hàng terabyte trên hàng ngàn node) với các đặc tính như khả năng phát hiện lỗi, chống chịu lỗi và tự động phục hồi; và MapReduce, một mô hình xử lý phân tán giúp phát triển các ứng dụng xử lý dữ liệu dễ dàng và mạnh mẽ. Quy trình hoạt động của MapReduce được trình bày chi tiết, bao gồm các bước đọc dữ liệu đầu vào, thực hiện hàm map, sắp xếp và trộn kết quả, thực hiện hàm reduce, và đưa ra kết quả cuối cùng. Tổng thể, chương này cung cấp cái nhìn toàn diện về các công nghệ quan trọng để xây dựng các hệ thống quản lý và phân tích dữ liệu quy mô lớn trong môi trường phân tán.