Luận văn Thạc sĩ: Nghiên cứu xây dựng giải pháp làm sạch và tích hợp dữ liệu lớn

Trong bối cảnh kỷ nguyên số bùng nổ, lượng dữ liệu khổng lồ được tạo ra từ nhiều nguồn khác nhau, với đa dạng định dạng (có cấu trúc, phi cấu trúc, bán cấu trúc) và tính không nhất quán vốn có, đặt ra thách thức lớn trong việc quản lý và khai thác. Để tận dụng hiệu quả các công nghệ phân tích dữ liệu tiên tiến và trí tuệ nhân tạo, việc đảm bảo dữ liệu sạch và tích hợp là điều kiện tiên quyết. Nghiên cứu này tập trung vào việc giới thiệu và phân tích các vấn đề xung quanh quá trình làm sạch và tích hợp dữ liệu lớn, đây là một bài toán phức tạp nhưng thiết yếu, đặc biệt trong bối cảnh Việt Nam đang thúc đẩy mạnh mẽ chiến lược chuyển đổi số quốc gia và xây dựng chính phủ số dựa trên dữ liệu.

Nghiên cứu sinh, kỹ sư dữ liệu, chuyên gia công nghệ thông tin, nhà quản lý dự án dữ liệu lớn, và các nhà hoạch định chính sách quan tâm đến quản lý và khai thác dữ liệu lớn tại Việt Nam.

Luận văn này nghiên cứu sâu về các giải pháp làm sạch và tích hợp dữ liệu lớn, một lĩnh vực trọng yếu trong kỷ nguyên số. Tác giả bắt đầu bằng việc định nghĩa dữ liệu, phân loại các dạng dữ liệu (có cấu trúc, phi cấu trúc, bán cấu trúc), sau đó đi sâu vào khái niệm làm sạch dữ liệu – quy trình phát hiện và sửa lỗi, nhiễu, hoặc không nhất quán trong dữ liệu để đảm bảo độ chính xác và tính hữu ích. Dữ liệu lớn được mô tả thông qua 5 đặc trưng chính là Volume (dung lượng), Velocity (tốc độ), Variety (đa dạng), Veracity (xác thực) và Value (giá trị), phản ánh sự phức tạp và quy mô của nó. Về tích hợp dữ liệu, luận văn trình bày khái niệm về việc kết hợp dữ liệu từ nhiều nguồn khác nhau thành một lược đồ duy nhất, cho phép truy vấn và có cái nhìn tổng thể. Các phương pháp và công nghệ tích hợp dữ liệu điển hình như ETL, EII, EAI cũng được thảo luận chi tiết, nhấn mạnh vai trò của chúng trong việc tối ưu hóa quản lý và khai thác tài nguyên dữ liệu. Giá trị ứng dụng của việc làm sạch và tích hợp dữ liệu lớn được thể hiện qua các ví dụ thực tiễn trong nhiều ngành như viễn thông, tài chính, bán lẻ, và cải cách hành chính tại Việt Nam. Luận văn cũng trình bày một nghiên cứu thực nghiệm về làm sạch và tích hợp dữ liệu tại trường Đại học Đại Nam, minh họa quy trình và kết quả đạt được. Kết quả nghiên cứu cung cấp cái nhìn toàn diện về thách thức và giải pháp, góp phần vào chiến lược chuyển đổi số và phát triển kinh tế-xã hội dựa trên dữ liệu tại Việt Nam.