Luận văn Thạc sĩ: Nghiên cứu phát triển nền tảng tích hợp phân tích dữ liệu dòng

Trong bối cảnh phát triển mạnh mẽ của các đô thị thông minh, việc quản lý và phân tích dữ liệu khổng lồ, đa dạng, và đến từ nhiều nguồn khác nhau đã trở thành thách thức lớn. Đặc biệt, các hệ thống giám sát đô thị đòi hỏi một hạ tầng dữ liệu hiện đại, có khả năng lưu trữ, xử lý và truy vấn hiệu quả các khối lượng dữ liệu lớn, đặc biệt là dữ liệu dòng phát sinh liên tục theo thời gian thực. Luận văn này tập trung vào nghiên cứu và phát triển một nền tảng tích hợp phân tích dữ liệu dòng nhằm giải quyết các yêu cầu cấp thiết này. Đề tài xây dựng một mô hình trực quan dựa trên dữ liệu giám sát giao thông tại tỉnh Tây Ninh, với các ứng dụng cụ thể như đo đếm lưu lượng giao thông, nhận diện biển số phương tiện, và dự báo lưu lượng giao thông ngắn hạn, góp phần cung cấp giải pháp lưu trữ và truy vấn dữ liệu hiệu quả cho các hệ thống giám sát.

Nghiên cứu sinh, kỹ sư dữ liệu, kiến trúc sư giải pháp trong lĩnh vực dữ liệu lớn và đô thị thông minh, các nhà quản lý giao thông và quy hoạch đô thị quan tâm đến ứng dụng công nghệ phân tích dữ liệu thời gian thực.

Nghiên cứu này đề xuất một nền tảng tích hợp tiên tiến để phân tích dữ liệu dòng, đáp ứng nhu cầu cấp thiết trong việc xây dựng và vận hành các đô thị thông minh, đặc biệt là trong lĩnh vực giám sát giao thông. Bối cảnh hiện tại cho thấy sự gia tăng vượt bậc về khối lượng, đa dạng và tốc độ của dữ liệu từ các cảm biến và camera giám sát, đòi hỏi một giải pháp xử lý và lưu trữ hiệu quả trong thời gian thực. Luận văn đã nghiên cứu các giải pháp lưu trữ dữ liệu lớn hiện có và đề xuất một kiến trúc tích hợp sử dụng các công nghệ phân tán hàng đầu như Apache Kafka cho việc thu thập và truyền tải dữ liệu dòng, Apache Spark để xử lý và phân tích dữ liệu hiệu quả, cùng với kiến trúc Data Lakehouse để tối ưu hóa lưu trữ và truy vấn. Phương pháp tiếp cận bao gồm việc xây dựng một mô hình thực nghiệm sử dụng dữ liệu giám sát giao thông thực tế từ tỉnh Tây Ninh. Nền tảng này cho phép thực hiện các chức năng quan trọng như đo đếm lưu lượng giao thông, nhận diện biển số phương tiện tự động, và dự báo lưu lượng giao thông ngắn hạn sử dụng thuật toán Support Vector Regression (SVR). Các kết quả thực nghiệm cho thấy tính khả thi và hiệu quả của giải pháp đề xuất trong việc xử lý và phân tích dữ liệu giao thông quy mô lớn. Giá trị ứng dụng của nghiên cứu nằm ở việc cung cấp một khuôn khổ mạnh mẽ, có khả năng mở rộng để các cơ quan quản lý đô thị có thể khai thác thông tin từ dữ liệu dòng, từ đó đưa ra các quyết định sáng suốt hơn trong quản lý giao thông và phát triển đô thị thông minh.