NGUYỄN DANH HÒA KỸ THUẬT PHẦN MỀM
BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI
---------------------------------------
ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
KHOA CÔNG NGHỆ THÔNG TIN
XÂY DỰNG MÔ HÌNH HỆ THỐNG DATA WAREHOUSE TRÊN
NỀN TẢNG AWS
CBHD : ThS. Lê Như Hiền
Sinh viên : Nguyễn Danh Hòa
Mã số sinh viên
: 2019604974
Hà Nội – Năm 2023
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI
KHOA CÔNG NGHỆ THÔNG TIN
ĐỀ TÀI: XÂY DỰNG MÔ HÌNH HỆ THỐNG DATA
WAREHOUSE TRÊN NỀN TẢNG AWS
Giảng viên hướng dẫn: Th.s Lê Như Hiền
Họ và Tên: Nguyễn Danh Hòa
Mã SV: 2019604974
Hà Nội - Năm 2023
1
MỤC LỤC
MỤC LỤC..............................................................................................................................................
DANH MỤC VIẾT TẮT.......................................................................................................................
LỜI MỞ ĐẦU........................................................................................................................................
1. Lí do chọn đề tài........................................................................................................................
2. Đối tượng và phạm vi nghiên cứu............................................................................................
3. Ý nghĩa khoa học và thực tiễn của đề tài.................................................................................
LỜI CẢM ƠN........................................................................................................................................
CHƯƠNG I: TỔNG QUAN VỀ HỆ THỐNG KHO DỮ LIỆU VÀ THIẾT KẾ MÔ HÌNH...........
1. Tổng quan kho dữ liệu..............................................................................................................
2. Kiến trúc chung của Data Warehouse...................................................................................
3. Mô hình logic của kho dữ liệu.................................................................................................
4. Mô hình dữ liệu đa chiều.........................................................................................................
5. Tổng quan về dữ liệu...............................................................................................................
6. Tổng quan về mô hình Datavault...........................................................................................
7. Thu thập và phân tích các yêu cầu về dữ liệu........................................................................
8. Phân tích quy trình nghiệp vụ ngân hàng..............................................................................
8.1. Tiếp nhận thông tin khách hàng.........................................................................................
8.2. Kiểm tra thông tin khách hàng...........................................................................................
8.3. Xây dựng hồ sơ vay...........................................................................................................
8.4. Phê duyệt vay....................................................................................................................
8.5. Ký hợp đồng......................................................................................................................
8.6. Giải ngân...........................................................................................................................
8.7. Theo dõi và quản lý khoản vay..........................................................................................
8.8. Thanh toán và đóng tiền....................................................................................................
9. Xây dựng hệ thống Data Warehouse......................................................................................
10. Thiết kế cơ sở dữ liệu lớp HUB...........................................................................................
2
10.1. Thuộc tính của lớp HUB:...............................................................................................
10.2. Quy tắc thiết kế lớp HUB:.............................................................................................
10.3. Xử lý dữ liệu của lớp HUB:...........................................................................................
11. Thiết kế cơ sở dữ liệu lớp LINK.........................................................................................
11.1. Quy tắc thiết kế cho lớp LINK gồm:..............................................................................
11.2. Cách thiết kế lớp LINK thường bao gồm các bước sau:................................................
11.3. Cách xử lý dữ liệu trong lớp LINK bao gồm:................................................................
12. Thiết kế cơ sở dữ liệu lớp SATELLITE.............................................................................
12.1. Quy tắc thiết kế lớp SATELLITE có thể được mô tả như sau:......................................
12.2. Các quy tắc thiết kế lớp SATELLITE:...........................................................................
12.3. Cách xử lý dữ liệu trong lớp SATELLITE bao gồm:.....................................................
13. Các quy trình ETL..............................................................................................................
14. Phân tích dữ liệu..................................................................................................................
15. Thiết kế database.................................................................................................................
16. Các loại bảng SCD...............................................................................................................
17. Áp dụng cho bài toán triển khai mô hình datavault cho ngân hàng........................................
18. Thiết kế ETL (Extract-Transform-Load) và các công cụ hỗ trợ.....................................
CHƯƠNG II: XÂY DỰNG HỆ THỐNG DATA WAREHOUSE NGÂN HÀNG TÍN DỤNG
TÍCH HỢP ĐA NGUỒN....................................................................................................................
1. Tổng quan về hệ thống kho dữ liệu ngân hàng......................................................................
2. Mục tiêu của hệ thống dữ liệu đa chiều áp dụng trong ngân hàng......................................
3. Tổng quan về Amazon Web Service (AWS)..........................................................................
4. Các dịch vụ lưu trữ và tính toán.............................................................................................
5. Triển khai AWS cho mô hình datavault................................................................................
6. Công cụ hỗ trợ ETL – Dbeaver..............................................................................................
7. Tổng quan về Tableau.............................................................................................................
CHƯƠNG III: XÂY DỰNG HỆ THỐNG BÁO CÁO TỰ ĐỘNG TÍCH HỢP ĐA NGUỒN.......
1. Mục tiêu của báo cáo Tableau................................................................................................
2. Thu thập và chuẩn bị dữ liệu..................................................................................................
3. Thiết kế báo cáo.......................................................................................................................
3
KẾT LUẬN..........................................................................................................................................
1. Kết quả đạt được.....................................................................................................................
2. Hướng phát triển trong tương lai...........................................................................................
TÀI LIỆU THAM KHẢO...................................................................................................................
DANH MỤC VIẾT TẮT
Viết tắt Đầy đủ
DWH Data warehouse - Kho dữ liệu
DMT Data mart - Cửa hàng dữ liệu
CSDL Cơ sở dữ liệu
DB Database - Cơ sở dữ liệu
SSMS SQL Server Management Studio
AI Artificial Intelligence - Trí tuệ nhân tạo
IoT Internet of Things - Internet kết nối vạn vật
PWBI Power BI
DE Data Engineer
DA Data Analyst
STAG Staging
DAS Dashboardg
BA Business Analyst
ETL Extract - Transform - Load
BI Business Intelligence
DL Data Lake - Hồ dữ liệu