1
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
---------------------------------------
TRẦN VŨ HẢI
ÁP DỤNG KỸ THUẬT PHÂN TÍCH DỮ LIỆU TRỰC TUYẾN (OLAP)
PHỤC VỤ CÔNG TÁC QUẢN LÝ ĐIỀU HÀNH
Chuyên ngành: KHOA HỌC MÁY TÍNH
Mã số: 60.48.01
Người hướng dẫn KH: PGS. TS Đỗ Trung Tuấn
TÓM TẮT LUẬN VĂN THẠC SĨ
HÀ NỘI - 2011
2
MỞ ĐẦU
Học viện Công nghệ Bưu chính viễn thông là một đơn vị thành viên của Tập
đoàn Bưu chính Viễn thông Việt Nam có chức năng chính là đào tạo, nghiên cứu
khoa học và chuyển giao công nghệ trong lĩnh vực bưu chính, viễn thông, điện - điện
tử và công nghệ thông tin phục vụ sự phát triển của ngành Bưu chính Viễn thông và
của xã hội. Chính vì vậy việc quản lý, phân tích và đánh giá thông tin về công tác
quản lí, đào tạo dưới các góc độ khác nhau là một trong nhưng vấn đề cần được quan
tâm, tôi đã chọn đề tài tốt nghiệp cao học ngành công nghệ thông tin của tôi với
hướng phục vụ công tác này.
Xuất phát từ thực tế đó, tôi đã chọn đề tài “Áp dụng kỹ thuật phân tích dữ liệu
trực tuyến (OLAP) phục vụ công tác quản lý và điều hành”
Xây dựng một hệ trợ giúp quyết định dựa vào dữ liệu, sử dụng phương pháp
luận xử lý phân tích trực tuyến (OLAP). Trong đó tập trung vào hai công việc chính
là tập hợp dữ liệu để tổ chức dữ liệu đa chiều, phân tích và hiển thị dữ liệu để trợ giúp
ra quyết định.
Luận văn gồm 3 chương:
Chương 1: Tổng quan các phương pháp khai thác dữ liệu
Chương 2: Hệ thống trợ giúp quyết định sử dụng phân tích đa chiều trong xử lý
phân tích trực tuyến
Chương 3: Xây dựng hệ thống trợ giúp quản lý với chức năng OLAP
3
Chương 1
TỔNG QUAN CÁC PHƯƠNG PHÁP
KHAI THÁC DỮ LIỆU
1.1. GIỚI THIỆU CÁC PHƯƠNG PHÁP KHAI THÁC DỮ LIỆU
Việc dùng các phương tiện tin học để tổ chức và khai thác các CSDL đã được
phát triển từ những năm 60, nhiều CSDL đã được tổ chức, phát triển và khai thác ở
mọi qui mô và khắp các lĩnh vực hoạt động của xã hội.
Sự phát triển nhanh chóng của một lượng lớn dữ liệu được thu thập và lưu trữ
trong các CSDL lớn đã vượt ra ngoài khả năng của con người có thể hiểu được chúng
nếu không có những công cụ hỗ trợ tốt. Tình huống này đã đặt chúng ta trong hoàn
cảnh nhiều dữ liệu nhưng thiếu thông tin, thiếu tri thức. Với một khối lượng lớn dữ
liệu như vậy rõ ràng là các phương pháp thủ công truyền thống áp dụng để phân tích
dữ liệu như chia bảng không còn là phù hợp nữa Chính vì vậy, có một kỹ thuật mới ra
đời đó là “Khai phá dữ liệu”.
Khai phá dữ liệu là một ngữ tương đối mới, nó ra đời vào khoảng những năm
cuối của của thập kỷ 1980. Các nhà thống kê xem "khai phá dữ liệu như là một quá
trình phân tích được thiết kế thăm dò một lượng cực lớn các dữ liệu nhằm phát hiện
ra các mẫu thích hợp và/hoặc các mối quan hệ mang tính hệ thống giữa các biến và
sau đó sẽ hợp thức hoá các kết quả tìm được bằng cách áp dụng các mẫu đã phát hiện
được cho tập con mới của dữ liệu".
Nói tóm lại: khai phá dữ liệu là một bước trong quy trình phát hiện tri thức gồm
có các thụât toán khai thác dữ liệu chuyên dùng dưới một số quy định về hiệu quả
tính toán chấp nhận được để tìm ra các mẫu hoặc các mô hình trong dữ liệu. Phát hiện
tri thức trong các cơ sở dữ liệu là một qui trình nhận biết các mẫu hoặc các mô hình
trong dữ liệu với các tính năng: hợp thức, mới, khả ích, và có thể hiểu được.
1.1.1. Hình thành và định nghĩa bài toán
4
Đây là bước tìm hiểu lĩnh vực ứng dụng và hình thành bài toán, bước này sẽ
quyết định cho việc rút ra những tri thức hữu ích, đồng thời lựa chọn các phương
pháp khai phá dữ liệu thích hợp với mục đích của ứng dụng và bản chất của dữ liệu.
1.1.2. Thu thập và tiền xử lý dữ liệu
Trong bước này dữ liệu được thu thập ở dạng thô (nguồn dữ liệu thu thập có thể
là từ các kho dữ liệu hay nguồn thông tin Internet).
1.1.3. Khai phá dữ liệu và rút ra các tri thức
Đây là bước quan trọng nhất trong tiến trình khám phá tri thức. Kết quả của
bước này là trích ra được các mẫu và/hoặc các mô hình ẩn dưới các dữ liệu.
1.1.4. Phân tích và kiểm định kết quả
Bước thứ tư là hiểu các tri thức đã tìm được, đặc biệt là làm sáng tỏ các mô tả
và dự đoán. Trong bước này, kết quả tìm được sẽ được biến đổi sang dạng phù hợp
với lĩnh vực ứng dụng và dễ hiểu hơn cho người dùng.
1.1.5. Sử dụng các tri thức phát hiện được
Các tri thức khám phá được sẽ được củng cố, kết hợp lại thành một hệ thống,
đồng thời giải quyết các xung đột tiềm năng trong các tri thức đó. Các giai đoạn của
quá trình khám phá tri thức có mối quan hệ chặt chẽ với nhau trong bối cảnh chung
của hệ thống.
1.2. QUÁ TRÌNH KHAI PHÁ DỮ LIỆU
Khai phá dữ liệu là hoạt động trọng tâm của quá trình khám phá tri thức. Thuật
ngữ khai phá dữ liệu còn được một số nhà khoa học gọi là phát hiện tri thức trong cơ
sở dữ liệu.
Quá trình khai phá dữ liệu bắt đầu với kho dữ liệu thô và kết thúc với tri thức
được chiết xuất ra.
5
Hình. Kiến trúc hệ thống khai phá dữ liệu
Kiến trúc của hệ thống khai phá dữ liệu có thể chia thành các thành phần chính như
trong hình.
1.3. CÁC PHƯƠNG PHÁP KHAI KHÁ DỮ LIỆU
1.3.1. Phân lớp dữ liệu
Mục tiêu của phân lớp dữ liệu đó là dự đoán nhãn lớp cho các mẫu dữ liệu. Quá
trình gồm hai bước: xây dựng mô hình, sử dụng mô hình để phân lớp dữ liệu (mỗi
mẫu một lớp).
1.3.2. Phân cụm dữ liệu
Mục tiêu của phân cụm dữ liệu là nhóm các đối tượng tương tự nhau trong tập
dữ liệu vào các cum, sao cho các đối tượng thuộc cùng một lớp là tương đồng.
1.3.3. Khai phá luật kết hợp
Mục tiêu của phương pháp này là phát hiện và đưa ra các mối liên hệ giữa các
giá trị dữ liệu trong cơ sở dữ liệu. Đầu ra của giải thuật luật kết hợp là tập luật kết
hợp tìm được.
1.3.4. Hồi quy
Phương pháp hồi quy tương tự như là phân lớp dữ liệu. Nhưng khác ở chỗ nó
dùng để dự đoán các giá trị liên tục còn phân lớp dữ liệu dùng để dự đoán các giá trị
rời rạc.
