Bài giảng Khai phá dữ liệu - Bài 1: Tổng quan về khai phá dữ liệu cung cấp cho người đọc các kiến thức cơ bản về khai phá dữ liệu, các ứng dụng tiềm năng, tiến trình khai phá dữ liệu, từ dữ liệu đến quyết định,... Mời các bạn cùng tham khảo nội dung chi tiết.
AMBIENT/
Chủ đề:
Nội dung Text: Bài giảng Khai phá dữ liệu: Bài 1 - Văn Thế Thành
- Họ tên GV: Văn Thế Thành
Email: vanthethanh@gmail.com
Site: https://sites.google.com/site/itcsites
phá dữ liệ
Khai phá liệu 1 1
Bài 1:
Tổng quan về khai phá dữ liệu
phá dữ liệ
Khai phá liệu 2
phá dữ liệ
Khai phá liệu
• Có sẵn khố
khối dữ
liệu lớn:
liệ
– Các CSDL khổng lồ
– Dữ liệu từ Internet
phá dữ liệ
Khai phá liệu 3
1
- phá dữ liệ
Khai phá liệu là gì ?
– Rút trích thông tin hữu ích, chưa biết, tiềm
ẩn trong khối dữ liệu lớn
– Phân tích dữ liệu bán tự động
– Giải thích dữ liệu trên các tập dữ liệu lớn .
phá dữ liệ
Khai phá liệu 4
Khai phá
phá dữ liệ
liệu là gì ?
• Thuật ngữ
ngữ:
– Khai phá dữ liệu - Data mining
• KPDL là một buớc của tiến trình KDD
– Knowledge discovery in databases (KDD)
• Thuật ngữ tổng quát gồm các buớc như tiền xử
lý, KPDL, hậu xử lý .
phá dữ liệ
Khai phá liệu 5
phá dữ liệ
Khai phá liệu có ích lợi gì ?
cấp tri thứ
Cung cấ thức hỗ
hỗ trợ
trợ
ra quyêt đị
định
Dự báo Tiếp thị
Khá
Khái quá dữ liệ
quát dữ liệu
CSDL Tiếp thị
Nhà kho dữ liệu KDD &
Data Mining
phá dữ liệ
Khai phá liệu 6
2
- Các ứng dụng tiề
tiềm năng
• Phân tích dữ liệ
liệu, hỗ trợ
trợ ra quyết định
– Phân tích và quản lý thị trường
– Quản lý và phân tích rủi ro
– Quản lý và phân tích các sai hỏng
• Các ứng dụng khá
khác:
– Khai thác Web
– Khai thác văn bản (text mining)
– etc.
phá dữ liệ
Khai phá liệu 7
Tiến trình khai phá dữ liệu(1)
(1)
Nghiên cứulĩnh
Nghiêncứu
Nghiên lĩnhvực
v ực
ạotập
TTạo tậpdữ
dữliệu
liệuđầu
liệ đầuvào
vào
Ti ềnxử
Tiền xửlý/
lý/
lý/làm sạch,
làmsạch,
ch,mã
mã hóa
h óa
Rút
R gọn//chiều
útgọn chiều
chiề
Ch ọntác
Chọn vụKhai
tácvụ Khaithác
thá dữliệu
thácdữ liệu
liệ
phá dữ liệ
Khai phá liệu 8
Tiến trình khai phá dữ liệu(2)
(2)
Chọn các
Chọ
Chọn thuật giải
các thuật
thuậ giải KTDL
giả KTDL
KTDL: TTìm
KTDL: kiếmtri
ìmkiếm
kiế thức
trithức
thứ
Đánhgiá
Đánh giá mẫutìm
giámẫu đượ
được
tìmđược
Biểu diễn
Biể
Biểu diễn tri
diễ thức
tri thức
thứ
SSửửdụng
dụngcác
cáctri thứcvừa
trithức
thứ vừakhám
khá
khámphá
phá
phá
phá dữ liệ
Khai phá liệu 9
3
- Tiến trì
Tiế biểu
trình KDD tiêu biể
Time
Raw
based
data
selection
Operational
Operational
Database
Database
n Eval. of
cti o
Sele interes-
tingness
Input Preprocessing Postprocessing
Inputdata
data Data
Datamining
mining Results
Results
Cleaned
Verified n
cti o
Focused 2 Sele
1 3
Selected
Utilization
Utilization usable
patterns
phá dữ liệ
Khai phá liệu 10
Khai phá dữ liệu
Increasing potential
to support
End User
business decisions Making
Decisions
Data Presentation Business
Analyst
Visualization Techniques
Data Mining Data
Information Discovery Analyst
Data Exploration
Statistical Analysis, Querying and Reporting
Data Warehouses / Data Marts
OLAP, MDA
DBA
Data Sources
Paper, Files, Information Providers, Database Systems, OLTP
phá dữ liệ
Khai phá liệu 11
Từ dữ liệ
liệu đến quyế
quyết định
Quyết đị
Quyế định
• Promote product A in region Z.
• Mail ads to families of profile P
thức
Tri thứ • Cross-sell service B to clients C
• A quantity Y of product A is used in
region Z
• Customers of class Y use x% of C
during period D
Thông
Thông tin
• X lives in Z
• S is Y years old
Dữ liệ
liệu • X and S moved
• Customer data • W has money in Z
• Store data
• Demographical Data
• Geographical data
phá dữ liệ
Khai phá liệu 12
4
- Các quan niệm về KPDL
tiếp cận tổng quan:
• Các tiế
– KPDL mô tả :
• Cho biết điều gì là hữu ích có thể tìm thấy được trong dữ
liệu
• Giải thích dữ liệu đó
– KPDL dự báo:
• Dựa trên dữ liệu quá khứ, dự báo tương lại
• Xu thế phát triển!
phá dữ liệ
Khai phá liệu 13
Các quan niệ
niệm về KTDL
niệm dựa trên …
• Quan niệ
– CSDL để khai thác
– Tri thức được khám phá
– Các kỹ thuật được sử dụng
– Các ứng dụng
phá dữ liệ
Khai phá liệu 14
niệm về KPDL
Các quan niệ
CSDL ầnkhai
CSDL ccần khaithác
thá
thác
• Quan hệ • Text, XML
Databases • Giao tác
• Multi-media
• Huớng đối tượng • Heterogeneous
• Huớng đối • Legacy
tượng, quan hệ
• Inductive
• Active
• Không gian • WWW
• Thời gian • etc.
phá dữ liệ
Khai phá liệu 15
5
- niệm về KPDL
Các quan niệ
TTác vụkhai
ácvụ khaithác
thá
thác
Knowledge • Đặc trưng • Phân tích độ
= • Phân biệt lệch
task
• Kết hợp • Phân tích hiếm
• Phân lớp etc.
• Gom cụm
• Xu thế
phá dữ liệ
Khai phá liệu 16
niệm KPDL
Các quan niệ
Các
C kỹthuật
áckỹ thuậtđã
thuậ đãsử
sửdụng
dụng
• CSDL
Techniques
• Nhà kho dữ liệu (OLAP)
• Máy học
• Thống kê
• Trực quan hóa
• Mạng nơron và thuật giải GA
• ....
phá dữ liệ
Khai phá liệu 17
Các quan niệ
niệm về KPDL
Các
C ứngdụng
ácứng dụng
Applic. • Bán lẻ, siêu thị • Phân tích cổ
Applic.
• Ngân hàng phiếu
• Khai thác gen • KTDL Web
• Phân tích dữ
liệu
phá dữ liệ
Khai phá liệu 18
6
- Kết luậ
luận
• tiến trì
KPDL: tiế trình khá phá bán tự động các thông tin, mẫu có ích từ
khám phá
CSDL lớn
• bước củ
Các bướ của KDD
– Tiền xử lý
– KTDL( data mining tasks)
– Hậu xử lý
• niệm, khí
Các quan niệ khía cá
cánh …
– CSDL (quan hệ, hướng đối tượng, không gian, WWW, …)
– Tri thức (đặc trưng, gom cụm, kết hợp, …)
– Kỹ thuật (máy học, thống kê, trực quan hóa, …)
– Ứng dụng (bán lẻ, điện thoại, khai thác Web …)
phá dữ liệ
Khai phá liệu 19
7
Thêm vào BST
Báo xấu
Download
Vui lòng tải xuống để xem tài liệu đầy đủ
