Tích hợp khai phá dữ liệu trong InfoSphere Warehouse với việc tạo báo
cáo Cognos của IBM
Phần 4: Phân đoạn khách hàng với InfoSphere Warehouse và Cognos
Mở đầu
Phân đoạn khách hàng cho phép bạn nhóm khách hàng thành các đoạn các khách hàng tương tự
như nhau. Để giải thích tại sao điều này có thể có ích, hãy xem xét kịch bản sau đây. Bạn thu
thập dữ liệu về các khía cạnh nhân khẩu học của khách hàng của bạn (tuổi tác, nghề nghiệp, nơi
cư trú, v.v..) cũng như dữ liệu về giao dịch của họ (các mặt hàng đã mua, các hợp đồng, v.v..).
Một phân tích về dữ liệu đã kết hợp này có thể để lộ ra các nhóm khách hàng mà bạn chưa từng
nghĩ về họ trước đó, ví dụ, các khách hàng cao tuổi chi tiêu rất nhiều tiền nhưng không dùng mua
sắm trực tuyến. Thông tin về các hành vi tiêu biểu của các nhóm như vậy sau đó có thể được bộ
phận tiếp thị của bạn sử dụng để phát triển sản phẩm và các dịch vụ chuyên sâu.
Về kỹ thuật, phân đoạn khách hàng là một trường hợp riêng của nhiệm vụ khai phá dữ liệu tổng
quát hơn được gọi là phân cụm dữ liệu. Phân cụm dữ liệu tự động nhóm các bản ghi dữ liệu theo
các đặc tính hoặc các tính năng của chúng thành các cụm có các bản ghi dữ liệu tương tự với
nhau. Thường có nhiều cách khác nhau để định nghĩa các biện pháp tương tự phía dưới, tùy
thuộc vào miền ứng dụng của bạn. InfoSphere Warehouse cung cấp một cơ chế mạnh mẽ để tự
động chọn biện pháp tương tự này.
Bài viết này cung cấp một sự mô tả ngắn gọn về phân cụm dữ liệu và các phương pháp phân
đoạn khách hàng và các cách tiếp cận trong InfoSphere Warehouse. Sau đó bài viết này thảo luận
về những khả năng tổng hợp để tìm hiểu các đoạn khách hàng và các cụm khác trong Cognos.
Phần cuối của bài viết này cho bạn một ví dụ từng bước về cách tạo và tìm hiểu các đoạn trong
Cognos.
Về đầu trang
Phân đoạn khách hàng khi sử dụng InfoSphere Warehouse
InfoSphere Warehouse cung cấp một số phương pháp để phân cụm các bản ghi dữ liệu. Bằng
cách áp dụng các đối số này vào các bản ghi khách hàng của bạn, bạn có thể tìm thấy các nhóm
khách hàng tương tự như nhau. Một bước quan trọng đầu tiên để đạt được điều này là xử lý trước
dữ liệu của bạn. Dữ liệu khách hàng có liên quan có thể nằm phân tán giữa các bảng hoặc cơ sở
dữ liệu khác nhau, ví dụ, cơ sở dữ liệu chứa thông tin nhân khẩu học có thể không cùng một cơ
sở dữ liệu chứa dữ liệu giao dịch. Nếu dữ liệu nằm phân tán, đầu tiên bạn cần biến đổi nó để cho
bạn nhận được một bảng có một hàng chính xác cho từng khách hàng. InfoSphere Warehouse
cung cấp các công cụ mạnh mẽ cho các loại chuyển đổi này. Các công cụ chuyển đổi nằm ngoài
phạm vi của bài viết này, nhưng bạn có thể tìm thấy các thông tin chi tiết về cách sử dụng chúng
trong Trung tâm Thông tin InfoSphere Warehouse, được liên kết đến từ phần Tài nguyên.
Các dữ liệu mẫu được sử dụng trong bài viết này là một bảng có các khách hàng của ngân hàng,
như trong Hình 1. Dữ liệu này đã được chuyển đổi đầy đủ.
Một khi đã chuyển đổi dữ liệu của mình, bạn có thể trực tiếp áp dụng các phương pháp phân cụm
dữ liệu trong InfoSphere Warehouse. Hai thuật toán phân cụm có sẵn là:
Phân cụm nhân khẩu học đặc biệt thích hợp với các tập dữ liệu chứa một hỗn hợp các
trường rời rạc và liên tục (ví dụ, với nghề nghiệp và tuổi). Đây là thuật toán mặc định
được InfoSphere Warehouse sử dụng.
Phân cụm Kohonen thích hợp hơn với các tập dữ liệu chỉ chứa các trường nhị phân hoặc
liên tục (ví dụ, số lượng các mặt hàng mà mỗi khách hàng đã mua trong một tập các loại
sản phẩm).
Trong ví dụ được mô tả trong bài viết này, phân cụm được áp dụng bằng cách sử dụng toán tử
Clusterer trong một luồng khai phá. Hoặc bạn có thể trực tiếp gọi câu lệnh SQL sau:
call IDMMX.BuildClusModel('BANK.CUSTOMERS_CLUS', 'BANK.CUSTOMERS');
Trong cả hai trường hợp, một mô hình cụm được tạo ra trong bảng
IDMMX.CLUSTERMODELS.
Về đầu trang
Trích xuất thông tin liên quan từ mô hình cụm
Việc hiển thị trực quan và phân tích các mô hình cụm là một bước quan trọng trong quá trình tích
hợp khai phá dữ liệu và tạo báo cáo. Một mô hình cụm bao gồm các số liệu thống kê mô tả mỗi
cụm và cho phép bạn gán một bản ghi dữ liệu đến chính xác một trong các cụm. Có nhiều cách
để phân tích một mô hình cụm:
So sánh các số liệu thống kê của một cụm với toàn bộ các số liệu thống kê. Các cụm
riêng chứa các bản ghi dữ liệu giống với mỗi bản ghi dữ liệu khác và không giống với các
bản ghi dữ liệu trong các cụm khác. Bằng cách so sánh các số liệu thống kê của một cụm
với toàn bộ các số liệu thống kê bạn có thể xác định số liệu thống kê nào dành riêng cho
một cụm. Ví dụ, nếu tuổi trung bình của tất cả các khách hàng là 40 và tuổi trung bình
của khách hàng trong một đoạn là 20, thì bạn có thể kết luận rằng đoạn này có đặc điểm
là chứa các khách hàng trẻ tuổi.
Thực hiện truy vấn ngược (drill-through) các bản ghi dữ liệu riêng. Việc phân tích các
bản ghi dữ liệu riêng như là các đại diện của cụm là một cách đơn giản, nhưng thường là
cách có tác dụng mạnh mẽ để có được một ý tưởng về các bản ghi dữ liệu mà một cụm
đang chứa.
Định nghĩa một biện pháp liên quan của cụm ứng dụng cụ thể. Ví dụ, bạn có thể chỉ quan
tâm về các đoạn có chứa nhiều hơn mười nghìn khách hàng, với mỗi khách hàng chi tiêu
ít nhất một trăm đô la một tháng. Một tiêu chuẩn như vậy sẽ giúp lọc hầu hết các cụm và
thực hiện những phân tích hiệu quả hơn, đặc biệt là nếu có nhiều đoạn.
Bạn có thể sử dụng trình hiển thị trực quan (Visualizer) đi kèm với InfoSphere Warehouse để
xem xét một mô hình cụm (xem Hình 4). Trình hiển thị trực quan cho phép bạn phân tích các số
liệu thống kê kích thước và đặc tính của từng cụm (đoạn khách hàng). Trong khi hiển thị trực
quan này có tác dụng mạnh mẽ, nó chỉ cho phép so sánh các số liệu thống kê, không phải cho
truy vấn ngược (drill-through) hoặc cho các tiêu chuẩn ứng dụng cụ thể. Tuy nhiên, Cognos rất
phù hợp cho các loại nhiệm vụ hiển thị trực quan.
Để cho phép hiển thị trực quan của các cụm trong Cognos hoặc theo bất kỳ cách tùy chỉnh khác
nào, thông tin trong một mô hình cụm đầu tiên phải được trích xuất theo một dạng thích hợp. Với
InfoSphere Warehouse, bạn có thể đạt được điều này bằng cách sử dụng hàm trích xuất bảng.
Bạn có thể tìm thêm thông tin về các hàm này trong bài viết thứ hai của loạt bài này, được liên
kết đến từ phần Tài nguyên.
Các mô hình cụm được lưu trữ theo định dạng PMML (Predictive Model Markup Language -
Ngôn ngữ đánh dấu mô hình dự báo) trong cơ sở dữ liệu. Chúng chứa các thông tin về:
Sự phân bố của các giá trị trong một cụm.
Số lượng các bản ghi trong một cụm.
Tầm quan trọng của các biến cho mỗi cụm.
Tính đồng nhất của cụm.
v.v.
Bạn có thể sử dụng thủ tục đã lưu trữ với InfoSphere Warehouse để trích xuất thông tin này vào
các tập kết quả có thể được Cognos (hoặc bất kỳ ứng dụng khác có thể truy cập dữ liệu qua SQL)
sử dụng. Bài viết thứ hai của loạt bài này đã mô tả cách sử dụng phương thức
IDMMX.DM_GETCLUSTERS để trích xuất thông tin cơ bản trên mỗi cụm. Ngoài các thông tin
cơ bản, bạn cũng có thể trích xuất các số liệu thống kê cho mỗi cụm như được chỉ ra trong lệnh
sau đây:
SELECT * FROM TABLE(IDMMX.DM_GETCLUSTERSTATS((SELECT MODEL FROM
IDMMX.CLUSTERMODELS
WHERE MODELNAME='IDMMX.OUTLIERMODEL'))) AS CT
Lệnh trên trả về một bảng chứa tần số dự kiến cục bộ và toàn bộ cho mỗi kết hợp của cụm,
trường và giá trị trường. Phần tiếp theo của bài viết này cho bạn thấy cách sử dụng thông tin này
để tạo ra các báo cáo Cognos tương tác để tìm hiểu các cụm.
Tìm hiểu các đoạn khách hàng và các mô hình cụm khác trong Cognos
Hiển thị trực quan các số liệu thống kê điển hình của các cụm Cognos cung cấp một số widget
mạnh mẽ để hiển thị trực quan sự phân bố của dữ liệu trong một bảng. Đặc biệt quan trọng là các
biểu đồ hình tròn (pie) cho các giá trị danh định và các hoành đồ cho các giá trị liên tục. Sau đây
trong bài viết này bạn sẽ học cách tạo ra các hiển thị trực quan dựa trên các bảng số liệu thống kê
cụm được trích xuất từ các mô hình khai phá phía dưới. Hình 12 cho thấy một ví dụ về kiểu hiển
thị trực quan này.
Triển khai thực hiện truy vấn ngược (drill-through) từ mô hình khai phá dữ liệu theo dữ liệu
khách hàng
Các mô hình Khai phá dữ liệu chứa thông tin định lượng và thống kê về dữ liệu mà chúng mô tả.
Tuy nhiên, chúng không chứa các bản ghi dữ liệu ban đầu. Vì việc khai phá dữ liệu thường được
sử dụng để phân tích các tập dữ liệu rất lớn, nên việc duy trì các bản ghi riêng rẽ sẽ không hiệu
quả và trong một số trường hợp thậm chí là không thể. Tuy nhiên, đôi khi thật là có ích để có thể
xem các bản ghi dữ liệu do một cụm cụ thể biểu diễn. Kiểu hoạt động này được gọi là truy vấn
ngược (drill-through).
Để cho phép truy vấn ngược (drill-through) từ một đoạn khách hàng đến các bản ghi dữ liệu
thuộc đoạn này, bạn phải lựa chọn chỉ các bản ghi thuộc về một cụm cụ thể. Bạn có thể làm điều
này bằng cách cho điểm tất cả bản ghi của khách hàng dựa vào các mô hình phân cụm và trả về
chỉ các khách hàng thuộc cụm đó. Một cách tiếp cận tương tự được sử dụng trong ví dụ Phát hiện
sai lệch được mô tả trong bài viết thứ hai của loạt bài này. Về lý thuyết, bạn có thể thực hiện cho
điểm lúc đang chạy khi người sử dụng chọn một cụm. Tuy nhiên, mặc dù việc cho điểm cụm lúc
đang chạy là tương đối nhanh, điều này vẫn sẽ mất nhiều thời gian. Do đó, đúng hơn là bạn
thường tính toán trước các thông tin liên quan với đoạn khách hàng nào thuộc về một khách hàng
cụ thể trước khi bản ghi được đưa ra cho người dùng.
Ý tưởng cơ bản là một khi người dùng chọn một đoạn khách hàng, một bản ghi mới được mở ra,
sử dụng một mệnh đề WHERE đơn giản để trả về tất cả các khách hàng từ bảng các khách hàng
đã cho điểm thuộc đoạn này. Cách tiếp cận này có một số lợi thế. Quá trình khai phá và quá trình
cho điểm tốn thời gian có thể được thực hiện cùng nhau trước khi bản ghi được hiển thị cho
người dùng. Mô hình khai phá XML là nhỏ và không chứa bất kỳ dữ liệu khách hàng nào. Các
tập dữ liệu lớn chứa thông tin cho điểm được lưu trữ như các bảng DB2 và có thể được truy vấn
hiệu quả. Đối với các tập dữ liệu thực sự lớn, có thể cần thêm các chỉ mục vào bảng cho điểm.
Sử dụng thước đo liên quan đến cụm tùy chỉnh
Việc xác định một cụm hoặc một đoạn khách hàng nào cần quan tâm thường đòi hỏi kiến thức về
lĩnh vực ứng dụng. Cognos giúp bạn dễ dàng đưa vào thước đo tùy chỉnh kết hợp thông tin đa
dạng về các cụm thành một tiêu chuẩn phù hợp duy nhất. Khả năng tô mầu các hàng trong một
báo cáo Cognos dựa trên số liệu thống kê này đặc biệt thú vị trong ngữ cảnh này.
Về đầu trang
Một ví dụ thực tế: các khách hàng của ngân hàng
Ví dụ sau đây dựa vào bảng BANK.BANKCUSTOMERS là một trong những mẫu đi kèm với
InfoSphere Warehouse. Dữ liệu mẫu từ bảng này được chỉ ra trong Hình 1.
Hình 1. Dữ liệu mẫu từ bảng BANK.BANKCUSTOMERS
Ví dụ này cho bạn thấy cách sử dụng InfoSphere Warehouse DesignStudio để tạo ra một luồng
khai phá phân cụm các bản ghi dữ liệu từ bảng này thành các đoạn khách hàng khác nhau. Sau
đó bạn có thể sử dụng mô hình cụm được tạo ra để cho điểm các bản ghi trong bảng, tạo ra một
bảng mới có tên là CUSTOMERSCORED có chứa dữ liệu gốc với thông tin bổ sung về mỗi
khách hàng thuộc về đoạn nào.
Làm theo các bước sau để tạo một luồng khai phá mới:
1. Kéo một toán tử Table Source tới trình soạn thảo.
2. Nhấn đúp vào toán tử Table Source để mở các đặc tính của nó. Chỉ rõ
BANK.BANKCUSTOMERS làm Source Database Table (Bảng cơ sở dữ liệu nguồn) và
nhấn OK.
3. Kéo một toán tử Clusterer vào trình soạn thảo và nối toán tử Source Table vào nó.
4. Nhấn đúp vào toán tử Clusterer để mở các đặc tính của nó. Thay đổi tên của mô hình
được tạo ra thành BANK.CLUSTER trên trang đặc tính thứ hai và nhấnOK.
5. Kéo một toán tử Scorer (Trình cho điểm) vào trình soạn thảo.
6. Nối cổng ra của toán tử Clusterer vào cổng đầu vào mô hình của toán tử Scorer.
7. Nối cổng ra của toán tử Table Source đến cổng đầu vào bảng của toán tử Scorer.
8. Nhấn chuột phải vào cổng ra của toán tử Scorer và chọn Create Suitable Table...
9. Trên trang của trình thủ thuật đầu tiên, hãy chọn lược đồ BANK, nhập vào tên bảng là
CUSTOMERSSCORED và nhấn Finish. Việc này kết nối một toán tử Table Target với
luồng đó.
10. Nếu bạn muốn chạy luồng đó nhiều lần, nhấn đúp chuột vào toán tử Table Target để mở
các đặc tính của nó, đánh dấu chọn hộp kiểm tra Delete Previous Content và nhấn OK.