Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véctơ hỗ trợ hồi quy

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:8

Thêm vào BST

Báo xấu

23
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Trích xuất tập luật mờ TSK (Takagi-Sugeno-Kang) từ máy học véctơ hỗ trợ là một trong những hướng tiếp cận để xây dựng mô hình mờ cho các bài toán dự đoán, dự báo. Nghiên cứu đề xuất và thực nghiệm một số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất được nhưng vẫn đảm bảo hiệu quả dự đoán, dự báo của mô hình.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véctơ hỗ trợ hồi quy

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XI về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR); Hà Nội, ngày 09-10/8/2018 DOI: 10.15625/vap.2018.00045 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY Nguyễn Đức Hiển, Lê Mạnh Thạnh Khoa Công nghệ thông tin, Trường Đại học Khoa học, Đại học Huế hiencit@gmail.com, lmthanh@hueuni.edu.vn TÓM TẮT: Trích xuất tập luật mờ TSK (Takagi-Sugeno-Kang) từ máy học véctơ hỗ trợ là một trong những hướng tiếp cận để xây đựng mô hình mờ cho các bài toán dự đoán, dự báo. Những nghiên cứu trước đây theo hướng tiếp cận này cho thấy mô hình mờ được huấn luyện tự động dựa trên tập dữ liệu đầu vào, dẫn đến những hạn chế chủ yếu như kích thước tập luật lớn, thiếu tính đặc trưng, thiếu tính bao phủ. Trong bài báo này, nhóm tác giả nghiên cứu đế xuất và thực nghiệm một số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất được nhưng vẫn đảm bảo hiệu quả dự đoán, dự báo của mô mình. Từ khóa: Mô hình mờ TSK, Máy học véctơ hỗ trợ, Mô hình mờ hướng dữ liệu, Mô hình dự báo hồi quy. I. ĐẶT VẤN ĐỀ Mô hình mờ được biết đến như là một mô hình khá hiệu quả trong việc xử lý những thông tin mơ hồ và không chắc đó chắn; đồng thời nó cũng thể hiện những lợi thế rõ ràng trong việc biểu diễn và xử lý tri thức. Hoạt động của mô hình mờ phụ thuộc nhiều vào hệ thống các luật mờ và quá trình suy diễn trên tập luật mờ đó. Đã có nhiều tác giả nghiên cứu và đề xuất các phương thức để xây dựng các mô hình mờ hướng dữ liệu [3, 4, 5, 6, 7, 8, 9, 10]. Vấn đề trích xuất mô hình mờ từ máy học véctơ hỗ trợ (SVM - Support Vector Machine) được nhóm tác giả J. H Chiang và P. Y Hao nghiên cứu và công bố lần đầu tiên trong [3]. Một trong những vấn đề của máy học véctơ hỗ trợ là tính chính xác của mô hình thu được tỷ lệ thuận với số lượng support-vector (Sv) sinh ra; điều này đồng nghĩa với việc số lượng luật mờ của mô hình mờ trích xuất được sẽ tăng lên. Nói cách khác là khi tăng hiệu suất của mô hình thì đồng nghĩa với việc làm giảm tính “sáng sủa” (tính “có thể diến dịch được”) của mô hình. Như vậy, vấn đề đặt ra là làm thế nào có thể trích xuất được hệ thống mờ đảm bảo độ tin cậy của kết quả dự đoán, đồng thời hạn chế được số lượng luật mờ trong mô hình. Trong bài báo này, chúng tôi đề xuất kết hợp một số giải pháp để rút gọn tập luật mờ trích xuất được, đồng thời có thể đảm bảo được độ tin cậy của kết quả dự đoán dựa vào mô hình trích xuất được. Các phần tiếp theo của bài báo bao gồm: phần II trình bày sơ lược về sự tương đương của mô hình mờ TSK và máy học véctơ hỗ trợ làm cơ sở cho việc xây dựng thuật toán trích xuất mô hình mờ. Phần III giới thiệu thuật toán fm- SVM* cho phép trích xuất tập luật mờ rút gọn từ SVM, trong đó có tích hợp thuật toán phân cụm k-Means và một số giải pháp tối lựa chọn tham số tối ưu. Phần IV giới thiệu một mô hình thực nghiệm dự báo hồi quy, trong đó có kết hợp so sánh với một số kết quả của mô hình đề xuất trước đó. Cuối cùng, trong phần V chúng tôi nêu lên một số kết luận và định hướng nghiên cứu tiếp theo. II. TRÍCH XUẤT MÔ HÌNH MỜ TSK TỪ MÁY HỌC VÉCTƠ HỖ TRỢ Hệ thống mờ TSK bao gồm một tập các luật mờ “IF - THEN”, với phần kết luận của mỗi luật này là một hàm (không mờ) ánh xạ từ các tham số đầu vào tới tham số đầu ra của mô hình [3, 4, 5, 6, 10]. Giả sử có một hệ thống mờ TSK với m luật mờ được biểu diễn như sau: R : IF x is A and x is A and … and x is A THEN z = g (x , x , … , x ) , với j = 1, 2, … , m (1) Trong đó x (i = 1, 2, … . n) là các biến điều kiện; z là các biến quyết định của hệ thống mờ được xác định bởi hàm g (. ); A là những thuật ngữ ngôn ngữ xác định bởi hàm thành viên tương ứng μ (x). Lưu ý, μ (x) là hàm thành viên mờ được xác định trên một véctơ nhiều chiều. Đầu ra của hệ thống mờ được tính toán như sau: ∑ z μ (x) f(x) = (2) ∑ μ (x) với μ (x) = μ (x ) (3)
Nguyễn Đức Hiển, Lê Mạnh Thạnh 337 Trong đó, z là giá trị đầu ra của hàm g (. ). Bên cạnh đó, với vai trò giải quyết vấn đề tối ưu hóa hồi quy, lý thuyết cơ bản của SVM có thể được vắn tắt như sau [2, 3, 6, 8]: Cho một tập dữ liệu huấn luyện (x , y ), … , (x , y ) ⊂ × ℝ, trong đó xác định miền dữ liệu đầu vào. Với ε-Support Vector Regression, bài toán tối ưu hóa ràng buộc cần giải quyết là: 1 min ∗ w w + C (ξ + ξ∗ ) (4) , , , 2 Sao cho: (w . Φ(x ) + b) − y ≤ ε + ξ , y − (w . Φ(x ) + b) ≤ ε + ξ∗ , với ξ , ξ∗ ≥ 0, và i = 1, 2, … , l Trong đó, C là tham số chuẩn tắc, ε là sai số cho phép, ξ , ξ∗ là những biến lỏng, Φ(x) là hàm ánh xạ phi tuyến tính để tiền xử lý dữ liệu phí tuyến tính đầu vào bằng cách ánh xạ và không gian thuộc tính nhiều chiều ℱ. Và từ đó đưa đến việc giải bài toán Quadratic Programming: 1 − α − α∗ )(α − α∗ (Φ(x ) . Φ x ) 2 , max ∗ (5) , ∗ ∗ − ε (α + α ) − y (α + α ) Sao cho: (α − α∗ ) = 0, and C ≥ α , α∗ ≥ 0, i = 1, 2, … , l Trong đó, α , α∗ là những nhân tử Lagrange. Véctơ w có dạng: w = (α − α∗ ). x (6) Và hàm quyết định là: f(x) = (α − α∗ ) (Φ(x ) . Φ x ) + b (7) Gọi K x , x = Φ(x ) . Φ x là hàm nhân của không gian đầu vào; và hàm quyết định (7) được viết lại như sau: f(x) = (α − α∗ )K(x , x) + b (8) Những điểm đầu vào x với (α − α∗ ) ≠ 0 được gọi là những véctơ hỗ trợ (SVs). Xét hàm đầu ra của mô hình mờ TSK (2) và hàm quyết định của mô hình máy học véctơ hồi quy (8). Để (2) và (8) đồng nhất với nhau, trước tiên chúng ta phải đồng nhất giữa hàm nhân trong (8) và hàm thành viên trong (2). Ở đây, để thỏa mãn điều kiện Mercer [1] hàm thành viên Gauss được chọn làm hàm nhân; đồng thời giá trị của b trong (8) phải bằng 0. Khi hàm Gauss được chọn làm hàm thành viên và hàm nhân, đồng thời số luật mờ bằng với số véctơ hỗ trợ (m = l) thì hàm quyết định (8) trở thành: 1 x −x f(x) = (α − α∗ )exp − (9) 2 σ và hàm kết quả đầu ra suy luận mờ (2) trở thành:
338 3 MỘT SỐ GIẢI PHÁP TỐ ỐI ƯU TẬP LUẬ ẬT MỜ TSK TR RÍCH XUẤT TỪ Ừ MÁY HỌC V VÉCTƠ HỖ TRỢ Ợ HỒI QUY ∑ z exp p − f(x)) = (10) ∑ exp p − Như cáách biến đổi troong [8], hàm ssuy luận mờ (10) có thể viết lại như sau: 1 x −x f(x)) = z exp − (11) 2 σ V chúng ta chhọn: z = (α − α∗ ) (12) Và Như vậậy, trên cơ sở tthỏa mãn các điều kiện để đồng nhất hàm m đầu ra của S SVMs và hệ tthống mờ TSK K, chúng ta có c thể trích xuuất được mô hìình mờ TSK từ máy học Vééctơ hỗ trợ. III. I THUẬT TOÁN T TRÍCH H XUẤT MÔ Ô HÌNH MỜ TSK VỚI MỘT SỐ GIẢII PHÁP TỐI ƯU HÓA MÔ Ô HÌNH 3.1. 3 Tối ưu hóóa các tham ssố của hàm th hành viên Những tham số của hhàm thành viêên có thể đượ ợc tối ưu hóa dùng d những thhuật toán graddient descent hoặc thuật toán di truyền (GAs). Trongg trường hợp này, để nhận được tập mờờ tối ưu, chúngg tôi cập nhậtt giá trị các th ham số của hàm h thành viênn theo các hàmm thích nghi ssau đây: (x − c) (x − c) σ (t + 1) = σ (t)δε , exp − (13) σ 2σ −(x − c) (x − c) c (t + 1) = c (t)δε , exp − (14) σ 2σ 3.2. 3 Lựa chọn n tham số Một troong những đặcc điểm của môô hình mờ là “tính “ có thể diễn dịch được”” (intepretabillity) [14]. Tuy nhiên, đối với v mô hình máy m học véctơ ơ hỗ trợ nếu tăăng tính chính h xác của mô hình h thì số lượợng véctơ hỗ trợ (SVs) cũn ng tăng lên, đồng đ nghĩa vớới số lượng luuật mờ cũng tăăng lên. Điều này làm cho tính phức tạpp của hệ thốngg tăng lên và đặc biệt là “tính “ có thể diễn dịch được”” của hệ thốngg mờ giảm đi. Thực nghiệm mô hìnnh máy học vééctơ hồi quy trên t q phi tuyến Sinc(x) được cho bởi công thức (15), hàm hồi qui với v tập dữ liệuu huấn luyện đđược xác định trên đoạn [-3π π, 3π], cho thấấy: sin ( ) ( )= ≠0 (15) 1 =0 q trình xác đđịnh cấu trúc SVM, chúng tôi sử dụng th Trong quá ham số ε để điiều chỉnh số lư ượng SVs. Th heo kết quả th hể hiện ở hìnhh 1 chúng ta tthấy: khi giá ttrị của tham số s ε giảm đi th hì số lượng SVVs cũng tăng lên, đồng thờ ời độ chính xác x của kết quuả dự đoán cũũng tăng lên ((đường đậm nét n là đường dự d đoán hồi qquy, đường đáánh dấu + là đường đ biểu diễn d giá trị dữ liệu đúng). Hình 1. Mốối quan hệ giữaa số lượng SVs vvà tham số ε (giá trị của ε tươn ng ứng theo thứứ tự các hình vẽ là 0,5; 0,2; 0,1 và 0,01)
Nguyễn N Đức Hiển, Lê Mạnh Thhạnh 339 (a) (b) Hìn nh 2. Phân bố của c 50 và 6 hàm m thành viên mờờ Bằng cách giữ cố địnnh giá trị thamm số C = 10.. Khi giá trị ε = 0,0, sẽ có 50 SVs nhậnn được từ mô hình, đồng nghĩa n với việc chúng ta nhậận được 50 luậật mờ (chú ý rằng, trong trưường hợp này ttất cả các các mẫu dữ liệu huấn h luyện được đ chọn làmm SVs đầu ra).. Hình 2a thể hhiện phân bố của 50 hàm thhành viên mờ tương ứng troong trường hợ ợp này. Khi tăng giá trị thaam số ε = 0,1 1, thì có 6 SV Vs nhận được tương ứng vớ ới 6 luật mờ. Hình 3b thể hhiện phân bố của 6 hàm th hành viên mờ ờ tương ứng. 3.3. 3 Rút gọn tập t luật bằng cách tích hợp ợp thuật toán gom cụm k-M Means Tập luậật mờ trích xuấất từ động từ m máy học véctơơ hỗ trợ không ự nhập nhằng trong luật mờ g tránh khỏi sự ờ. Chính sự ngẫu n nhiên củaa dữ liệu đầu vvào làm cho ccác luật mờ họ ọc được có sự phân bố khônng đều, có nhiiều luật mờ có ó hàm phân bố b tương tự nhhau (Hình 2b).. Thuật toán t gom cụm m k-Means là một giải pháp p đề xuất để gom g cụm cácc luật mờ có pphân bố hàm thanh viên ương tự, từ đóó có thể rút gọọn các tập luậtt mờ, giảm tính nhập nhằng của tập luật trrích xuất đượcc. tư 3.4. 3 Thuật toáán đề xuất Begin Innput: Training data set Initiaalize parameters of o SVMs Cen nters : , = 1. . Varriances : , = 1. . ưu hóa các tham số σ , c Tối ư Clusteer ( , ) using k-Means extraact fuzzy rules from SVM IF x is Gaussmf( , ) THEN y is B Lựa chọọn tham số ε và số ố phân cụm k tối ưu Ouutput: TSK fuzzy y model End Hình h 3. Sơ đồ thuật toán trích xuất tập luật mờ TS SK. Từ nhữ ững phân tích trên, chúng tôôi đã đề xuất thuật t toán fm--SVM* (sơ đồồ thuật toán ở Hình 3) cho phép trích xuất x mô hình mờ m TSK từ mááy học véctơ hhỗ trợ gồm các bước như saau:
340 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY Bước 1: huấn luyện SVMs với tập dữ liệu huấn luyện (Training) để trích xuất ra các véctơ hỗ trợ tương ứng với các giá trị = , phương sai , và ( − ∗ ) = . Bước 2: tối ưu hóa các tham số , , ε. Bước 3: dùng thuật toán k-Means để phân cụm các ( , ) thành k cụm. Bước 4: lựa chọn tham số ε và số phân cụm k tối ưu bằng thực nghiệm trên tập dữ liệu Validation. Bước 5: chọn các ( , ) là trung tâm của các cụm để thiết lập các hàm thành viên Gauss cho các luật mờ TSK; trong đó là trung tâm của hàm thành viên và là biên độ mờ. Tập các luật mờ TSK trích xuất được sẽ có dạng: ( , ) . IV. MÔ HÌNH THỰC NGHIỆM DỰ BÁO HỒI QUY 4.1. Mô hình thực nghiệm Trong phần này, chúng tôi đề xuất một mô hình trích xuất luật mờ dự đoán giá cổ phiếu bằng cách sử dụng thuật toán fm-SVM* đã đề xuất. Sơ đồ khối của mô hình được thể hiện trong hình 4. Hình 4. Mô hình mờ dự đoán giá cổ phiếu 4.1.1. Lựa chọn dữ liệu đầu vào Để có sự so sánh với kết quả của L. J. Cao và Francis E. H. Tay trong [12, 13], chúng tôi lựa chọn dữ liệu đầu vào là các chỉ số giá cổ phiếu hàng ngày . Các thuộc tính dữ liệu đầu vào cụ thể hiện trong bảng 1. Bảng 1. Các thuộc tính dữ liệu vào Ký hiệu Thuộc tính Công thức tính EMA100 − () RDP-5 ( ) − ( − 5) / ( − 5) ∗ 100 RDP-10 ( ) − ( − 10) / ( − 10) ∗ 100 RDP-15 ( ) − ( − 15) / ( − 15) ∗ 100 RDP-20 ( ) − ( − 20) / ( − 20) ∗ 100 RDP+5 ( ( + 5) − ( ))/ ( ) ∗ 100 ()= () Trong đó, P(i) là chỉ số giá đóng phiên của ngày thứ i, RPD-m là tỷ lệ khác biệt trung bình m ngày (m-day relative difference in percentage of price - RDP) và EMA (i) là m-day exponential moving average của giá đóng phiên ngày thứ i. 4.1.2. Tiền xử lý dữ liệu vào Trong nghiên cứu này, chúng tôi sử dụng thuât toán phân cụm SOM (Self-Organizing Map) để phân dữ liệu đầu vào thành các cụm theo sự tương đương phân bố thống kê của các điểm dữ liệu. Kết quả phân cụm bởi SOM sẽ giúp giải quyết được hai vấn đề [12]: 1) Kích thước dữ liệu trong từng cụm sẽ nhỏ hơn làm tăng tốc độ học của mô hình. 2) Dữ liệu trong các cụm có sự tương đương trong phân bố thống kê, như vậy sẽ hạn chế được các trường hợp nhiễu.
Nguyễn Đức Hiển, Lê Mạnh Thạnh 341 4.1.3. Trích xuất mô hình mờ bằng fm-SVM* Mỗi cụm dữ liệu vào đã được phân tách bằng SOM sẽ được đưa vào huấn luyện cho từng máy fm-SVM* tương ứng để trích xuất các luật mờ. Các tập luật mờ trích xuất được từ các máy fm-SVM* tương ứng với các cụm dữ liệu huấn luyện có thể được sử dụng để suy luận dự đoán giá cổ phiếu. Những luật mờ khai phá được từ dữ liệu đã được phân thành các cụm riêng biệt và được cải thiện tính “có thể diễn dịch được”, như vậy các chuyên gia con người có thể diễn dịch thành luật ngôn ngữ và từ đó có thể hiểu và đánh giá được các luật này. 4.2. Kết quả thực nghiệm Để đánh giá mô hình đề xuất, chúng tôi xây dựng một hệ thống thử nghiệm dựa trên bộ công cụ Matlab. Thuật toán học SVM của thư viện LIBSVM được phát triển bởi nhóm của Chih-Wei Hsu [11], được sử dụng để sản sinh ra các SVs từ dữ liệu huấn luyện, làm cơ sở để xây dựng thuật toán trích xuất các luật mờ fm-SVM*. Việc phân cụm dữ liệu đầu vào được thực hiện dựa trên bộ công cụ SOM được phát triển bởi Juha Vesanto và các đồng sự [15]. Sau cùng, chúng tôi sử dụng hàm AVALFIS trong thư viện công cụ Matlab Fuzzy Logic để suy luận dự báo giá cổ phiểu dựa vào các luật mờ sản xuất được. 4.2.1. Nguồn dữ liệu Nguồn dữ liệu thực nghiệm được chọn từ bốn mã cố phiếu của các tập đoàn và tổ chức tài chính lớn của Mỹ bao gồm: IBM Corporation stock (IBM), the Apple inc. stock (APPL), the the Standard & Poor’s stock index (S&P500), and the Down Jones Industrial Average index (DJI) (Bảng 2). Tất cả các dữ liệu trên được lấy từ nguồn sàn chứng khoán Yahoo Finance (http://finance.yahoo.com/). Bảng 2. Nguồn dữ liệu thực nghiệm Stocks Time Training Validation Testing IBM Corporation stock (IBM) 03/01/2000 - 30/06/2010 2209 200 200 Apple inc. stock (APPL) 03/01/2000 - 30/06/2010 2209 200 200 Standard & Poor’s stock index (S&P500) 03/01/2000 - 23/12/2008 2016 200 200 Down Jones Industrial Average index (DJI) 02/01/1991 - 28/03/2002 2152 200 200 4.2.2. Các kết quả thực nghiệm Các tập dữ liệu Training được sử dụng để huấn luyện cho các mô hình để tạo ra các tập luật mờ tương ứng với từng mã cổ phiếu. Các tập dữ liệu Validation được sử dụng để suy luận thử với các tập luật mờ tương ứng với từng mã cổ phiểu. Từ đó, các tham số ε và k (số phân cụm bằng k-Means) được xác định bằng cách tùy chỉnh để có được các giá trị thông số đánh giá tốt nhất, gồm NMSE (Nomalized Mean Squared Error), MAE (Mean Absolute Error), và DS (Directional Symmetry). Trong đó NMSE và MAE đo lường độ lệch giữa giá trị thực tế và giá trị dự đoán, DS đo lường tỷ lệ dự đoán đúng xu hướng của giá trị RDP+5. Giá trị tương ứng của NMSE và MAE là nhỏ và của DS là lớn chứng tỏ rằng mô hình dự đoán tốt. Mô hình kết quả đã được tối ưu hóa các tham số bằng cách tinh chỉnh trên tập dữ liệu Validation được sử dụng để dự đoán trên tập dữ liệu Testing. Bên cạnh đó, chúng tôi cũng thử nghiệm dự đoán trên cùng bộ dữ liệu Testing với các mô hình khác được đề xuất trước đó, bao gồm SVM, mô hình kết hợp SOM+SVM và SOM+f-SVM. Mô hình SOM+SVM là mô hình dựa trên sự kết hợp của SOM và SVM, được đề xuất để dự đoán xu hướng cổ phiếu trong [16]. Mô hình SOM+f-SVM là mô hình kết hợp SOM với f-SVM thuần túy (chưa tối ưu tham số ε và tích hợp kỹ thuật phân cụm k-Means). Kết quả thực nghiệm dự đoán trên 200 mẫu dữ liệu testing được thể hiện trong bảng 3. Bảng 3. Kết quả dự đoán trên 200 mẫu dữ liệu thử nghiệm SVM SOM+SVM SOM+f-SVM SOM+ fm-SVM* Mã cổ phiếu NMSE MAE Số Số DS NMSE MAE DS NMSE MAE DS NMSE MAE DS luật luật IBM 0,9278 0,0191 38,31 1,1028 0,0577 44,22 1355 1,0324 0,0554 50,75 15*6 1,0530 0,0504 50,05 APPL 1,0725 0,0110 34,33 1,1100 0,0445 52,76 1287 1,0467 0,0435 53,27 5*55 1,0466 0,0610 53,00 SP500 1,2687 0,0394 38,90 1,1081 0,1217 52,76 965 1,0836 0,1207 53,27 15*6 1,0906 0,1117 52,86 DJI 1,1015 0,0576 38,31 1,0676 0,1186 50,25 1025 1,0459 0,1181 51,76 5*35 1,0550 0,1101 51,35 So sánh giá trị các thông số MNSE và MAE trong bảng 3 ta thấy, trên cả 4 mã cổ phiếu, giá trị các thông số MNSE và MAE của mô hình SOM+f-SVM và SOM+fm-SVM* đề xuất là nhỏ hơn so với mô hình SVM, điều này chứng tỏ độ sai lệch giữa giá trị dự đoán và giá trị thực tế của mô hình đề xuất là ít hơn so với hai mô hình kia. Bên cạnh đó, ta cũng thấy giá trị thông số DS của mô hình đề xuất lớn hơn so với mô hình SVM, điều này chứng tỏ tỷ lệ dự đoán đúng xu hướng của mô hình đề xuất cao hơn.
342 MỘT SỐ GIẢI PHÁP TỐI ƯU TẬP LUẬT MỜ TSK TRÍCH XUẤT TỪ MÁY HỌC VÉCTƠ HỖ TRỢ HỒI QUY So sánh kết quả của mô hình SOM+ fm-SVM* đề xuất với mô hình SOM+SVM và SOM+ f-SVM trong bảng 3, ta thấy giá trị của những thông số của cả hai mô hình là tương đương. Điều này cũng dễ dàng lý giải được, bởi vì các thuật toán f-SVM và fm-SVM* đã rút trích ra tập luật mờ dùng cho mô hình dự đoán từ các máy SVMs, và như vậy mô hình dự đoán đề xuất kết hợp SOM với f-SVM và fm-SVM* sẽ thừa hưởng hiệu quả của mô hình SOM+SVM là điều tất yếu. Tuy nhiên, so với mô hình dự đoán SOM+SVM thì các mô hình mô hình mờ TSK có những ưu điểm sau: 1) Mô hình dự đoán SOM+SVM là một mô hình “hộp đen” đối với người dùng cuối, trong khi mô hình đề xuất cho phép trích xuất ra một tập luật mờ và quá trình suy luận sẽ được thực hiện trên tập luật này. Đối với người dùng cuối thì mô hình suy luận dựa trên một tập luật mờ sẽ dễ hiểu và sáng tỏ hơn. 2) Ngoài ra việc áp dụng SOM để phân cụm dữ liệu đầu vào thành từng tập nhỏ riêng biệt, bên cạnh hiệu quả mang lại là giảm kích thước dữ liệu vào và từ đó làm giảm thời gian thực hiện của thuật toán, tập luật sinh ra cũng sẽ được phân thành các cụm riêng biệt tương ứng, điều này cũng sẽ góp phần giúp cho chuyên gia con người dễ dàng đọc hiểu và phân tích các luật mờ học được. Điểm cải thiện của mô hình dựa trên fm-SVM* so với mô hình dựa trên f-SVM thể hiện thông qua số luật mờ trích xuất được của từng mô hình. Ví dụ, đối với mã cổ phiếu IBM, tổng số luật mờ theo mô hình SOM+f-SVM là 1355, trong theo mô hình SOM+fm-SVM chỉ là 90 luật (15*6). Như vậy, số luật mờ của mô hình đề xuất đã giảm đi rất nhiều so với mô hình SOM+f-SVM, trong khi tính chính xác của kết quả dự đoán vẫn được đảm bảo. V. KẾT LUẬN Nghiên cứu này đề xuất một số giải pháp để tối ưu hóa mô hình mờ TSK trích xuất từ máy học véctơ hỗ trợ giải quyết bài toán dự báo hồi quy. Thuật toán fm-SVM* đề xuất cho phép điều chỉnh và lựa chọn giá trị các tham số ε và k trên cơ sở sử dụng tập dữ liệu Validation. Các kết quả thực nghiệm trên dữ liệu Testing cho thấy mô hình dự đoán đề xuất thật sự mang lại hiệu quả thể hiện ở chỗ: độ chính xác của kết quả dự đoán cao hơn hoặc tương tương đương so với các mô hình khác, thể hiện qua các giá trị của các thông số NMSE, MAE và DS, trong khi đó thì số lượng luật mờ của các mô hình được rút gọn đáng kể. Như đã trình bày ở phần IV của bài báo, một trong những hiệu quả mang lại của việc rút gọn và gom cụm các luật mờ trích xuất được là sẽ giảm độ phức tạp trong quá trình suy luận, đồng thời giúp cho việc diễn dịch và phân tích các luật này dễ dàng hơn. Trong định hướng nghiên cứu tiếp theo, chúng tôi sẽ nghiên cứu các giải pháp để tích hợp luật chuyên gia với tập luật mờ hướng dữ liệu nhằm nâng cao hiệu quả dự đoán. VI.TÀI LIỆU THAM KHẢO [1] J. Shawe-Taylor and N. Cristianini. “Kernel Methods for Pattern Analysis”. Cambridge University Press, 2004. [2] Corinna Cortes and Vladimir Vapnik. “Support-Vector Networks, Machine Learning”. Machine Learning, 20, 273-297, 1995. [3] J. H Chiang, P. Y Hao. “Support vector learning mechanism for fuzzy rule-based modeling: a new approach”. IEEE Trans. On Fuzzy Systems, vol. 12, pp. 1-12, 2004. [4] J. L. Castro, L. D. Flores-Hidalgo, C. J. Mantas, J. M. Puche. “Extraction of fuzzy rules from support vector machines”. Elsevier. Fuzzy Sets and Systems, 158, 2057-2077, 2007. [5] J. S. R. Jang. “Anfis: adaptive-network-based fuzzy inference system”. IEEE Transactions on Systems, Man and Cybernetics, vol. 23, no. 3, pp. 665-685, 1993. [6] David Martens, Johan Huysmans, Rudy Setiono, Jan Vanthienen, Bart Baesens. “Rule Extraction from Support Vector Machines - An Overview of issues and application in credit scoring”. Studies in Computational Intelligence (SCI) 80: 33-63, 2008. [7] M. Azeem, M. Hanmandlu, N. Ahmad. “Generalization of adaptive neuro-fuzzy inference systems”. IEEE Transactions on Neural Networks, vol. 11, no. 6. [8] S. Chen, J. Wang, D. Wang. “Extraction of fuzzy rules by using support vector machines”. IEEE, Computer society, pp. 438-441, 2008. [9] Serge Guillaume, Luis Magdalena. “Expert guided integration of induced knowledge into a fuzzy knowledge base”. Soft Comput, Springer-Verlag 2006, 10:733-784, 2006. [10] Y. Jin, B. Sendhoff. “Extracting interpretable fuzzy rules from RBF networks”. Neural Processing Letters, vol. 17, no. 2, pp. 149-164, 2003. [11] Chih-Wei Hsu, Chih-Chung Chang, Chih-Jen lin. “A practical Guide to Support Vector Classification”. http://www.csie.ntu.edu.tw/~cjlin/libsvm/, 2010.
Nguyễn Đức Hiển, Lê Mạnh Thạnh 343 [12] Francis Eng Hock Tay and Li Yuan Cao. “Improved financial time series forecasting by combining Support Vector Machines with self-organizing feature map”. Intelligent Data Analysis 5, IOS press: 339-354, 2001. [13] L. J. Cao and Francis E. H. Tay. “Support vector machine with adaptive parameters in Financial time series forecasting”. IEEE trans. on neural network,vol. 14, no. 6, 2003. [14] John Yen, Reza Langari. “Fuzzy logic: Intelligence, Control, and Information”. Prentice hall, Uper dadle river, New Jersey, 1999. [15] Juha Vesanto, Johan Himberg, Esa Alhoniemi, Jaha Parhankangas. “SOM Toolbox for Matlab 5”. http://www.cis.hut.fi/projects/som-toolbox/, 2000. [16] Duc Hien Nguyen, Manh Thanh Le. “A two-stage architecture for stock price forecasting by combining SOM and fuzzy-SVM”. International Journal of Computer Science and Infor-mation Security (IJCSIS), USA, ISSN: 1947- 5500, Vol. 12 No. 8: 20-25, 2013. OPTIMAZING TSK FUZZY MODEL EXTRACTED FROM SUPPORT VECTOR MACHINES FOR REGRESSION Nguyen Duc Hien, Le Manh Thanh ABSTRACT: Extracting Takagi-Sugeno-Kang (TSK) fuzzy rule set from the vector-support learning machine is one of the approaches to construct a fuzzy model for predictive math. Previous studies of this approach showed that fuzzy model is automatically trained based on input data sets, leading to major limitations such as large rule size, lack of specificity, coverage. In this article, the authors have supposed and experimented some solutions to reduce and optimize the extracted TSK fuzzy rule set but still ensure the predictive performance of the model.