Mạng nơron phân cụm min-max mờ dựa trên tâm cụm dữ liệu

Công nghệ thông tin<br /> <br /> MẠNG NƠRON PHÂN CỤM MIN-MAX MỜ<br /> DỰA TRÊN TÂM CỤM DỮ LIỆU<br /> Vũ Đình Minh1, Nguyễn Doãn Cường2*, Nguyễn Thị Lan Hương1<br /> Tóm tắt: Mạng nơron min-max mờ (FMNN) là một loại mạng nơron dựa trên<br /> hình thức các hyperbox cho phân loại và dự báo. Bài báo này trình bày một mạng<br /> nơron được cải tiến từ mô hình mạng nơron phân cụm min-max mờ FMNN của<br /> Simpson. Mô hình cải tiến được gọi là Centroid-based FMNN (CFMNN) nhằm cải<br /> thiện hiệu suất phân cụm của FMNN. CFMNN sử dụng khoảng cách của mẫu dữ<br /> liệu với tâm cụm dữ liệu thuộc hyperbox để điều chỉnh các hyperbox. Các thực<br /> nghiệm đã được chúng tôi tiến hành trên các tập dữ liệu PID, Wine và tập dữ liệu<br /> thực tế bao gồm 1.500 hồ sơ bệnh nhân để so sánh CFMNN với FMNN đã được<br /> công bố trước đây. Các kết quả thử nghiệm cho thấy tiềm năng của CFMNN trong<br /> phân cụm dữ liệu.<br /> Từ khóa: Min-max mờ, Mạng nơron min-max mờ, Phân cụm, Tâm cụm, Tâm hộp.<br /> <br /> 1. ĐẶT VẤN ĐỀ<br /> Từ lý thuyết tập mờ [15] được Zadeh đưa ra vào năm 1965, đã có nhiều nghiên<br /> cứu về nhận biết và phân loại với tập mờ. Trong đó, có rất nhiều nhà khoa học chú<br /> ý đến sự hợp nhất của logic mờ và mạng nơron để phát triển hệ thống thông minh<br /> [3, 12, 14]. Lý do chính là khả năng kết hợp lý luận mờ trong xử lý thông tin<br /> không chắc chắn với khả năng học của mạng nơron mờ [2, 13, 17, 16].<br /> Dựa trên những ưu điểm của việc kết hợp logic mờ và mạng nơron, Simpson<br /> đã đề xuất một mô hình mạng nơron mờ min-max (FMNN) [10, 11], cho phép kết<br /> hợp mạng nơron và lý thuyết min-max mờ (FMM) để giải quyết bài toán phân lớp<br /> và phân cụm.<br /> Mô hình FMNN của Simpson sử dụng phương pháp dựa trên dữ liệu, là mô<br /> hình mạng nơron học gia tăng cho khẳ năng xử lý các bộ dữ liệu quy mô lớn [14].<br /> Học gia tăng là một kỹ thuật hiệu quả trong khám phá tri thức vì nó cho phép sử<br /> dụng lại, bổ sung thông tin trong một lần duyệt [4]. Một lợi thế của việc học gia<br /> tăng là tất cả các dữ liệu huấn luyện có thể ngay lập tức sử dụng cho việc học thay<br /> vì chờ đợi cho một tập huấn được đào tạo lại.<br /> FMNN dựa trên sự tổng hợp của các hyperbox mờ [1] để xác định và giới hạn<br /> các không gian con trong không gian mẫu n-chiều. Mỗi hyperbox mờ là một không<br /> gian con được xác định bằng hai điểm min và max. Kích thước của hyperbox mờ<br /> là một giá trị trong khoảng từ 0 đến 1, mỗi mẫu vào được phân loại dựa trên mức<br /> độ thuộc với các hyperbox mờ tương ứng.<br /> Thuật toán học của FMNN nhằm mục tiêu tạo và điều chỉnh các hyperbox<br /> trong không gian n-chiều. Nếu quá trình mở rộng tạo ra sự chồng lấn giữa các<br /> hyperbox thì thực hiện quá trình co lại để khử chồng lấn. Nói cách khác, FMNN<br /> phân cụm bằng cách tạo ra các hyperbox, mỗi hyperbox đại diện cho một cụm sẽ<br /> tương ứng là một nơron trong lớp đầu ra.<br /> Dựa trên mô hình FMNN gốc, một số biến thể đã được phát triển. Các nghiên<br /> cứu trong [8, 9] đã cải tiến FMNN bằng cách sử dụng hệ số khoảng cách tương<br /> quan CCC (Cophenetic Correlation Coefficient) so với tâm hình học của hyperbox.<br /> <br /> <br /> 20 V. Đ. Minh, N. D. Cường, N. T. L. Hương, “Mạng nơron phân cụm … tâm cụm dữ liệu.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> Một mạng FMNN mới được Quteishat và Lim đề xuất để giải quyết hiện tượng<br /> mạng chỉ có số ít hyperboxes có kích thước lớn được tạo ra [7]. Cả hai đề xuất trên<br /> đều dựa trên tâm hình học của các hyperbox, các tác giả đã hiệu chỉnh điểm min<br /> và max của hyperbox dựa trên khoảng cách giữa mẫu và tâm hyperbox. Điều này<br /> thật tốt khi dữ liệu có độ nhiễu thấp, phân bố tương đối đều. Nhưng khi dữ liệu có<br /> độ nhiễu cao, phân bố không đều trong hyperbox sẽ dẫn đến phân loại sai, làm<br /> giảm hiệu quả thuật toán.<br /> Trong bài báo này, chúng tôi đề xuất một mô hình nâng cao hiệu quả phân cụm<br /> được cải tiến từ mô hình gốc của Simpson và các tác giả trong [7, 8, 9], bằng cách<br /> xác định khoảng cách của các mẫu tới tâm của hyperbox và tâm của cụm dữ liệu<br /> thuộc hyperbox tương ứng trong FMNN. Việc điều chỉnh điểm min và max của<br /> hyperbox phụ thuộc vào khoảng cách giữa mẫu vào và tâm cụm và tâm hình học<br /> của hyperbox khi giá trị hàm thuộc của hyperbox giảm nhiều. Hiệu quả được đánh<br /> giá bằng cách sử dụng thuật toán sửa đổi để phân cụm trên các tập dữ liệu Wine,<br /> PID từ UCI và tập dữ liệu thực tế bao gồm 1.500 hồ sơ bệnh nhân đến khám và<br /> điều trị bệnh do tăng men gan tại bệnh viện Đa khoa TW Thái Nguyên và Bệnh<br /> Viện Gang Thép Thái Nguyên.<br /> Các phần còn lại của bài báo bao gồm: phần 2 tổng hợp lại nghiên cứu nền tảng<br /> về thuật toán mờ min-max và mô hình mạng nơron phân cụm mờ min-max FMNN.<br /> Phần 3 trình bày mô hình CFMNN đề xuất. Phần 4 trình bày các kết quả thực<br /> nghiệm và phần 5 kết luận.<br /> 2. MẠNG NƠRON PHÂN CỤM MIN-MAX MỜ<br /> 2.1. Hàm thuộc hyperbox mờ<br /> Một hyperbox là một vùng của không gian mẫu n-chiều với các mẫu đi kèm<br /> với hàm thuộc. Kích thước mỗi chiều (ký hiệu là ) của hyperbox nhận giá trị<br /> trong khoảng từ 0 đến 1. Không gian mẫu n-chiều có đơn vị là In. Hàm thuộc bj của<br /> hyperbox mờ mô tả mức độ thuộc của mẫu vào hyperbox Bj, có giá trị trong<br /> khoảng từ 0 đến 1. Hình 1 là ví dụ biểu diễn giá trị min-max của hyperbox trong<br /> không gian 2-chiều với V điểm min và W là điểm max.<br /> <br /> <br /> <br /> <br /> Hình 1. Hyperbox 2D.<br /> Hyperbox mờ Bj thứ j được định nghĩa như sau:<br />  <br /> B j  Ah ,V j , W j , b j Ah , V j , W j <br /> Trong đó:<br /> - Ah   ah1 , ah 2 ,..., ahn   I n là mẫu dữ liệu thứ h trong tập dữ liệu.<br /> - V j   v j1 , v j 2 ,..., v jn  là điểm min của Bj<br /> - W j   w j1 , w j 2 ,..., w jn  là điểm max của Bj<br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 12 - 2017 21<br />  Công nghệ thông tin<br /> <br /> - b j  Ah ,V j , W j  là hàm thuộc của mẫu vào Ah tương ứng với hyperbox Bj,<br /> 0 ≤ b j  Ah ,V j , W j  ≤ 1.<br /> Giá trị hàm thuộc bj mô tả độ thuộc của mẫu Ah vào hyperbox Bj được nghĩa<br /> thông qua Vj và Wj theo (1):<br /> 1 n<br /> b j  Ah ,V j , Wj    1  f  ahi  w ji ,    f  v ji  ahi ,   (1)<br /> n i 1 <br /> Trong đó:<br /> - f(x,y) là hàm ngưỡng hai tham số, được xác định như sau:<br /> <br /> <br /> <br /> -  là tham số độ nhạy dùng để điều chỉnh giảm nhanh giá trị hàm thuộc khi<br /> một mẫu vào bị tách ra khỏi hyperbox.<br /> Hình 2 là một ví dụ mô phỏng hàm thuộc bj với hyperbox có điểm min<br /> V=(0,3;0,3) và điểm max W=(0,7;0,5).<br /> <br /> <br /> <br /> <br /> Hình 2. Ví dụ về độ thuộc của hyperbox có V=(0,3;0,3), W=(0,7;0,5).<br /> 2.2. Thuật toán học phân cụm min-max mờ<br /> Thuật toán học phân cụm min-max mờ là quá trình điều chỉnh mở rộng/co lại<br /> các hyperbox.<br /> Giả sử tập huấn luyện D ban đầu gồm m mẫu, với Ah   ah1 , ah 2 ,..., ahn   I n là<br /> mẫu vào thứ h (h = 1, 2,…, m) của tập D. Quá trình học bắt đầu bằng việc lựa chọn<br /> lần lượt các mẫu AhD và tìm các hyperbox gần nhất để có thể mở rộng thêm mẫu.<br /> Nếu không thể tìm thấy một hyperbox nào thỏa mãn các tiêu chí mở rộng, một<br /> hyperbox mới được tạo ra. Quá trình tăng trưởng này cho phép các cụm được tinh<br /> chỉnh theo thời gian, và cho phép các cụm mới được thêm vào mà không cần đào<br /> tạo lại.<br /> Vấn đề xảy ra khi thực hiện mở rộng hyperbox tạo nên sự chồng lấn giữa các<br /> hyperbox. Sự chồng lấn hyperbox tạo nên sự không rõ ràng, đây chính là điều gây<br /> nên sự một mẫu có giá trị hàm thuộc như nhau tới các cụm khác nhau, giá trị hàm<br /> thuộc bằng 1. FMNN thực hiện điều chỉnh co lại các hyperbox để loại trừ sự chồng<br /> <br /> <br /> 22 V. Đ. Minh, N. D. Cường, N. T. L. Hương, “Mạng nơron phân cụm … tâm cụm dữ liệu.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> lấn. FMNN sử dụng 2 tập C (Committed) và U (Uncommitted), tập C gồm các<br /> hyperbox có các điểm min, max đã được điều chỉnh và U gồm các hyperbox đang<br /> chờ điều chỉnh. Với tập U do người dùng ước lượng số hyperbox tối đa có thể<br /> được tạo ra.<br /> Thuật toán học gồm 4 bước:<br /> - Khởi tạo các hyperbox<br /> - Mở rộng hyperbox<br /> - Kiểm tra chồng lấn hyperbox<br /> - Điều chỉnh chồng lấn<br /> Các bước được mô tả chi tiết như sau:<br /> Bước 1. Khởi tạo các hyperbox trong tập U: Khởi tạo giá trị ban đầu của các<br /> hyperbox Bj U theo (2) và (3):<br /> Vj  1 (2)<br /> Wj  0 (3)<br /> trong đó, 1 là vector n-chiều có các giá trị bằng 1; 0 là vector n-chiều có các giá<br /> trị = 0.<br /> Thuật toán học thực hiện chuyển hyperbox từ tập U đưa vào tập C. Khi một<br /> hyperbox được chuyển, các điểm min và max được điều chỉnh theo (4).<br /> Vj = Wj = Ah (4)<br /> Bước 2. Mở rộng hyperbox: Với mỗi mẫu vào Ah, tìm một hyperbox Bj có độ<br /> thuộc cao nhất theo (1) trong số các hyperbox thỏa mãn biểu thức điều kiện giới<br /> hạn kích thước (5).<br /> 1 n<br />  <br />  max  w ji , ahi   min  v ji , ahi   <br /> n i 1<br /> (5)<br /> <br /> Điều chỉnh các điểm min, max của hyperbox Bj theo (6) và (7).<br /> v new<br /> ji <br />  min v old<br /> ji , ahi  i  1, 2,..., n (6)<br /> <br /> wnew<br /> ji  max  w old<br /> ji , ahi  i  1, 2,..., n (7)<br /> Nếu không có hyperbox nào thỏa mãn (5), tạo một hyperbox mới. Việc tạo ra<br /> hyperbox mới trong C thực chất là chuyển hyperbox từ tập U đưa vào tập C. Khởi<br /> tạo các điểm min, max của hyperbox đó theo (4).<br /> Bước 3. Kiểm tra chồng lấn hyperbox: Giả sử hyperbox Bk vừa được điều chỉnh<br /> cần được kiểm tra chồng lấn so với Bj. Thực hiện so sánh trên các chiều tương ứng<br /> giữa Bj và Bk, nếu Bj và Bk có chồng lấn, thì xảy ra một trong các trường hợp sau<br /> (trên mỗi chiều):<br /> - Case 1: v ji  vki  w ji  wki (8)<br /> - Case 2: vki  v ji  wki  w ji (9)<br /> - Case 3: v ji  vki  wki  w ji (10)<br /> - Case 4: vki  v ji  w ji  wki (11)<br /> <br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 12 - 2017 23<br />  Công nghệ thông tin<br /> <br /> - Case 5: v ji  vki  w ji  wki (12)<br /> - Case 6: v ji  vki  w ji  wki (13)<br /> - Case 7: vki  v ji  wki  w ji (14)<br /> - Case 8: vki  v ji  wki  w ji (15)<br /> - Case 9: v ji  vki  w ji  wki (16)<br /> - Case 10: vki  v ji  wki  w ji (17)<br /> Bước 4. Điều chỉnh chồng lấn: Nếu hyperbox Bj và Bk có chồng lấn, thực hiện<br /> điều chỉnh để loại bỏ chồng lấn theo các trường hợp tương ứng:<br /> - Case 1: if v ji  vki  w ji  wki then: vkinew  wnew<br /> ji  (vkiold  wold<br /> ji ) / 2 (18)<br /> v new  wkinew  (v old old<br /> ji  wki ) / 2 (19)<br /> - Case 2: if vki  v ji  wki  w ji then: ji<br /> <br /> <br /> - Case 3: if wki  v ji  w ji  vki then: v new<br /> ji  wkiold (20)<br /> new old<br /> otherwise: w ji vki (21)<br /> new old<br /> - Case 4: if w ji  vki  wki  v ji then: v ki w ji (22)<br /> otherwise: wkinew  vold (23)<br /> ji<br /> <br /> <br /> - Case 5: if v ji  vki  w ji  w ki then vkinew  wnew<br /> ji  (vkiold  wold<br /> ji ) / 2 (24)<br /> new new old old<br /> - Case 6: if v ji  vki  w ji = wki then v ji w ki  (v ki w )/2<br /> ji (25)<br /> new new old old<br /> - Case 7: if vki  v ji  wki  w ji then v ji wki  (v ji w )/2<br /> ki (26)<br /> - Case 8: if vki  v ji  wki = w ji then v new<br /> ji  wkinew  (v old old<br /> ji  wki ) / 2 (27)<br /> - Case 9: if v ji  vki  w ji  wki then v new<br /> ji  wkinew  (vold old<br /> ji  wki ) / 2 (28)<br /> vkinew  wnew  (vkiold  wold (29)<br /> - Case 10: if v ji  vki  w ji = wki then ji ji )<br /> <br /> <br /> Các bước từ 2 đến 4 được lặp lại đối với tất cả các mẫu trong tập dữ liệu. Điều<br /> kiện dừng của thuật toán là khi các hyperbox ổn định, tức là tất cả các điểm min và<br /> max của các hyperbox không thay đổi hoặc thay đổi dưới một ngưỡng cho phép<br /> trong khi duyệt mẫu kế tiếp của tập dữ liệu.<br /> 2.3. Mạng nơron phân cụm min-max mờ<br /> Cấu trúc mạng nơron FMNN [11] gồm 2 lớp được mô tả trên hình 3, lớp vào FA<br /> gồm n nút (mỗi nút là một chiều của mẫu dữ liệu), lớp ra FB gồm m nút (mỗi nút là<br /> một cụm).<br /> <br /> Ah2 b1<br /> a2<br /> Ah3 b2<br /> a3<br /> Ah4 b3<br /> a4 <br /> <br /> <br /> <br /> <br /> <br /> <br /> Ahn bq<br /> <br /> <br /> Hình 3. Mô hình mạng nơron FMNN.<br /> <br /> <br /> 24 V. Đ. Minh, N. D. Cường, N. T. L. Hương, “Mạng nơron phân cụm … tâm cụm dữ liệu.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> Mỗi một nơron thứ j được kết nối với các đầu vào thông qua một bộ trọng số<br /> kép, tương ứng là hai vector Vj và Wj (hình 4).<br /> <br /> <br /> <br /> <br /> Hình 4. Minh họa cấu tạo của một nơron bj.<br /> Mỗi đầu vào gắn với một thành phần của Ah. Kết nối giữa đầu vào thứ i và nút<br /> thứ j trong FB thông qua hai trọng số min vij và max wij. Tức là các điểm min và<br /> max của nút thứ j là các vector:<br /> V j   v j1 , v j 2 ,..., v jn <br /> <br /> và<br /> W j   w j1 , w j 2 ,..., w jn  .<br /> <br /> Với mẫu vào Ah, giá trị ra của b j  Ah ,V j , W j  được tính theo (1).<br /> <br /> 3. ĐỀ XUẤT CẢI TIẾN HÀM THUỘC<br /> DỰA TRÊN TÂM CỤM DỮ LIỆU CỦA HYPERBOX<br /> Trong giai đoạn dự báo của FMNN [11], các mẫu được phân cụm dựa trên các<br /> giá trị hàm thuộc và mẫu sẽ thuộc về hyperbox có giá trị hàm thuộc cao nhất.<br /> Bài báo đề xuất một phương pháp khác trong giai đoạn dự báo của FMNN.<br /> Phương pháp này dựa trên khoảng cách giữa các mẫu vào và tâm cụm dữ liệu hay<br /> tâm hình học của hyperbox tương ứng gọi là CFMNN. Ngoài hai điểm min và<br /> max, mỗi cụm dữ liệu thuộc hyperbox tương ứng có tâm cụm được tính theo (30)<br /> và tâm của hyperbox tính theo (31).<br /> 1 k<br /> d ji   ali<br /> k l 1 (30)<br /> <br /> v ji  w ji<br /> c ji  (31)<br /> 2<br /> với dji là tâm cụm dữ liệu của hyperbox thứ j theo chiều thứ i, l là số mẫu thuộc<br /> hyperbox j, cji là tâm hình học của hyperbox thứ j theo chiều thứ i, vji và wji là 2<br /> điểm min, max của hyperbox j theo chiều thứ i.<br /> Khoảng cách giữa mẫu vào thứ h và tâm hình học của hyperbox thứ j (ECjh)<br /> được tính theo (32):<br /> n 2<br /> 1<br /> ED j  1 <br /> n<br />   d ji  ahi  (32)<br /> i 1<br /> <br /> Khoảng cách giữa mẫu vào thứ h và tâm của cụm dữ liệu thuộc hyperbox thứ j<br /> (EDjh) được tính theo (33):<br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 12 - 2017 25<br />  Công nghệ thông tin<br /> <br /> n 2<br /> 1<br /> EC j  1 <br /> n<br /> <br /> i 1<br /> c ji  ahi  (33)<br /> <br /> với Ejh là khoảng cách Euclidean giữa hyperbox thứ j và mẫu vào thứ h.<br /> Hình 2 cho thấy, khi bj ≤ 0.6 thì giá trị của bj không giảm dần khi mẫu dời xa<br /> hyperbox. Không những vậy, khi có nhiều hơn một bj đạt max, FMNN sẽ phân loại<br /> một cách ngẫu nhiên. Đây chính là lý do khiến FMNN phân loại sai, làm giảm hiệu<br /> suất của mạng FMNN.<br /> Để khắc phục nhược điểm này, chúng tôi hiệu chỉnh như sau: Với mỗi mẫu vào<br /> Ah thỏa mãn điều kiện gới hạn kích thước (5) mà giá trị hàm thuộc<br /> bj ≤ 0.6 hoặc có nhiều hơn một bj là cực đại, khoảng cách EDj, ECj được tính toán<br /> và so sánh. Mẫu vào Ah sẽ thuộc vào hyperbox nào có giá trị EDj, ECj lớn nhất<br /> (hay khoảng cách bé nhất). Điều này có nghĩa, việc điều chỉnh các điểm min, điểm<br /> max của hyperbox thuật toán học trong CFMNN không những phụ thuộc vào hàm<br /> thuộc bj và còn phụ thuộc vào khoảng cách giữa mẫu với tâm cụm dữ liệu và tâm<br /> hình học hyperbox tùy theo điều kiện cụ thể. Tâm cụm dữ liệu và tâm hình học của<br /> hyperbox chỉ được tính toán khi có điều kiện phụ xảy ra.<br /> Hình 5 mô phỏng trường hợp so sánh khoảng cách giữa mẫu vào Ah với hai<br /> hyperbox. D1 là tâm dữ liệu của hyperbox 1, D2 là tâm dữ liệu của hyperbox 2, C1<br /> là tâm hình học của hyperbox 1, C2 là tâm hình học của hyperbox 2. c1, c2 là<br /> khoảng cách Euclidean giữa mẫu vào với tâm hình học của hyperbox 1, 2 tương<br /> ứng. d1, d2 là khoảng cách Euclidean giữa mẫu vào Ah với tâm dữ liệu thuộc<br /> hyperbox 1, 2 tương ứng. Vì d2 < c1 < c2 < d1 dẫn tới ED2 đạt max, mẫu vào được<br /> đưa vào hyperbox 2 (mở rộng hyperbox 2).<br /> <br /> <br /> <br /> <br /> Hình 5. Ví dụ mô tả so sánh khoảng cách mẫu vào với tâm cụm dữ liệu<br /> và tâm hình học của hyperbox.<br /> <br /> 4. THỰC NGHIỆM<br /> Trong phần này, hiệu năng của mô hình CFMNN được đánh giá và so sánh với<br /> các phương pháp FMNN [11], M-FMN [8].<br /> 4.1. Dữ liệu thực nghiệm<br /> Các thực hiện thực nghiệm được tiến hành trên các tập dữ liệu Wine, PID<br /> (Pima Indian Diabetes), từ kho dữ liệu học máy UCI và một bộ dữ liệu được thu<br /> thập tại bệnh viện TN.<br /> <br /> <br /> 26 V. Đ. Minh, N. D. Cường, N. T. L. Hương, “Mạng nơron phân cụm … tâm cụm dữ liệu.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> - Tập dữ liệu PID gồm 768 mẫu với 8 thuộc tính được chia làm hai nhóm,<br /> nhóm thứ nhất gồm 268 bệnh nhân bị mắc bệnh tiểu đường và nhóm còn lại<br /> gồm 500 người được cho là khỏe mạnh.<br /> - Tập dữ liệu Wine chứa các thông tin về các loại rượu vang được trồng ở<br /> các khu vực tại Italy, nhưng xuất phát từ ba giống khác nhau. Các phân tích<br /> xác định số lượng của 13 thành phần được tìm thấy trong mỗi loại rượu<br /> vang của 178 mẫu với 13 thuộc tính chia làm 3 nhóm thuộc 3 trường hợp:<br /> nhóm 1 gồm 59 mẫu, nhóm 2 gồm 71 mẫu, nhóm 3 gồm 48 mẫu.<br /> Trong thực nghiệm với bộ dữ liệu của các bệnh nhân được bác sĩ chỉ định cận<br /> lâm sàng với các xét nghiệm men gan để đánh giá chức năng gan. Từ đó có thể<br /> đánh giá xơ hóa gan một cách rộng rãi, lặp lại nhiều lần đối với viêm gan mạn, do<br /> đó rất có ý nghĩa trong việc phát hiện và theo dõi diễn tiến bệnh, nhất là theo dõi<br /> đáp ứng về mặt giảm mức độ xơ hóa sau điều trị viêm gan mạn do vi-rút, bệnh gan<br /> nhiễm mỡ không do rượu và bệnh gan rượu. Tập dữ liệu này gồm 1.500 bệnh nhân<br /> đến khám và điều trị bệnh do rối loạn men gan tại Bệnh viện Gang thép Thái<br /> Nguyên và Bệnh Viện Đa khoa Trung ương Thái Nguyên. Mỗi hồ sơ bệnh nhân<br /> chứa các thông tin liên quan đến bệnh nhân đến khám và điều trị các bệnh do rối<br /> loạn men gan. Trong số 1.500 hồ sơ bệnh nhân gồm 3 nhóm: nhóm 1 gồm 650 hồ<br /> sơ bệnh nhân được cho là không mắc các bệnh; nhóm 2 gồm 450 hồ sơ bệnh nhân<br /> được chuẩn đoán là viêm gan và nhóm 3 gồm 400 hồ sơ bệnh nhân được chuẩn<br /> đoán là mắc bệnh xơ gan. Các thông tin sau được trích từ hồ sơ bệnh nhân, có liên<br /> quan đến chuẩn đoán bệnh của bác sĩ (một số thông tin khác được bảo vệ vì lý do<br /> bảo mật). Các thông tin bao gồm:<br /> 1) Tuổi: tính đến ngày làm xét nghiệm (tuổi lớn hơn 90 được coi là 90 tuổi)<br /> 2) Giới tính: mô tả giới tính của bệnh nhân (0: nam; 1: nữ)<br /> 3) Men AST (Aspartat transaminase) hay còn gọi là SGOT.<br /> 4) Men ALT(Alanin aminotransferase)<br /> 5) Chỉ số AST/ALT<br /> 6) Men GGT (Gamma Glutamyl Transferase hay gamma GT)<br /> 7) Albumin<br /> 8) Bilirubin toàn phần<br /> 9) Bilirubin trực tiếp<br /> 10) Chỉ số Bilirubin trực tiếp / Bilirubin toàn phần<br /> Các thông tin trên được cấu thành 10 thuộc tính đầu vào cho thực nghiệm.<br /> 4.2. Thực nghiệm và đánh giá<br /> 4.2.1. Thực nghiệm trên bộ dữ liệu chuẩn<br /> Thực nghiệm đầu tiên được tiến hành bằng cách sử dụng tập dữ liệu Wine và<br /> PID. Các mẫu dữ liệu mắc lỗi (“missing values”) được loại bỏ khỏi tập dữ liệu<br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 12 - 2017 27<br />  Công nghệ thông tin<br /> <br /> thực nghiệm. Chúng tôi chia tập dữ liệu thành 5 phần có kích thước xấp xỉ nhau, 4<br /> phần được sử dụng cho tập huấn luyện và phần còn lại là tập kiểm tra. Quá trình<br /> học và kiểm tra được thực hiện 5 lần, với mỗi lần tập huấn luyện và tập kiểm tra<br /> được hoán đổi cho nhau. Kết quả là giá trị trung bình của các lần thực nghiệm. Các<br /> bộ dữ liệu đã được sử dụng sau khi chuẩn hóa mỗi giá trị thuộc tính cho một số<br /> thực trong khoảng [1,0].<br /> Bảng 1 là kết quả phân loại đúng trên tập dữ liệu Wine của mô hình FMNN,<br /> M-FMN và CFMNN với  = 0.7 và  = 20. Acc là độ chính xác trên tập dữ liệu<br /> Wine. AccC1, AccC2, AccC3 là độ chính xác trên tập dữ liệu Wine tính riêng cho<br /> từng cụm tương ứng. Kết quả cho thấy CFMN tốt hơn hai phương pháp còn lại.<br /> <br /> Bảng 1. Tỉ lệ nhận dạng đúng trên tập dữ liệu Wine khi  = 0,7.<br /> Mô hình Acc AccC1 AccC2 AccC3<br /> FMNN 87,33 96,00 83,75 82,50<br /> M-FMN 89,00 96,00 85,00 85,83<br /> CFMN 91,00 97,00 85,00 90,00<br /> <br /> Bảng 2 là kết quả thực nghiệm trên tập dữ liệu PID khi chúng tôi thay đổi giá<br /> trị của tham số  từ 0,1 đến 0,9. Kết quả nhận dạng tốt nhất của FMNN là 61,92%<br /> và CFMNN là 70,49% đối với tập dữ liệu PID khi tham số kích thước hyperbox <br /> là 0,4.<br /> Bảng 2. Tỉ lệ nhận dạng đúng của FMNN, M-FMN[8],<br /> CFMNN trên tập dữ liệu PID.<br />  FMNN M-FMN CFMNN<br /> 0,1 59,01 63,70 64,35<br /> 0,2 60,34 64,63 65,95<br /> 0,3 60,84 66,56 68,62<br /> 0,4 61,92 69,08 70,49<br /> 0,5 60,92 67,68 69,78<br /> 0,6 60,18 67,15 68,53<br /> 0,7 56,86 62,82 63,46<br /> 0,8 52,62 57,92 59,72<br /> 0,9 50,13 53,69 55,36<br /> <br /> Hình 6 biểu diễn kết quả nhận dạng đúng của FMNN và CFMNN trên tập dữ<br /> liệu PID khi thay đổi tham số  từ 0,1 đến 0,9 với bước thay đổi bằng 0,1.<br /> <br /> <br /> 28 V. Đ. Minh, N. D. Cường, N. T. L. Hương, “Mạng nơron phân cụm … tâm cụm dữ liệu.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> <br /> <br /> <br /> Hình 6. Xu hướng biến động kết quả khi thay đổi tham số  trên tập dữ liệu PID.<br /> 4.2.2. Thực nghiệm trên cơ sở dữ liệu bệnh nhân<br /> Trong thực nghiệm với tập dữ liệu bệnh nhân, chúng tôi chọn ngẫu nhiên 400<br /> mẫu từ mỗi nhóm hình thành tập dữ liệu với 1.200 mẫu chứa đầy đủ thông tin. Từ<br /> 1.200 mẫu được chọn, chúng tôi chia thành 5 phần có kích thước xấp xỉ nhau, 4<br /> phần được sử dụng cho tập huấn luyện và phần còn lại là tập kiểm tra. Quá trình<br /> học và kiểm tra được thực hiện 5 lần, với mỗi lần tập huấn luyện và tập kiểm tra<br /> được hoán đổi cho nhau. Kết quả là giá trị trung bình sau 5 lần thực nghiệm. Trong<br /> mỗi thực nghiệm.<br /> Trong các thực nghiệm, phương pháp đánh giá các kết quả theo thống kê để tính<br /> trung bình bao gồm các chỉ số: độ chính xác Acc (Test Accuracy), độ nhạy AccSe<br /> (Accuracy Sensitivity), độ đặc hiệu AccSp (Accuracy Specificity), giá trị dự đoán<br /> âm NPV (Negative predictive value), Giá trị dự đoán dương PPV (Positive<br /> Predictive Value) số các hyperbox NoH (Number of Hyperboxes): Cách tính độ<br /> nhạy và độ đặc hiệu như sau:<br /> Acc =(a+d)/(a+b+c+d);<br /> AccSe = a/(a+c);<br /> AccSp = d/(b+d);<br /> PPV = a / (a+b );<br /> NPV = d/ (d+c)<br /> trong đó a, b, c, d là các giá trị chuẩn đoán quy ước trên bảng 3.<br /> Bảng 3. Các giá trị quy ước trong chuẩn đoán.<br /> Kết quả Có bệnh Khỏe mạnh Tổng cộng<br /> + a b a+b<br /> - c d c+d<br /> Tổng cộng a+c b+d a+b+c+d<br /> Bảng 4 là kết quả so sánh các chỉ số được thực hiện bởi FMM, M-FMM và<br /> CFMNN. Tham số  = 20, kích thước hyperbox  =0.6.<br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 12 - 2017 29<br />  Công nghệ thông tin<br /> <br /> Bảng 4. Thống kê kết quả Acc, AccSp, AccSe, PPV, NPV, NoH được thực hiện bởi<br /> FMNN, M-FMM, CFMNN.<br /> Phương pháp Acc AccSe AccSp PPV NPV<br /> FMNN 75,4 768,2 76,2 75,3 76,9<br /> M-FMM 80,3 79,1 79,9 80,0 78,9<br /> CFMNN 88,6 84,3 92,7 85,5 92,0<br /> Bảng 5 là kết quả so sánh các chỉ số được thực hiện bởi FMM, M-FMM,<br /> CFMNN. Trong thực nghiệm này, chúng tôi thay đổi kích thước hyperbox từ 0.05<br /> đến 0.8 với bước thay đổi là 0,05. Kết quả thực nghiệm của<br /> Bảng 5. Kết quả phân loại đúng được thực hiện bởi FMM, M-FMM, CFMNN khi<br /> thay đổi tham số .<br />  FMNN M-FMM CFMNN<br /> 0,05 77,28 76,97 89,68<br /> 0,10 79,12 78,50 90,75<br /> 0,15 80,49 80,34 91,51<br /> 0,20 81,41 82,02 91,97<br /> 0,25 82,48 81,72 92,89<br /> 0,30 83,10 83,86 93,81<br /> 0,35 79,58 80,03 92,89<br /> 0,40 76,52 77,28 92,12<br /> 0,45 74,98 75,90 91,05<br /> 0,50 71,92 73,30 90,59<br /> 0,55 68,86 67,64 89,22<br /> 0,60 67,33 66,42 87,07<br /> 0,65 64,27 63,51 85,08<br /> 0,70 62,44 62,13 80,95<br /> 0,75 61,52 60,91 77,28<br /> 0,80 58,15 57,85 74,22<br /> <br /> 5. KẾT LUẬN<br /> Bài báo đã trình bày mô hình mạng nơron phân cụm dữ liệu min-max mờ<br /> FMNN và CFMNN được cải tiến từ mô hình FMNN của Simson. Giá trị hàm<br /> thuộc trong đề xuất của chúng tôi được tính toán dựa trên khoảng cách Euclidean<br /> giữa các mẫu vào và tâm của hyperbox và tâm của cụm dữ liệu thuộc hyperbox<br /> tương ứng. Các kết quả thực nghiệm cho thấy CFMNN có kết quả tốt hơn FMNN<br /> và M-FMM khi thực nghiệm trên tập dữ liệu PID, Wine và 1.500 bệnh nhân đến<br /> khám và điều trị bệnh do rối loạn men gan tại Bệnh viện Gang thép Thái Nguyên<br /> và Bệnh Viện Đa khoa Trung ương Thái Nguyên.<br /> <br /> <br /> 30 V. Đ. Minh, N. D. Cường, N. T. L. Hương, “Mạng nơron phân cụm … tâm cụm dữ liệu.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> Tuy nhiên, để đạt được kết quả phân cụm tốt thì cả hai mô hình CFMNN và<br /> FMNN đòi hỏi thời gian và kinh nghiệm bằng việc “thử sai” nhiều lần để xác định<br /> các tham số điều chỉnh. Đây cũng là hạn chế của thuật toán phân cụm min-max mờ<br /> nói riêng và của hầu hết các mô hình mạng nơron nói chung. Ngoài ra, việc xác<br /> định kích thước giới hạn chung cho tất cả các cụm (hyperbox) bằng ngưỡng  là<br /> một vấn đề cần phải xem xét, do thực tế kích thước và mật độ dữ liệu của mỗi cụm<br /> dữ liệu trong không gian đầu vào là hoàn toàn khác nhau. Đây cũng là một hướng<br /> nghiên cứu tiếp theo cần được xem xét.<br /> TÀI LIỆU THAM KHẢO<br /> [1]. B. Alpern and L. Carter, “The hyperbox,” in Proc. IEEE Conf. Visual., Oct.<br /> 1991, pp. 133–139. [12]<br /> [2]. Kosko, B., & Burgess, J. C. (1998). “Neural networks and fuzzy systems”.<br /> The Journal of the Acoustical Society of America, 103(6), 3131-3131. [5]<br /> [3]. Lin, F. J., & Shen, P. H. (2006). “Robust fuzzy neural network sliding-mode<br /> control for two-axis motion control system”. IEEE Transactions on Industrial<br /> Electronics, 53(4), 1209-1225. [2]<br /> [4]. Luo, C., Li, T., Chen, H., & Liu, D. (2013). “Incremental approaches for<br /> updating approximations in set-valued ordered information systems”.<br /> Knowledge-Based Systems, 50, 218-233. [15]<br /> [5]. Martínez-Rego, D., Fontenla-Romero, O., & Alonso-Betanzos, A. (2012).<br /> “Nonlinear single layer neural network training algorithm for incremental,<br /> nonstationary and distributed learning scenarios”. Pattern Recognition, 45(12),<br /> 4536-4546. [14]<br /> [6]. Quteishat, A. M., & Lim, C. P. (2007). “A modified fuzzy min-max neural<br /> network and its application to fault classification”. In Soft computing in<br /> industrial applications (pp. 179-188). Springer, Berlin, Heidelberg. [9]<br /> [7]. Quteishat, A., & Lim, C. P. (2008). “A modified fuzzy min–max neural<br /> network with rule extraction and its application to fault detection and<br /> classification”. Applied Soft Computing, 8(2), 985-995. [16]<br /> [8]. Seera, M., Lim, C. P., Loo, C. K., & Jain, L. C. (2016). “Data Clustering<br /> Using a Modified Fuzzy Min-Max Neural Network”. In Soft Computing<br /> Applications(pp. 413-422). Springer, Cham [17]<br /> [9]. Seera, M., Lim, C. P., Loo, C. K., & Singh, H. (2015). “A modified fuzzy min–<br /> max neural network for data clustering and its application to power quality<br /> monitoring”. Applied Soft Computing, 28, 19-29. [13]<br /> [10].Simpson, P. K. (1992). “Fuzzy min-max neural networks”. I. Classification.<br /> IEEE transactions on Neural Networks, 3(5), 776-786. [10]<br /> [11].Simpson, P. K. (1993). “Fuzzy min-max neural network—Part II: Clustering”.<br /> IEEE Trans. Fuzzy Syst, 1(1), 32-45<br /> [12]. Wai, R. J., & Lee, J. D. (2008). “Adaptive fuzzy-neural-network control for<br /> maglev transportation system”. IEEE Transactions on Neural Networks,19(1),<br /> 54-70<br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số Đặc san CNTT, 12 - 2017 31<br />  Công nghệ thông tin<br /> <br /> [13]. Wang, Z., Zhang, H., & Yu, W. (2009). “Robust stability of Cohen–<br /> Grossberg neural networks via state transmission matrix”. IEEE Transactions<br /> on Neural Networks, 20(1), 169-174<br /> [14]. Yilmaz, S., & Oysal, Y. (2010). “Fuzzy wavelet neural network models for<br /> prediction and identification of dynamical systems”. IEEE transactions on<br /> neural networks, 21(10), 1599-1609<br /> [15]. Zadeh, L. A. (1965). “Fuzzy sets”. Information and control, 8(3), 338-353.<br /> [16]. Zhang, H., Luo, Y., & Liu, D. (2009). “Neural-network-based near-optimal<br /> control for a class of discrete-time affine nonlinear systems with control<br /> constraints”. IEEE Transactions on Neural Networks, 20(9), 1490-1503.<br /> [17]. Zhang, H., Wang, Z., & Liu, D. (2008). “Global asymptotic stability of<br /> recurrent neural networks with multiple time-varying delays”. IEEE<br /> Transactions on Neural Networks, 19(5), 855-873.<br /> ABSTRACT<br /> FUZZY MIN-MAX NEURAL NETWORK CLUSTERING<br /> BASED ON THE DATA CORE<br /> The Fuzzy Min-max Neural Network (FMNN) is a neural network based<br /> on the form of hyperboxes for classifier and prediction. An impoved fuzzy<br /> min-max neural network FMNN of Simpson is presented in this paper. The<br /> improved model is called centroid-based fuzzy min-max neural network<br /> (CFMNN). CFMNN is used to improve its clustering performance by using<br /> the distance between the pattern and the data core of the existing hyperbox<br /> to adjust hyperbox. The experiments were conducted on data sets PID,<br /> Wine and a real data including 1.500 samples of patients to compare<br /> CFMNN and FMNN which have been published previously. The<br /> experimental outcome positively indicates the potential of M-FMM in<br /> undertaking data clustering tasks.<br /> Keywords: Fuzzy min-max, Fuzzy min-max neural network, Clustering, data core, Hyperbox center.<br /> <br /> Nhận bài ngày 16 tháng 8 năm 2017<br /> Hoàn thiện ngày 26 tháng 11 năm 2017<br /> Chấp nhận đăng ngày 28 tháng 11 năm 2017<br /> 1<br /> Địa chỉ: Trường Cao đẳng Công nghiệp Thái Nguyên;<br /> 2<br /> Viện Khoa học và Công nghệ quân sự.<br /> *<br /> Email: cuongvncntt@yahoo.com.<br /> <br /> <br /> <br /> <br /> 32 V. Đ. Minh, N. D. Cường, N. T. L. Hương, “Mạng nơron phân cụm … tâm cụm dữ liệu.”<br />