Số lượng nơ-ron trong lớp ẩn khi ứng dụng mạng nơ-ron hiệu chỉnh giản đồ hướng anten mạng

Nghiên cứu khoa học công nghệ<br /> <br /> <br /> Sè L¦îNG N¥-RON TRONG LíP ÈN KHI øNG DôNG<br /> M¹NG N¥-RON HIÖU CHØNH GI¶N §å<br /> H¦íNG ANTEN M¹NG<br /> LÊ DUY HIỆU, HÀ HUY DŨNG, BÙI CÔNG PHƯỚC, CAO VIỆT LINH<br /> Tóm tắt: Hiện nay ứng dụng mạng nơ-ron trong việc hiệu chỉnh giản đồ hướng<br /> anten mạng đã được thực hiện cả trong phát triển lý thuyết và trong thực tế. Quá<br /> trình hoàn thiện các cấu trúc mạng nơ-ron phù hợp cho khả năng tích hợp với hệ<br /> thống anten mạng mở ra một số bài toán cần phải được xem xét kĩ lưỡng. Một trong<br /> những bài toán quan trọng nhất trong thiết kế mạng nơ-ron đó là số lượng các nơ-<br /> ron của các lớp ẩn phù hợp với ứng dụng cụ thể. Bài báo đưa ra một mô hình mạng<br /> nơ-ron thực hiện chức năng hiệu chỉnh giản đồ hướng trong hệ thống anten mạng và<br /> các khảo sát định tính cũng như định lượng việc tính toán số lượng nơ-ron đối với<br /> lớp ẩn của mạng nơ-ron.<br /> Từ khóa: Mạng nơ-ron, Cấu trúc mạng nơ-ron, Số lượng nơ-ron.<br /> <br /> 1. ĐẶT VẤN ĐỀ<br /> Mạng nơ-ron trong hiệu chỉnh giản đồ hướng hệ thống anten mạng đóng vai<br /> trò như một bộ tự động hiệu chỉnh thích nghi. Hoạt động của mạng tùy vào sự thiết<br /> kế có thể đáp ứng các tiêu chí như:<br /> - Đảm bảo sự chính xác của tổ hợp tín hiệu kích thích các phần tử phát xạ<br /> theo các điều khiển chuẩn;<br /> - Tự động hiệu chỉnh giản đồ hướng phù hợp với những tác động trong<br /> không gian hoạt động như chế áp búp sóng phụ, bù suy hao tín hiệu, chế áp búp<br /> sóng chính khi cần tránh vùng không gian bị nhiễu quá lớn . . .<br /> Để thực hiện được chức năng nêu trên mạng nơ-ron sẽ tiến hành lấy mẫu giản<br /> đồ hướng từ tín hiệu thu về, từ đó đưa ra các đánh giá và tiến hành điều chỉnh lại<br /> các trọng số nơ-ron trong cấu trúc mạng. Mô hình tích hợp mạng nơ-ron và hệ<br /> thống anten mạng được trình bày tổng quan trên hình 1.<br /> <br /> <br /> <br /> <br /> H×nh 1. M« h×nh tæng qu¸t hÖ thèng anten m¹ng tÝch hîp m¹ng n¬ -ron.<br /> <br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 29<br />  Ra đa<br /> <br /> Mạng nơ-ron tổng quát hay một hệ thống thích nghi có khả thay thay đổi cấu<br /> trúc hoặc biến đổi các thông tin bên trong của nó, độ tin cậy của mạng được quyết<br /> định bởi:<br /> - Cấu trúc mạng (số lớp, loại mạng . . .);<br /> - Số nơ-ron trong lớp ẩn;<br /> - Các hàm hoạt động (tuyến tính, phi tuyến, giới hạn cứng …)<br /> - Đầu vào (cấu trúc, dải động . . .)<br /> - Thuật toán cập nhật trọng số.<br /> Trong một ứng dụng cụ thể một cấu trúc mạng tối ưu và các hàm hoạt động<br /> phù hợp được thiết kế ngay từ đầu và không thay đổi được trong quá trình thích<br /> nghi, điều này cũng tương tự như các thiết kế cấu trúc đầu vào, đầu ra của hệ<br /> thống. Chính vì điều này nên các nghiên cứu về mạng nơ-ron trong 20 năm gần<br /> đây chủ yếu tập trung vào việc tối ưu số nơ-ron trong lớp ẩn và thuật toán cập nhật<br /> trọng số của mạng [1].<br /> Bài toán được đặt ra đó là khả năng đảm bảo sự hiệu chỉnh nhằm đạt được<br /> mức sai số trong giới hạn thời gian đặt trước. Bài báo này sẽ giới thiệu các kết quả<br /> định tính về số nơ-ron trong lớp ẩn và các tính toán định lượng quá trình cập nhật<br /> trọng số mạng nơ-ron có cấu trúc phản hồi. Kết quả kiểm nghiệm sẽ được thực<br /> hiện mô phỏng trên Matlab.<br /> <br /> 2. ƯỚC LƯỢNG SỐ NƠ-RON TRONG LỚP ẨN VÀ CÔNG THỨC<br /> CẬP NHẬT TRỌNG SỐ TỐI ƯU.<br /> 2.1 Ước lượng số nơ-ron trong lớp ẩn<br /> Việc lựa chọn ngẫu nhiên một số nơ-ron trong lớp ẩn sẽ dẫn tới các vấn đề như<br /> tràn (overfitting) trong tính toán hoặc không đủ khả năng hội tụ các trọng số<br /> (underfitting). Một số nơ-ron lớp ẩn tối ưu với ứng dụng là một thách thức không<br /> nhỏ trong ổn định khả năng làm việc cũng như độ chính xác của mạng nơ-ron.<br /> Các công trình nghiên cứu nhằm cố định số lượng nơ-ron trong lớp ẩn bắt đầu<br /> có những công bố vào năm 1995 bởi Li và các cộng sự với mạng nơ-ron truyền<br /> thẳng với mục đích tính ra được số nơ-ron lớp ẩn vừa đủ cho mạng [2]. Năm 1997<br /> Tamura và Tateishi đưa ra công thức định tính cho số lượng nơ-ron lớp ẩn 1 và lớp<br /> ẩn 2 lần lượt là N -1; N/2 +3 (N là số đầu vào) dựa theo tiêu chuẩn thông tin<br /> Akaike [3]. Công thức này được tổng quát hóa bởi Shibata và Ikeda, theo đó số<br /> lượng nơ-ron lớp ẩn bằng (Ni, No lần lượt là số nơ-ron đầu vào và số nơ-ron<br /> đầu ra) [4]. Đặc điểm của những công bố trước năm 2005 đó là kết quả thu được<br /> chủ yếu nhờ quá trình khảo sát thực nghiệm.<br /> Năm 2008 Jiang đã công bố về định mức khoảng giới hạn số lượng nơ-ron lớp<br /> ẩn dựa vào lý thuyết hội tụ, công bố này đã đưa ra những lập luận chặt chẽ cho tính<br /> toán. Theo Jiang giới hạn dưới của số lượng nơ-ron lớp ẩn tác động đến khả năng<br /> điều chỉnh tốc độ của mạng và giới hạn trên của số nơ-ron tác động đến điều kiện<br /> hội tụ của mạng nơ-ron [5]. Các nghiên cứu mới nhất hiện nay đã đưa ra các thuật<br /> toán tổng quát và phức tạp hơn với sự tham gia của các tham số về cấu hình mạng<br /> và thuật toán cập nhật trọng số của các nơ-ron, có thể kể đến như các nghiên cứu<br /> của Doukim năm 2011 và Hunter vào năm 2012 [6]. Việc xây dựng một công thức<br /> <br /> <br /> 30 L. D. Hiệu, H. H. Dũng, B. C. Phước, C. V. Linh,“Số lượng nơron… anten mạng.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> toán học hay một thuật toán cập nhật trọng số mạng nơ-ron sẽ mang một ý nghĩa<br /> định lượng đối với các công bố về phương pháp tính toán số lượng nơ-ron trong<br /> lớp ẩn. Trong bài báo này chúng ta sẽ thực hiện xây dựng một công thức toán học<br /> phù hợp với khả nang tính toán thực tế đối với một mạng truyền thẳng 2 lớp, từ đó<br /> rút ra một số đánh giá cơ bản đối với số lượng nơ-ron trong lớp ẩn.<br /> 2.2 Công thức cập nhật trọng số tối ưu<br /> Cấu trúc mạng nơ-ron phù hợp nhất đối với chức năng hiệu chỉnh giản đồ<br /> hướng anten mạng đó là mạng nơ-ron truyền thẳng, thực hiện theo mô hình lan<br /> truyền ngược với cấu trúc gồm 3 lớp (lớp vào; lớp ẩn; lớp ra), hàm truyền đạt được<br /> sử dụng đảm bảo khả năng chuyển đổi phi tuyến [7]. Cấu trúc mạng như vậy đã<br /> được kiểm chứng sự phù hợp qua lý thuyết cũng như thực tế và là cấu trúc mạng<br /> được sử dụng trong bài báo. Mạng truyền thẳng 3 lớp phi tuyến giúp cho mạng nơ-<br /> ron có thể thực hiện thao tác hiệu chỉnh trong giới hạn thời gian cho phép. Các<br /> thay đổi trọng số nơ-ron được thực hiện nhờ sự phản hồi sai số trên kênh phản hồi<br /> ngược. Hình 2 mô tả cấu trúc tổng quát của mạng này.<br /> Lớp ẩn Lớp ra<br /> x a1 y<br /> IW 1,1 LW 2,1<br /> V N M<br /> Nx V MxN<br /> s(1) σ s(2) σ<br /> 1 2<br /> N M<br /> <br /> 1 b (1) 1 b (2)<br /> V N N M<br /> <br /> H×nh 2. CÊu tróc m¹ng n¬-ron víi N n¬-ron líp Èn vµ M ®Çu ra.<br /> <br /> Trong cấu trúc mạng nơ-ron như mô tả trên hình 2, để phục vụ quá trình trọng<br /> tâm là tính toán cập nhật trọng số một số định nghĩa ban đầu được đưa ra như sau:<br /> - Vec-tơ đầu ra mong muốn : d(k) = [d1(k) d2(k) . . . dM(k)]T ;<br /> - Các trọng số tương ứng với nơ-ron(1, i) trong lớp ẩn (i = 1,2, ... ,N):<br /> ( ) ( ) ( ) ( ) ( ) ( ) ( )<br /> w , w , …, w , được biểu diễn w = w w …w ∈ℜ<br /> - Các trọng số tương ứng với nơ-ron(2, j) trong lớp ra (j = 1, 2, . . , M) :<br /> ( ) ( ) ( ) ( ) ( ) ( ) ( )<br /> w ,w , …, w , ®­îc biÓu diÔn w = w w …w ∈ℜ<br /> <br /> Lưu ý dãy chỉ số trên đại diện cho thứ tự lớp, chỉ số dưới thứ nhất biểu thị vị<br /> trí nơ-ron trong lớp, chỉ số dưới thứ hai đại diện cho số đầu vào liên quan đến trọng<br /> số. Từ các biểu diễn trên ta xây dựng được ma trận trọng số đối với mỗi lớp, các<br /> tham số độ dịch b(1) , b(2) lúc này được thêm vào:<br /> ( ) ( ) ( )<br /> ⎡b w w … w( )⎤<br /> ( ) ( ) ( ) ( ) ( ) ⎢b( ) w ( ) w ( ) … w ( ) ⎥<br /> W = w w w …w =⎢ ⎥<br /> ⋱ ⋮ ⎥ (1)<br /> ⎢ ( ) ⋮ ( )⋮ ( ) ( )<br /> ⎣b w w … w ⎦<br /> <br /> <br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 31<br />  Ra đa<br /> <br /> ( ) ( ) ( ) ( )<br /> ⎡b w w … w ⎤<br /> ⎢ ( ) ( ) ( ) … ( )⎥<br /> = ⎢b w w w<br /> ( ) ( ) ( ) ( ) ( )<br /> W = w w w …w<br /> ⋱ ⋮ ⎥⎥ (2)<br /> ⎢ ( ) ⋮ ( )⋮ ( ) ( )<br /> ⎣b w w … w ⎦<br /> - và , tương ứng là<br /> l các đầu ra bộ cộng tuyến tính của nơ--ron (1,i) và<br /> nơ-ron (2,j). và là các đạo hàm riêng Các giá trị đầuu ra tương ứng sau<br /> hàm truyền đạt (.) lần lư<br /> ượt là zi và yj (trong các công thức<br /> ức chỉ số a đại diện cho<br /> vec-tơ cột):<br /> <br /> <br /> Nơ-ron (1, i)- Lớp vào: (3)<br /> <br /> <br /> <br /> <br /> Nơ-ron (2, j)- Lớp ra : (4)<br /> <br /> <br /> - Sai sốố tức thời của mạng được<br /> đ lựa chọn theo tiêu chuẩn LMS:<br /> <br /> <br /> <br /> <br /> Sự xem xét mạng nơ-ron ron với<br /> v các thành phần được rời rạc hóa như trên tuân<br /> thủủ theo quy tắc Delta tổng quát. Quy tắc này<br /> n thực hiện quá trình tối ưu sai ssố đầu<br /> ra (E) với<br /> ới kỹ thuật cực tiểu hàm<br /> h sai số, điều này trong mạng nơ-ron đồng ồng nghĩa với<br /> quá trình điều chỉnh vec-tơtơ trọng<br /> tr số sao cho hàm sai sốố giảm tỉ lệ thuận vớ<br /> với độ dốc<br /> âm ( )của hàm sai số. ố. Các khoảng cập nhật trọng số được<br /> đ ợc tính theo (6) cho lớp ẩn<br /> và (7) cho lớp ra ( -tham<br /> tham số<br /> s tỉ lệ luyện):<br /> <br /> <br /> <br /> <br /> Công thức<br /> ức cập nhật trọng số lớp ẩn mạng nơ-ron<br /> n tại<br /> ại các thời điểm tuần tự (k,<br /> k+1) được viết như sau:<br /> <br /> Kết hợp (3) vàà (6), công thức<br /> th (8) được viết lại phù hợp<br /> ợp với khả năng tính toán<br /> thực tế:<br /> <br /> <br /> <br /> 32 L. D. Hiệu,<br /> ệu, H. H. Dũng,<br /> D B. C. Phước, C. V. Linh,“Số lượng nơron… anten m<br /> mạng.”<br /> Nghiên cứu<br /> ứu khoa học công nghệ<br /> <br /> <br /> <br /> <br /> Tương tự,<br /> ự, chúng ta có công thức cập nhật trọng số đối với lớp ra:<br /> <br /> <br /> <br /> <br /> Công thức (9) vàà (10) cho phép sử s dụng các tính toán theo các thu<br /> thuật toán hồi<br /> tiếp đệ qui và các thuật ật toán lặp để thu được<br /> đ ợc kết quả mong muốn. Xét về khối<br /> lượng<br /> ợng tính toán có thể thấy việc tăng số lượng<br /> l nơ-ron trong lớp<br /> ớp ẩn sẽ cần phải giảm<br /> bớt số trọng số của nơ-ron.. Theo các tiêu chuẩn<br /> chuẩn về hội tụ chúng ta thấy để các phép<br /> tính trong các công thức<br /> ức (9), (10) có thể thực hiện được<br /> đ với những số lưượng nơ-ron<br /> lớp ẩn nằm ngoài khoảngảng cho phép màm Jiang đã công bốố năm 2008 đó llà số nơ-ron<br /> lớp<br /> ớp ẩn chỉ nằm trong khoảng [N-1,[N 2N] (với N là số đầu vào). Sự ự kiểm nghiệm<br /> điều này đượcợc mô phỏng trêntr Matlab, vớiới các số liệu mang tính thống kkê sẽ được<br /> trình bày trong phần<br /> ần tiếp theo.<br /> <br /> 3. KẾT<br /> ẾT QUẢ MÔ PHỎNG VÀ<br /> V KẾT LUẬN<br /> <br /> Mộtột cấu trúc mạng truyền thẳng hai lớp, sử dụng trong hiệu chỉnh giản đồ<br /> hướng<br /> ớng anten mạng 16 phần tử có số đầu vàov và đầuầu ra đều bằng 16. Quá trtrình kiểm<br /> tra sẽ lần lượt<br /> ợt thay đổi số lượng<br /> l nơ-ron của lớp ẩn và ghi lại<br /> ại sai lệch giữa giản đồ<br /> hướng được tái tạo bởiởi mạng nơ-ron và giản đồ hướng ớng chuẩn. Bảng 1 llà kết quả<br /> (rút gọn)<br /> ọn) của thực nghiệm này,n quan sát trực<br /> ực quan mối quan hệ giữa sai số mạng<br /> nơ-ron và số lượng nơ-ron trong lớp<br /> l ẩn được thể hiện trong hình 3.<br /> <br /> Bảng 1. Mức<br /> ức lỗi tối thiểu trung bình<br /> b theo số lượng nơ-ron<br /> ron trong llớp ẩn.<br /> Số TT Số nơ-ron trong lớp ẩn Mức<br /> ức sai số tối thiểu<br /> 1 1 0.395<br /> 2 7 0.186<br /> 13 13 0.0414<br /> 14 14 0.0218<br /> 15 15 2.10-55<br /> 21 21 1.10-55<br /> 30 30 7.10-66<br /> 54 54 7.10-66<br /> 55 55 1.10-55<br /> 57 57 8.10-55<br /> 61 61 3.10-44<br /> 68 68 6.10-33<br /> 75 75 1.10-22<br /> 76 76 1.10-22<br /> 77 77 1.10-22<br /> 78 78 1.10-22<br /> 99 99 7.10-22<br /> 100 100 9.10-22<br /> <br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân<br /> uân sự,<br /> s Số 32, 08 - 2014 33<br />  Ra đa<br /> <br /> <br /> <br /> <br /> Hình 3. Đồ thị quan hệ giữa số nơ-ron trong lớp ẩn và mức sai số trung bình.<br /> <br /> Đồ thị trên hình 3 cho thấy số lượng nơ-ron phù hợp với lượng đầu vào bằng<br /> 16 nằm trong giải từ 15 đến 55, khoảng này bao trùm lên các cách tính ước lượng<br /> số nơ-ron đã được công bố, số lượng nơ-ron có thể vượt qua khoảng ước lượng có<br /> thể được giải thích nhờ khả năng xử lý toán học và độ hội tụ của các công thức cập<br /> nhật trọng số tối ưu đối với cấu trúc mạng anten. Khả năng nâng cao sự co dãn của<br /> khoảng số nơ-ron trong lớp ẩn có ý nghĩa lớn trong ứng dụng thực tế, điều này<br /> giúp cho các thiết kế cấu trúc mạng không bị quá cứng nhắc trong việc ràng buộc<br /> số lượng nơ-ron lớp ẩn với số đầu vào. Với một khoảng rộng hơn trong việc lựa<br /> chọn số lượng nơ-ron của lớp ẩn cho phép một cấu trúc mạng nơ-ron có thể đáp<br /> ứng được nhiều ứng dụng hơn, ví dụ đối với cấu trúc mạng nơ-ron trong hiệu chỉnh<br /> giản đồ hướng anten mạng khi chọn số nơ-ron lớp ẩn là 32 sẽ đảm bảo khả năng áp<br /> dụng cho các mạng anten có số phần tử nằm trong một dải rộng từ 13-32 phần tử.<br /> <br /> TÀI LIỆU THAM KHẢO<br /> [1]. K.Gnana Sheela and S.N.Deepa "Review on Methods to fix number of hidden<br /> neurons in Neural Network.", Mathematical Problems in Engineering,<br /> pp.11,2013.<br /> [2]. J. Y. Li, T. W. S. Chow, and Y. L. Yu, “Estimation theory and optimization<br /> algorithm for the number of hidden units in the higher-order feedforward<br /> neural network,” in Proceedings of the IEEE Inter. Conf. on Neural Networks,<br /> vol. 3, pp. 1229–1233, December 1995.<br /> [3]. S. Tamura and M. Tateishi, “Capabilities of a four-layered feedforward neural<br /> network: four layers versus three,” IEEE Trans. on Neural Networks, vol. 8,<br /> no. 2, pp. 251, 1997.<br /> [4]. K. Shibata and Y. Ikeda, “Effect of number of hidden neurons on learning in<br /> large-scale layered neural networks,” in Proceedings of the ICROS-SICE<br /> International Joint Conference 2009 (ICCAS-SICE '09), pp. 5008–5013,<br /> August 2009.<br /> [5]. N. Jiang, Z. Zhang, X. Ma, and J. Wang, “The lower bound on the number of<br /> hidden neurons in multi-valued multi-threshold neural networks,” in<br /> <br /> <br /> <br /> 34 L. D. Hiệu, H. H. Dũng, B. C. Phước, C. V. Linh,“Số lượng nơron… anten mạng.”<br /> Nghiên cứu khoa học công nghệ<br /> <br /> Proceedings of the 2nd International Symposium on Intelligent Information<br /> Technology Application (IITA '08), pp. 103–107, December 2008.<br /> [6]. D. Hunter, H. Yu, M. S. Pukish III, J. Kolbusz, and B. M. Wilamowski,<br /> “Selection of proper neural network sizes and architectures: a comparative<br /> study,” IEEE Trans. on Industrial Informatics, vol. 8, pp. 228–240, 2012.<br /> [7]. Fa Long Luo, Rolf Unbehauen,“Applied neural networks for signal<br /> processing”, Cambridge University Press, pp.367, 1998.<br /> <br /> ABSTRACT<br /> THE NUMBER OF NEURONS IN HIDDEN LAYERS FOR NEURAL<br /> APPLICATION IN ANTENNA ARRAY RADIATION<br /> PATTERN CORRECTION<br /> <br /> Recently, neural applications for antenna array radiation pattern correction are<br /> realized not only in theoretical developments but also in practice. The process<br /> optimizing neural network structures suitable for integrating capabilities into<br /> antenna array systems leads to some problems that must be carefully considered.<br /> One of the most important problems in designing a neural network is estimate the<br /> suitable number neurons in hidden layers for a specific application. The paper<br /> presented a neural network model for radiation pattern correction in antenna array<br /> system, qualitative and quantitative investigations in calculating the suitable neuron<br /> number for hidden layers in a neural network.<br /> Keywords: Neural network, Neural network architecture, Number of neural.<br /> <br /> Nhận bài ngày 15 tháng 06 năm 2014<br /> Hoàn thiện ngày 20 tháng 07 năm 2014<br /> Chấp nhận đăng ngày 02 tháng 08 năm 2014<br /> <br /> <br /> <br /> <br /> Địa chỉ: Viện Ra đa, Viện KH & CNQS.<br /> <br /> <br /> <br /> <br /> Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 35<br />