A New Fuzzy Identification Approach for Complex Systems Based on Neural-Fuzzy Inference Network

Size: px

Start display at page:

Download "A New Fuzzy Identification Approach for Complex Systems Based on Neural-Fuzzy Inference Network"

Verity Quinn
6 years ago
Views:

1 32 5 Vol.32, No Ì 9 Ì ACTA AUTOMATICA SINICA September, 200 Ïµ Å À Ê Ë µ ÎÈ À Æ¼» 1) Ñ Ò 1, 2 ÕÐÓ 1 Ö 1 Ô 1 1 ( Ë Đ ÖÅÂ Ë Ü ) 2 ( É Ñ Đ Ñ Ê Ü ) ( li.jianing@gmail.com, jianqiang.yi@ia.ac.cn) Ô ß ¹ Ë ÆËÃ ½» «ËÅ Ã Ì Ç Ë Ó Ù Ó Ù ÆËÓ Ã ¹ Ó Ð Ø ½» «ËÚ ß ¹ Ðº Ã Ë Ó Ù ¹ Ð ºÌÆ½» Óº Ó Ó¾Ë ¾ Ó Ù ÞÃ ±³ ¹Ë Òº Ð Ó À ËßÙ Ã Ô Þ µ º ¹Ë ³ Ã Å Ã Ð Ó Ó É¾ TP18 A New Fuzzy Identification Approach for Complex Systems Based on Neural-Fuzzy Inference Network LI Jia-Ning 1,2 YI Jian-Qiang 1 ZHAO Dong-Bin 1 XI Guang-Cheng 1 1 (Laboratory of Complex Systems and Intelligent Science, Institute of Automation, Chinese Academy of Sciences, Beijing ) 2 (Information Resources Center, Institute of Scientific & Technical Information of China, Beijing ) ( li.jianing@gmail.com, jianqiang.yi@ia.ac.cn) Abstract This paper proposes a novel neural-fuzzy inference network and learning algorithm for fuzzy identification of complex systems based on input-output data. The learning algorithm is used for both structure identification and parameter identification of the fuzzy model. In the process of structure identification, a new approach is introduced for rule extraction from input-output data directly. By combining both unsupervised and supervised learning, a hybrid learning algorithm is presented for initial adjustment and optimization of membership functions. Simulations illustrate good performance of the proposed network and learning algorithm in terms of accuracy, readability, number of rules and practicability. Key words Fuzzy identification, neural-fuzzy network, rule extraction, unsupervised learning, supervised learning 1) Ï Õ Ù Ç ( , , , ), Ï 973 Ç (2003CB51710), Éµ Ì½ Ç (2004DFB02100), Ë³ÏÑ Ù ( ) Supported by National Natural Science Foundation of P. R. China ( , , , ), National Basic Research Program of P. R. China (2003CB51710), Project of Ministry of Science and Technology of P. R. China (2004DFB02100), and the Outstanding Overseas Chinese Scholars Fund of Chinese Academy of Sciences ( ), P. R. China Ù Ù Received June 11, 2004; in revised form April 2, 200

2 ² ÓÕÄ ÊÉ ±Ò «¹ ¾ÆÕÄ ÉĐ ±Ô Æ Ì Ð ÄÉ Á ÉÕÄ ÝØÜÝ ÕÉ Ð ÂÆ ¾Ä±Õ Á ÉÁ ÝØ ¹ Ë ĐÈÇ¼ ÜÉ Å [1,2]. Á ÄÉÕÄ Á ¹ Ò ¹ Đ Ò Á ¹ ÝÉ Á ±µ É ¹ Ü» ÆÐÈÇÁ Á ¹ ¹ º «ÎÕ (Û³Õ ), º Ý Ã±ÊÈÇ ¹ÓÔÉ«ÎÆÐ Ó ÏÉ ÕÁ Æ Ý ÉÝØ ÜÉ ß ² ÒÊ² ¹Ü Ê²Ý ÜÉ Ö Á ÕÄÉ ÉÆ ¹Æ ß É½ ÁÝØÚ¼ÇÁ Á É ÊĐ Ý¹ É ½ É ¹ Ü ß [3 11]. Ó Ý É ÏÕÄÉÁ ¼ ß É ² ¹ ÒÊ²É ¼º ÅÉ ßÁ Ë ¹À ¹ËÄ ¼ É Ò Ø É ½ßÈÇÁ É Ò ¼ º ÅÉÙ Ý Đ ¹ Á É Ò Ø«¹ËÄ¼º ¼ Ò Ø Ý É ³ Ñ¹ Ò ÉÝØ Æ¾ÂÆ Ó Ý Æ ¹ É 2 «ÐÄ Í Ç º ÉÄ±Õ Á Mamdani Á Á Á ÉÕ R i : if x 1 is A i 1 and if x 2 is A i 2, and if x m is A i m, then yi is B i, Đ R i Ï i ÀÁ x ¹ y Á É Ý¹ A ¹ B Á Ý ± µ Ê 1»Å Ã Ì Fig. 1 Six-layered neural-fuzzy inference network Ð Ù É º ßÁ Ë ÉÒ º ¹Ë À ÚºÐ É Ò Ø Ý É Ê½ É ß [8]. ¼º Ý ¹Æ Ý»¹ÁÆ» ÜÉ 1 Ïºº¹Ï ºÉÐ É Ý¹ Ð Ï º¹Ï¾ºÉ Ð Á ±µ É Ð ± ÉÊ Ï º º º Ï ºÉÐ Ð Ó ºÀÁ É É Đ Ï ¹ ºÉ³ ÒÜ ß 1, ¹ Ó É Ê Ï¾ºÉ³ ÒÜ W ij ºÀÁ É ¹ É Õ ß± Ò¹ 1 0. Ï¾ºÉ³ ÒÜ¾Æ Ý¹ Á ±µ É Á±ÚºÐ É ØÈÇ Ò¹ Ý É É º ßÁ Ë ÚÞ ( ÈÝ ) ¹ ÞÚ ( ÈÝ ) ¹ Á Ò ¹ Á ß±

3 5 ÍÍÍÅ» «Ë Å Ã Ì Ë ÆÃ ßÙ 97 Ò É ÚÞ ÉÁ Ú ¹ Á ºº ÊÉ Ý É Đ Á ±µ «¼µ Đ Ii n Ï n ºÏ i ÆÐ É Ý Oi n Ï n ºÏ i ÆÐ É m n i, σn i Ï n ºÏ i ÆÐ É«¼ ±µ É Ü¹Ý¼ W ij ³ Ï 3 ºÏ i ÆÐ É ¹Ï 4 ºÏ j ÆÐ É ÝÉÒÜ ÚÞ Á ( Ý ÏººÉ Ý): Ïºº I 2 i = Ï º Oi 1 = I1 i, i = 1, 2 (1) { O 1 1, i = 1, 2,, N 1 and O O2, 1 i 2 = exp[ ( I2 i m2 i i = N 1 + 1,,N 1 + N 2 σi 2 ) 2 ], i = 1, 2,,N 1 + N 2 (2) Ï º Ii 3 = min(o2 j, O2 k ), j = 1, 2,,N 1, k = N 1 + 1,,N 1 + N 2 and Oi 3 = I3 i, i = 1, 2,, N 1 N 2 (3) º Ë À Ê Á ÉÃ Ï¾º Ï º Ï º I 4 j = N 1 N 2 I 5 j = O 4 j and O 5 j = I 5 j W ij O 3 i and O 4 j = I 4 j, j = 1, 2,, (4) / Ij 5, j = 1, 2,, (5) j=1 Ii = O5 i and O 1 = m 5 i σ5 i I i / º Đ ØÑÁ À ÞÚÁ ( Ï ºÉ Ý): Đ X i n ¹ Yi n ¹ Oi n É Ï º Ï º σi 5 I i () É Â I n i Y 1 = X 1 (7) Xi 5 = Y1 and Yi 5 = exp[ ( X5 i m5 i σi 5 ) 2 ], i = 1, 2,, (8) Ï¾º Xi 4 = Yi 5, i = 1, 2,, (9) Á ß [8] É Ò ¹Ë À Ã ÚÞ Á Æ ÝØ É Ý 1) Ï¾ºÉ 1 ¹ ÝÖ Ü Ö ÝÙ ÇÏ º ¼ 1 É Ý É± Ô 2) Ý¼ º º Æ¾ ÔÎ Û Ð Đ Æ Ð Ã É

4 Ñ Ô Ú µé ßÁ Ë ¼ºÆ É Ò Ø Á ±µ É ³ Ñ Á É ¹Á ±µ É ¼ ÒÀ ÆÛ Ý É Ò Á»É ¹ 3.1 Í ¹ ½ Í Ç² º ¹ Á Ï º Ú ÞÏ º Ý Ïºº ÞÏ º Ý Á ±µ ÉÝ¼ Ü Kohonen Ð ÒÛ Ñ [3]. ÑÁ ±µ ÜÉÆÉ ¼ Î ÆÉ È ±µ Î Å É Ý Ý ±µ Ü É ÑÝØÜÚ x(t) m closest = min 1 i k { x(t) m i(t) } (10) m i (t + 1) = m i (t) + α(t)[x(t) m i (t)] for m i = m closest (11) m i (t + 1) = m i (t) for m i m closest (12) Đ x(t) Ý α(t) Á É Ò k Ý»Á ÉÆ ±µ ÜÉ Ñ Ó ÉÝØ 3.2 Í ¹º ±Ã Á ±µ É ß±Ïº É ³ Ñ Ý É¹ Ý Ý ÛÇ Ï ºÉ Ð ÂÆÊ ÈÇ O 2 i, Á±Ï ºÉ³ ÒÜ¹ O 2 i, Æ¾ÈÇÏ º Ð ÉÃ O3 i. ÞÚÉ Á Æ¾Ç Ï¾ºÉ Ð ÂÆÊ ÈÇ X 4 j. Ý É Æ Ð ÇÓÔ ÉÁ Ð É Õ È N 1 N 2 À ¼ Æ ¼ºÆÅ É Ò Ø ¾ - ÏÎ Ø (Correlation-minimum and maximum-matching algorithm, CMMM). ÜÚ Step 1. ¼ Ý Ê Ï¾ºÉ³ ÒÜ W ij ( Ü 0, i = 1, 2,,N 1 N 2, j = 1, 2,, ). Ó ºÓ Ý W ij Ú Å W ij max = W ij max + O 3 i X4 j max (13) Đ j max ºÆ Ã ÉÏ¾ºÉ Ð Đ Ã ÉÈ ÆÐ Ð É³ ÒÜ± Å Step 2. W ij Đ ¹ Á ¹Ï ºÉ Æ Ð ³ É Æ³ ÒÜ Áº É Ü Ü É³ ÒÜ É Ü È Æ Ð ¹ É³ ÒÜ ÛÖ Æ³ ÒÜĐ ÉÈÆ ß 1, ÈÔ ¼ Æ Ð ¹ºÆ Ð É Õ ÂÆ ÀÉ³ ÒÜ ß 0. ß±Ï É Ò ÕÆ¾ÈÇ N 1 N 2 ÀÁ É Ð Ø Ó º Ð Ú É ± ÜÉ Æ¾ ß³¹Ý Á ß [8] É Ø É ØÆ X 4 j max ÝÇÒÜÉ ÅÊ Đ Æ¾ Ý ÉÆÐ ÔÉÁ ÂÉ ÜÀ Ú ÈÉ

5 5 ÍÍÍÅ» «Ë Å Ã Ì Ë ÆÃ ßÙ Í ¹Ä Í Ç Ã Á ÈÔ ¼ Ï ºÁÏ¾ºÉ Õ ÑÆ ßÁ Ë ÉÒ ÓÔ Ú É Ò Á ±µ É Ûº³ «Á ÉÝ º Ú Ø Á ±µ É Ü¹Ý¼ ÈÚ É ¼µ E = 1 2 (y(k) ŷ(k))2 (14) Đ y(k) ŷ(k) Ë Ó ºÓ Ý ÚÞ É Á Ê ÈÇ É Ë Ë Á ( ) É¼ Ü ¼ E ³Ê ÈÇ ººÉ ¼ ÛÖ ÓÁ ±µ É Ü¹Ý¼ Ú ºËÄ Ú ØÉ Ò± Đ δ n i Ï n ºÏ i ÆÐ É ¼ η Á É Ò Ï º (14) ºÉ ¼ δ 1 = E O 1 = y(k) ŷ(k) (15) Ï º Ò¼ () Á (15) ±µ É Ü Ú Å m 5 i (t + 1) = m5 i (t) + ηδ 1 Î ±µ ÉÝ¼ Ú Å σi 5 (t + 1) = σ5 i (t) + O ηδ 1 1 σi 5 O1 m 5 i = σ 5 i (t) + ηδ 1 Ò¼ () Á (15) ºÉ ¼ Ê ÜÚ δ 5 i = E O 5 i = E O1 O1 Oi 5 = δ 1 σ 5 i I i = m 5 i (t) + ηδ 1 σi 5 Ii m 5 i I i ( σi 5 Ii ) ( m 5 i σi 5 Ii )Ii ( (1) (17) σi 5 Ii ) 2 m 5 i σ5 i ( σi 5 Oi 5 ) ( m 5 i σi 5 Oi 5 )σi 5 ( (18) σi 5 Oi 5 ) 2 Ï¾º º Ó Ò¼ (5) Á (18) ºÉ ¼ Ê ÜÚ δ 4 i = E O 4 i = E Oi 5 Oi 5 Oi 4 = δi 5 1 Ï º º Ó Ò¼ (4) ºÉ ¼ Ê ÜÚ δ 3 i = E O 3 i = ( E j=1 O 4 j Oi 4 Oi 3 ) = j=1 O 4 i (19) (W ij δ 4 j ), i = 1, 2,,N 1 N 2 (20)

6 º Á ¹Ï ºÉ Æ Ð ³ É W ij Đ Ú ºÆ 1, Èº ÀÁ ¾ (20) ÉÊ Ò Ó W ij Ì 1 É δ 4 j. Ï º δ 2 i = E = N 1 N 2 j=1 ( E O 3 j O 3 j ) = N 1 N 2 (δ 3 Oj 3 j O 2 j=1 i ), i = 1, 2,, N 1 + N 2 (21) Ò¼ (4) Á (5) ÈÇ { 1, Ü O 2 i Ï j Æ Ð ÝÉ Ü O 3 j = 0, (22) Ú Ó ÝÁ ±µ É Ò¼ (2) (21) ¹ (22) ÝÁ ±µ É Ü Ú Å m 2 i (t + 1) = m2 i (t) + ηδ2 i m 2 i Î ÝÁ ±µ ÉÝ¼ Ú Å = m 2 i (t) + ηδ2 i exp[ ( I 2 i m 2 i σ 2 i ) 2 ] 2(I2 i m2 i ) (σ 2 i )2 (23) σ 2 i (t + 1) = σ 2 i (t) + ηδ 2 i σ 2 i ( I = σi 2 (t) + ηδi 2 2 exp[ i m 2 ) 2 i σi 2 ] 2(I2 i m2 i )2 (σi 2 (24) )3 Á ÄÉ Ú Ø Ó ÉÝØ ÝØÉ±Â¹ 1) Ó À ÓÉ Ú Á ±µ É ØÎ 2) É Ú Ò ß± ³ Ñ É Û É Æ¾ Ü ß±Ã É Ø ¹± É É 4 ØÇ ¼³Ô µ ßÁ Ë ÉÁ ¹ Ò Ø Á É ß [8] ĐÉ Đ ĐÕÄ À ÉÕÄÁ ÜÚ y(k) = y(k 1)y(k 2)[y(k 1) + 2.5] 1 + y 2 (k 1) + y 2 (k 2) + u(k) (25) u(k), y(k 1) ¹ y(k 2) Ý» y(k)» Æ Ý» 5 ÆÁ Å» 9 ÆÁ Å Æ¾Ô ººÉÐ ÕÄÉ 0, Ý» u(k) = 2 sin(2πk/25), ² [ 2, 2], Á±³ µ 50 ÆÆ ÉÕ Ä ¹ ² [ 4, ], È¼ 50 Ó Ý Ý Á ±µ É ÜÁÝ¼É Ü Í Å Ý Ú ÉÝØÔ (n Á ÉÆ ): Á ±µ É Ü Á ±µ ÉÝ¼ m i = min + σ i = max min i (2) n + 1 2(max min) 3(n + 1) (27)

7 5 ÍÍÍÅ» «Ë Å Ã Ì Ë ÆÃ ßÙ 701 Ò º Ý ³ Ñ 24 ÆÁ ±µ É Ü Ò Á Éµ e ( 0. k 100 ). Ò É - ÏÎ ØÊ Ï¾ºÉ³ ÒÜ Ã Ü 0.02 Æ Á ÏÎÉ 28 ÀÁ ÜÚÉ Ý ¼µ (Mean square error, MSE) Ê µ MSE = 1 N N (y(k) ŷ(k)) 2 (28) k=1 Đ y(k) ŷ(k) Á É N µ ÉÆ ß± ¹Æ É Ò Á É Ý ¼ ÜÉ 2 ¼ ÂÉÀ Ú ß [8] É Ò ¹Á ÝØÛ ÈÇ 29 ÀÁ Ý ¼ 0.142, ÜÉ 3. Æ¾«ÉÝ Ø ÈÁ Æ ÉÂÆ ¹Æ¾ È É Ý ¼ Á É Ê 2 Ã ²º Ð Ó Ë Fig. 2 Expected output and identifier output after the first and the second learning steps Ê 3 Ã [8] Ë Fig. 3 Expected output and identifier output of Reference [8] Ã ³ Ñ¼Á ±µ É ¹ Á Æ¾ Ò Á ±µ É Á ±µ É Ò e (log 0.1 k/500), ÝÁ ±µ É Ò e (log k/500). 50 Ó ¼ Ý 10 Ò 500 É 4 Ã º Ê É Ý ¼É ß± 10 Á Ë É Ý ¼ , ÜÉ 5. ß± É Ý Á ±µ ÜÉ Ê 4 Åß ½ Đ Fig. 4 Mean square error Ê 5 ÃÐ Ó ÐÓ Ë Fig. 5 Expected output and identifier output after the all three learning steps (a) Þ u(k) ÊÂ ² (Fuzzy membership function of Input u(k)) (b) Þ y(k 1) ÊÂ ² (Fuzzy membership function of Input y(k 1))

8 (c) Þ y(k 2) ÊÂ ² (Fuzzy membership function of Input y(k 2)) Ê ² ¹ Ë ß Ã ±³ ¹ (d) y(k) ÊÂ ² (Fuzzy membership function of Output y(k)) Fig. The optimized input and output fuzzy membership functions 5 ÔÅ ¹ ¼º ÅÉ ßÁ Ë ¹ Ò Ø Õ Ý É ÏÕÄÉÁ ÉÝØ ¼ ß É ² ¹ ÒÊ ² ¼ ¼Ó Ý Æ ¹ É Ò ¼º ÅÉÙ Đ ¹ Á É Ò Ø Ø ¼ ÉÆÐ È ÉÁ Æ Ô ¹ Û Õ ³ Ñ¹ ¹Æ É ßÁ Ë ¹ËÄ¼ Ð ¹ Ú Ø Ò¼É¼ Ò Ø Ø Ü Ú¹Ý É 1) ß± ³ Ñ É È Ú Ò É ¹ É 2) Ú Ò ÑÆ ÉÀ Ó Ú Á ±µ É Ø Ý Á Û Ý É É ÆÇ Ý Á É Â Ø ± É Ç É Ó É ±ÂÉÝØÓ Ý Á Û Æ¾ ÁÝ ÉÁ É Ò ¹ Ò Ø Ú¼ ÛÖÕ ÏÕÄÉÁ Ó ¾º ÕÉ T-S Á Á É Ò ¹ Ò Ø¹ Ö Ç T-S Á Á É ÁÝ «È É Î É½ ¹ÝØÓ ÏÕÄÉÁ ÁÁ ¹ ÃÉ ËĐ ÏÕÄÉ ± ºÆ ÁÉ ÆÇÒ ¹ É Õ Ð Õ É Â Å ÕÄ Ø º Æ ÂÄ ÁÉ ÉÛ ³É± References 1 Wang H W, Ma G F. Nonlinear systems modeling via fuzzy logic rules. Control Theory and Applications, 2000, 17(3): Emami M R, Turksen B, Goldenberg A A. Development of a systematic methodology of fuzzy logic modeling. IEEE Transactions on Fuzzy Systems, 1998, (3): Lin C T, Lee C S G. Neural-network-based fuzzy logic control and decision system. IEEE Transactions on Computers, 1991, 40(12): Lin C T, Lee C S G. Real-time supervised structure/parameter learning for fuzzy neural network. In: Proceeding of IEEE International Conference on Fuzzy Systems. San Diego, CA, USA: IEEE Press, Jang J S R. ANFIS: Adaptive-network-based fuzzy inference systems. IEEE Transactions on Systems, Man, and Cybernetics, 1993, 23(3): 5 85 Kim S H, Kim Y H, Sim K B, Jeon H T. On developing an adaptive neural-fuzzy control system. In: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. Yokohama, Japan: IEEE Press,

9 5 ÍÍÍÅ» «Ë Å Ã Ì Ë ÆÃ ßÙ Juang C F, Lin C T. An on-line self-constructing neural fuzzy inference network and its applications. IEEE Transactions on Fuzzy Systems, 1998, (1): Farag W A, Quintana V H, Torres G L. A genetic-based neuro-fuzzy approach for modeling and control of dynamical systems. IEEE Transactions on Neural Networks, 1998, 9(5): Wang J S, Lee C S G. Structure and learning in self-adaptive neural fuzzy inference systems. International Journal of Fuzzy Systems, 2000, 2(1): Chakraborty D, Pal N R. Integrated feature analysis and fuzzy rule-based system identification in a neuralfuzzy paradigm. IEEE Transactions on Systems, Man, and Cybernetics-Part B, 2001, 31(3): Babuska R. Neural-fuzzy methods for modeling and identification. Recent Advances in Intelligent Paradigms and Applications. Abraham A, Jain L C, Kacprzyk J eds., Heidelberg, Germany: Physica-Verlag, Á ĐÈ ĐÞ Ë Ð Ñ ØÂ (LI Jia-Ning Assistant professor, Ph. D.. Her research interests include intelligent control, information organization and retrieval.) Â ĐÈ Å ĐÞ Ë Ð Á Ö (YI Jian-Qiang Ph.D., professor. His research interests include intelligent control and robotics.) ĐÈ» Å ĐÞ Ë Ð Á Ö (ZHAO Dong-Bin Ph. D., associate professor. His research interests include intelligent control and robotics.) Ì ĐÈ Å ĐÞ ÖÅ Â (XI Guang-Cheng Professor. His research interests include theory and applications of complex system.)

This document has been prepared by Sunder Kidambi with the blessings of

Â Â º º þº ²» º Â º Ç ± È È ¼ ² þ È È º ³ ² Ã² ºº Î È ¼À»Å² This document has been prepared by Sunder Kidambi with the blessings of Â ¼ ¼ º À º ² Ç His Holiness śrīmad āṇḍavan of śrīraṃgam This was typeset