Automatic Design of Artificial Neural Networks by means of Differential Evolution (DE) Algorithm

Resumen—En el área de la Inteligencia Artificial, las Redes Neuronales Artificiales (RNA) han sido aplicadas para la solución de múltiples tareas. A pesar de su declive y del resurgimiento de su desarrollo y aplicación, su diseño se ha caracterizado por un mecanismo de prueba y error, el cual puede originar un desempeño bajo. Por otro lado, los algoritmos de aprendizaje que se utilizan como el algoritmo de retropropagación y otros basados en el gradiente descenciente, presentan una desventaja: no pueden resolver problemas no continuos ni problemas multimodales. Por esta razón surge la idea de aplicar algoritmos evolutivos para diseñar de manera automática una RNA. En esta investigación, el algoritmo de Evolución Diferencial (ED) encuentra los mejores elementos principales de una RNA: la arquitectura, los pesos sinápticos y las funciones de transferencia. Por otro lado, dos funciones de aptitud son propuestas: el error cuadrático medio (MSE por sus siglas en inglés) y el error de clasificación (CER) las cuales, involucran la etapa de validación para garantizar un buen desempeño de la RNA. Primero se realizó un estudio de las diferentes configuraciones del algoritmo de ED, y al determinar cuál fue la mejor configuración se realizó una experimentación exhaustiva para medir el desempeño de la metodologı́a propuesta al resolver problemas de clasificación de patrones. También, se presenta una comparativa contra dos algoritmos clásicos de entrenamiento: Gradiente descendiente y Levenberg-Marquardt.

[1]  Juan Humberto Sossa Azuela,et al.  Artificial neural network synthesis by means of artificial bee colony (ABC) algorithm , 2011, 2011 IEEE Congress of Evolutionary Computation (CEC).

[2]  R. Storn,et al.  Differential Evolution - A simple and efficient adaptive scheme for global optimization over continuous spaces , 2004 .

[3]  P. N. Suganthan,et al.  Differential Evolution: A Survey of the State-of-the-Art , 2011, IEEE Transactions on Evolutionary Computation.

[4]  John J. Hopfield,et al.  Neural networks and physical systems with emergent collective computational abilities , 1999 .

[5]  Juan Humberto Sossa Azuela,et al.  Design of Artificial Neural Networks Using Differential Evolution Algorithm , 2010, ICONIP.

[6]  Simon Haykin,et al.  Neural Networks: A Comprehensive Foundation , 1998 .

[7]  Geoffrey E. Hinton,et al.  Learning internal representations by error propagation , 1986 .

[8]  Ning Gui-Ying,et al.  A Modified Differential Evolution Algorithm for Optimization Neural Network , 2007 .

[9]  Juan Humberto Sossa Azuela,et al.  A New Associative Model with Dynamical Synapses , 2008, Neural Processing Letters.

[10]  Xin Yao,et al.  Evolving artificial neural networks , 1999, Proc. IEEE.

[11]  Teuvo Kohonen,et al.  An introduction to neural computing , 1988, Neural Networks.

[12]  Juan Humberto Sossa Azuela,et al.  Design of artificial neural networks using a modified Particle Swarm Optimization algorithm , 2009, 2009 International Joint Conference on Neural Networks.

[13]  Juan Humberto Sossa Azuela,et al.  Evolving Neural Networks: A Comparison between Differential Evolution and Particle Swarm Optimization , 2011, ICSI.

[14]  Joni-Kristian Kämäräinen,et al.  Differential Evolution Training Algorithm for Feed-Forward Neural Networks , 2003, Neural Processing Letters.

[15]  G. Mendel.  Experiments in plant hybridisation , 1966 .

[16]  A. A. Mullin,et al.  Principles of neurodynamics , 1962 .

[17]  Carlos A. Coello Coello,et al.  A comparative study of differential evolution variants for global optimization , 2006, GECCO.

[18]  B. Martín,et al.  Redes neuronales y sistemas borrosos: un libro de texto en español , 1970 .

[19]  H. M. Abdul,et al.  Neural Networks Training Based on Differential Evolution Algorithm Compared with Other Architectures for Weather Forecasting34 , 2009 .