Simulation Neuronaler Netze auf SIMD- und MIMD-Parallelrechnern

Wir beschreiben hier Erfahrungen mit verschiedenen Implementierungen neuronaler Netze auf einem massiv parallelen SIMD-Rechner und einem MIMD-Supercomputer. Bei dem SIMD- Rechner handelt es sich um eine MasPar MP-1216 mit 16384 Prozessoren, der MIMD-Rechner ist eine Intel Paragon mit 72 Prozessoren. Zwei der Implementierungen wurden als knoten- und trainingsmusterparallele Simulatorkerne des Stuttgarter Neuronale Netze Simulators (SNNS) entwickelt, die MIMD-Implementierung auf der Intel Paragon verwendet nur Trainingsmusterparallelitat. Die parallelen Implementierungen liefern bei optimaler Netztopologie sehr hohe Leistungsdaten: unsere Hochstwerte liegen bei 348 MCPS und 129 MCUPS fur Backpropagation auf der MasPar MP-1. Auf einer MasPar MP-2 mit ebenfalls 16384 Prozessoren konnten 972 MCPS und 360 MCUPS gemessen werden.

[1]  Jeff A. Bilmes,et al.  The Ring Array Processor: A Multiprocessing Peripheral for Connection Applications , 1992, J. Parallel Distributed Comput..

[2]  Anton Gunzinger,et al.  Achieving supercomputer performane for neural net simulation with an array of digital signal processors , 1992, IEEE Micro.

[3]  Michael J. Witbrock,et al.  An implementation of backpropagation learning on GF11, a large SIMD parallel computer , 1990, Parallel Comput..

[4]  Stephen Grossberg,et al.  The ART of adaptive pattern recognition by a self-organizing neural network , 1988, Computer.

[5]  Andreas Zell,et al.  Problems of massive parallelism in neural network simulation , 1993, IEEE International Conference on Neural Networks.

[6]  Alex Waibel,et al.  Consonant recognition by modular construction of large phonemic time-delay neural networks , 1989, International Conference on Acoustics, Speech, and Signal Processing,.

[7]  Alexander Singer,et al.  Implementations of artificial neural networks on the Connection Machine , 1990, Parallel Comput..

[8]  Christian Lebiere,et al.  The Cascade-Correlation Learning Architecture , 1989, NIPS.

[9]  Tomaso A. Poggio,et al.  Extensions of a Theory of Networks for Approximation and Learning , 1990, NIPS.

[10]  Andreas Zell,et al.  Translations- und rotationsinvariante Erkennung von Werkstücken mit Neuronalen Netzwerken , 1991, DAGM-Symposium.

[11]  Jill P. Mesirov,et al.  The backpropagation algorithm on grid and hypercube architectures , 1990, Parallel Comput..

[12]  James L. McClelland,et al.  Parallel distributed processing: explorations in the microstructure of cognition, vol. 1: foundations , 1986 .

[13]  Andreas Zell,et al.  Neural network simulation environment , 1990, Defense, Security, and Sensing.

[14]  S. Tomboulian,et al.  Neural Network Simulation on the MasPar MP-1 Massively Parallel Processor , 1990 .