Ein evolutionärer Ansatz für aufgabenspezifische MobileNet-Topologien

Zusammenfassung Infolge sinkender Hardwarepreise und der zunehmenden Automatisierung wird maschinelles Lernen für industrielle Anwendungen wie klassische Sichtprüfungsaufgaben immer interessanter. In diesem Artikel wird ein metaheuristischer Ansatz für die Suche nach einer allgemeinen MobileNet-Topologie nach Howard et al. [7] vorgestellt, der auf differentieller Evolution beruht. Dieser ist in der Lage, anhand eines gegebenen Datensatzes und ohne zusätzliches Vorwissen einen geeigneten Klassifikator zu entwerfen. Gleichzeitig wird durch die Wahl einer geeigneten Fitnessfunktion der Ressourcenbedarf der Inferenz begrenzt. Für typische industrielle Datensätze können neuronale Netze mit Genauigkeiten von über 99 %99\hspace{0.1667em}\% gefunden werden, während die Rechendauer dafür relativ kurz bleibt.

[1]  Roland Vollgraf,et al.  Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms , 2017, ArXiv.

[2]  Hak-Keung Lam,et al.  Tuning of the structure and parameters of a neural network using an improved genetic algorithm , 2003, IEEE Trans. Neural Networks.

[3]  Dario Floreano,et al.  Neuroevolution: from architectures to learning , 2008, Evol. Intell..

[4]  Qingyong Li,et al.  A Hierarchical Extractor-Based Visual Rail Surface Inspection System , 2017, IEEE Sensors Journal.

[5]  Domingo Mery,et al.  GDXray: The Database of X-ray Images for Nondestructive Testing , 2015, Journal of Nondestructive Evaluation.

[6]  Jason Cong,et al.  Energy-Efficient CNN Implementation on a Deeply Pipelined FPGA Cluster , 2016, ISLPED.

[7]  M.N.S. Swamy,et al.  Search and Optimization by Metaheuristics: Techniques and Algorithms Inspired by Nature , 2016 .

[8]  Quoc V. Le,et al.  Neural Architecture Search with Reinforcement Learning , 2016, ICLR.

[9]  Bo Chen,et al.  MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications , 2017, ArXiv.

[10]  John H. Holland,et al.  Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence , 1992 .

[11]  Geoffrey E. Hinton,et al.  ImageNet classification with deep convolutional neural networks , 2012, Commun. ACM.

[12]  Ralf Salomon,et al.  Evolutionary algorithms and gradient search: similarities and differences , 1998, IEEE Trans. Evol. Comput..

[13]  Andrew Y. Ng,et al.  Reading Digits in Natural Images with Unsupervised Feature Learning , 2011 .

[14]  Alex Krizhevsky,et al.  Learning Multiple Layers of Features from Tiny Images , 2009 .

[15]  Wei Cao,et al.  RNA: An Accurate Residual Network Accelerator for Quantized and Reconstructed Deep Neural Networks , 2019, IEICE Transactions on Information and Systems.

[16]  Michael Heizmann,et al.  Gradient Based Evolution to Optimize the Structure of Convolutional Neural Networks , 2018, 2018 25th IEEE International Conference on Image Processing (ICIP).

[17]  Risto Miikkulainen,et al.  Evolving Neural Networks through Augmenting Topologies , 2002, Evolutionary Computation.

[18]  Ruizhi Chen,et al.  FBNA: A Fully Binarized Neural Network Accelerator , 2018, 2018 28th International Conference on Field Programmable Logic and Applications (FPL).

[19]  R. J. Kuo,et al.  The gradient evolution algorithm: A new metaheuristic , 2015, Inf. Sci..

[20]  Kay Chen Tan,et al.  A Generic Deep-Learning-Based Approach for Automated Surface Inspection , 2018, IEEE Transactions on Cybernetics.

[21]  Yunhui Yan,et al.  Automatic Recognition of Surface Defects on Hot-Rolled Steel Strip Using Scattering Convolution Network , 2014 .