On layer-wise representations in deep neural networks

On Layer-Wise Representations in Deep Neural Networks It is well-known that deep neural networks are forming an efficient internal representation of the learning problem. However, it is unclear how this efficient representation is distributed layer-wise, and how it arises from learning. In this thesis, we develop a kernel-based analysis for deep networks that quantifies the representation at each layer in terms of noise and dimensionality. The analysis is applied to backpropagation networks and deep Boltzmann machines, and is able to capture the layer-wise reduction of noise and dimensionality. The analysis also reveals the disrupting effect of learning noise, and how it prevents the emergence of highly sophisticated deep models. Zusammenfassung Schichtweise Reprasentationen in Tiefen Neuronalen Netzen Es ist bekannt, dass tiefe neuronale Netze eine effiziente interne Reprasentation des Lernproblems bilden. Es ist jedoch unklar, wie sich diese effiziente Reprasentation uber die Schichten verteilt und wie sie beim Lernen entsteht. In dieser Arbeit entwickeln wir eine Kernel-basierte Analyse fur tiefe Netze. Diese Analyse quantifiziert die Reprasentation in jeder Schicht in Bezug auf Rauschen und Dimensionalitat. Wir wenden die Analyse auf Backpropagation-Netze und tiefe Boltzmann-Maschinen an und messen die schichtweise Reduzierung von Rauschen und Dimensionalitat. Die Analyse zeigt auch den storenden Einfluss des Lernrauschens: Dieses verhindert die Entstehung komplexer Strukturen in tiefen Modellen.