Neural Networks Regularization Through Representation Learning

Les modeles de reseaux de neurones et en particulier les modeles profonds sont aujourd'hui l'un des modeles a l'etat de l'art en apprentissage automatique et ses applications. Les reseaux de neurones profonds recents possedent de nombreuses couches cachees ce qui augmente significativement le nombre total de parametres. L'apprentissage de ce genre de modeles necessite donc un grand nombre d'exemples etiquetes, qui ne sont pas toujours disponibles en pratique. Le sur-apprentissage est un des problemes fondamentaux des reseaux de neurones, qui se produit lorsque le modele apprend par coeur les donnees d'apprentissage, menant a des difficultes a generaliser sur de nouvelles donnees. Le probleme du sur-apprentissage des reseaux de neurones est le theme principal aborde dans cette these. Dans la litterature, plusieurs solutions ont ete proposees pour remedier a ce probleme, tels que l'augmentation de donnees, l'arret premature de l'apprentissage ("early stopping"), ou encore des techniques plus specifiques aux reseaux de neurones comme le "dropout" ou la "batch normalization". Dans cette these, nous abordons le sur-apprentissage des reseaux de neurones profonds sous l'angle de l'apprentissage de representations, en considerant l'apprentissage avec peu de donnees. Pour aboutir a cet objectif, nous avons propose trois differentes contributions. La premiere contribution, presentee dans le chapitre 2, concerne les problemes a sorties structurees dans lesquels les variables de sortie sont a grande dimension et sont generalement liees par des relations structurelles. Notre proposition vise a exploiter ces relations structurelles en les apprenant de maniere non-supervisee avec des autoencodeurs. Nous avons valide notre approche sur un probleme de regression multiple appliquee a la detection de points d'interet dans des images de visages. Notre approche a montre une acceleration de l'apprentissage des reseaux et une amelioration de leur generalisation. La deuxieme contribution, presentee dans le chapitre 3, exploite la connaissance a priori sur les representations a l'interieur des couches cachees dans le cadre d'une tâche de classification. Cet a priori est base sur la simple idee que les exemples d'une meme classe doivent avoir la meme representation interne. Nous avons formalise cet a priori sous la forme d'une penalite que nous avons rajoutee a la fonction de perte. Des experimentations empiriques sur la base MNIST et ses variantes ont montre des ameliorations dans la generalisation des reseaux de neurones, particulierement dans le cas ou peu de donnees d'apprentissage sont utilisees. Notre troisieme et derniere contribution, presentee dans le chapitre 4, montre l'interet du transfert d'apprentissage ("transfer learning") dans des applications dans lesquelles peu de donnees d'apprentissage sont disponibles. L'idee principale consiste a pre-apprendre les filtres d'un reseau a convolution sur une tâche source avec une grande base de donnees (ImageNet par exemple), pour les inserer par la suite dans un nouveau reseau sur la tâche cible. Dans le cadre d'une collaboration avec le centre de lutte contre le cancer "Henri Becquerel de Rouen", nous avons construit un systeme automatique base sur ce type de transfert d'apprentissage pour une application medicale ou l'on dispose d’un faible jeu de donnees etiquetees. Dans cette application, la tâche consiste a localiser la troisieme vertebre lombaire dans un examen de type scanner. L’utilisation du transfert d’apprentissage ainsi que de pretraitements et de post traitements adaptes a permis d’obtenir des bons resultats, autorisant la mise en oeuvre du modele en routine clinique.