On Parameter Learning for Perturb-and-MAP Models. (Sur l'apprentissage des paramètres pour les modèles Perturb-and-MAP)

Les modeles graphiques probabilistes codent les dependances cachees entre les variables aleatoires pour la modelisation des donnees. L'estimation des parametres est une partie cruciale et necessaire du traitement de ces modeles probabilistes. Ces modeles tres generaux ont ete utilises dans de nombreux domaines tels que la vision par ordinateur, le traitement du signal, le traitement du langage naturel et bien d'autres. Nous nous sommes surtout concentres sur les modeles log-supermodulaires, qui constituent une partie specifique des distributions familiales exponentielles, ou la fonction potentielle est supposee etre negative d'une fonction sous-modulaire. Cette propriete sera tres pratique pour le maximum d'estimations a posteriori et d'apprentissage des parametres. Malgre la restriction apparente des modeles d'interet, ils couvrent une grande partie des familles exponentielles, puisqu'il y a beaucoup de fonctions qui sont sous-modulaires, par exemple, les coupes graphiques, l'entropie et autres. Il est bien connu que le traitement probabiliste est un defi pour la plupart des modeles, mais nous avons ete en mesure de relever certains des defis au moins approximativement. Dans ce manuscrit, nous exploitons les idees perturb-and-MAP pour l'approximation de la fonction de partition et donc un apprentissage efficace des parametres. De plus, le probleme peut egalement etre interprete comme une tâche d'apprentissage de structure, ou chaque parametre ou poids estime represente l'importance du terme correspondant. Nous proposons une methode d'estimation et d'inference approximative des parametres pour les modeles ou l'apprentissage et l'inference exacts sont insolubles dans le cas general en raison de la complexite du calcul des fonctions de partition. La premiere partie de la these est consacree aux garanties theoriques. Etant donne les modeles log-supermodulaires, nous tirons parti de la propriete de minimisation efficace liee a la sous-modularite. En introduisant et en comparant deux limites superieures existantes de la fonction de partition, nous sommes en mesure de demontrer leur relation en prouvant un resultat theorique. Nous introduisons une approche pour les donnees manquantes comme sous-routine naturelle de la modelisation probabiliste. Il semble que nous puissions appliquer une technique stochastique a l'approche d'approximation par perturbation et carte proposee tout en maintenant la convergence tout en la rendant plus rapide dans la pratique. La deuxieme contribution principale de cette these est une generalisation efficace et evolutive de l'approche de l'apprentissage parametrique. Dans cette section, nous developpons de nouveaux algorithmes pour effectuer l'estimation des parametres pour diverses fonctions de perte, differents niveaux de supervision et nous travaillons egalement sur l'evolutivite. En particulier, en travaillant principalement avec des coupes graphiques, nous avons pu integrer differentes techniques d'acceleration. Nous traitons d'un probleme general d'apprentissage des signaux continus. Dans cette partie, nous nous concentrons sur les representations de modeles graphiques clairsemes. Nous utilisons des regularisateurs a faible densite commune comme potentiels bases sur les antecedents. Les techniques de debruitage proposees ne necessitent pas le choix d'un redresseur precis a l'avance. Pour effectuer l'apprentissage de la representation clairsemee, la communaute utilise souvent les pertes symetriques comme l1, mais nous proposons de parametrer la perte et d'apprendre le poids de chaque composante de perte a partir des donnees. C'est possible grâce a l'approche que nous avons proposee dans les sections precedentes. Pour tous les aspects de l'estimation des parametres mentionnes ci-dessus, nous avons effectue les calculs suivants des experiences nationales visant a approuver l'idee ou a la comparer a des reperes existants, et a demontrer sa performance dans la pratique.