Supervised Dictionary Learning

It is now well established that sparse signal models are well suited to restoration tasks and can effectively be learned from audio, image, and video data. Recent research has been aimed at learning discriminative sparse models instead of purely reconstructive ones. This paper proposes a new step in that direction, with a novel sparse representation for signals belonging to different classes in terms of a shared dictionary and multiple class-decision functions. The linear variant of the proposed model admits a simple probabilistic interpretation, while its most general variant admits an interpretation in terms of kernels. An optimization framework for learning all the components of the proposed model is presented, along with experimental results on standard handwritten digit and texture classification tasks. Key-words: sparsity, classification ∗ INRIA † WILLOW project-team, Laboratoire d’Informatique de l’Ecole Normale Supérieure, ENS/INRIA/CNRS UMR 8548 ‡ Ecole Normale Supérieure § University of Minnesota, Department of Electrical Engineering ¶ University of Oxford in ria -0 03 22 43 1, v er si on 1 17 S ep 2 00 8 Apprentissage de dictionnaires supervisé Résumé : Il est maintenant bien établi que les représentations parcimonieuses de signaux sont bien adaptées à des taches de restauration d’image, de sons ou de video. De recherches récentes ont eu pour but d’apprendre des représentations discriminantes au lieu de seulement reconstructives. Ce travail propose un nouveau cadre pour représenter des signaux appartenant à plusieurs classes différentes, en apprenant de façon simultanée un dictionnaire partagé et de multiples fonctions de décision. On montre que la variante linéaire de ce cadre admet une interprétation probabilistique simple, tandis que la version plus générale peut s’interpréter en terme de noyaux. Nous proposons une méthode d’optimisation efficace et nous évaluons le modèle sur un problème de reconnaissance de chiffres manuscrits et de classification de textures. Mots-clés : parcimonie, sparsité, classification in ria -0 03 22 43 1, v er si on 1 17 S ep 2 00 8 Supervised Dictionary Learning 3