Binary Feature Selection with Conditional Mutual Information

In a context of classi cation, we propose to use conditional mutual information to select a family of binary features which are individually discriminating and weakly dependent. We show that on a task of image classi cation, despite its simplicity, a naive Bayesian classi er based on features selected with this Conditional Mutual Information Maximization (CMIM) criterion performs as well as a classi er built with AdaBoost. We also show that this classi cation method is more robust than boosting when trained on a noisy data set. Key-words: classi cation, feature selection, Bayesian classi er, mutual information Sélection de descripteurs par maximisation de l'information mutuelle conditionnelle Résumé : Dans un contexte de classi cation, nous proposons d'utiliser l'information mutuelle conditionnelle pour sélectionner une famille de descripteurs binaires qui sont individuellement informatifs tout en étant faiblement dépendants entre eux. Nous montrons sur un problème de classi cation d'images que malgré sa simplicité un classi eur de type Bayésien naïf utilisant des descripteurs sélectionnés de cette manière obtient des taux d'erreur similaires à ceux d'un classi eur construit à l'aide d'AdaBoost. Nous montrons également que cette technique est beaucoup plus robuste que le boosting dans un cadre bruité. Mots-clés : classi cation, sélection de features, classi eur bayésien, information mutuelle CMIM feature selection 3