Learning from Partial Labels with Minimum Entropy

This paper introduces the minimum entropy regularizer for learning from partial labels. This learning problem encompasses the semi-supervised setting, where a decision rule is to be learned from labeled and unlabeled examples. The minimum entropy regularizer applies to diagnosis models, i.e. models of the posterior probabilities of classes. It is shown to include other approaches to the semi-supervised problem as particular or limiting cases. A series of experiments illustrates that the proposed criterion provides solutions taking advantage of unlabeled examples when the latter convey information. Even when the data are sampled from the distribution class spanned by a generative model, the proposed approach improves over the estimated generative model when the number of features is of the order of sample size. The performances are definitely in favor of minimum entropy when the generative model is slightly misspecified. Finally, the robustness of the learning scheme is demonstrated: in situations where unlabeled examples do not convey information, minimum entropy returns a solution discarding unlabeled examples and performs as well as supervised learning. Cet article introduit le regularisateur a entropie minimum pour l'apprentissage d'etiquettes partielles. Ce probleme d'apprentissage incorpore le cadre non supervise, ou une regle de decision doit etre apprise a partir d'exemples etiquetes et non etiquetes. Le regularisateur a entropie minimum s'applique aux modeles de diagnostics, c'est-a-dire aux modeles des probabilites posterieures de classes. Nous montrons comment inclure d'autres approches comme un cas particulier ou limite du probleme semi-supervise. Une serie d'experiences montrent que le critere propose fournit des solutions utilisant les exemples non etiquetes lorsque ces dernieres sont instructives. Meme lorsque les donnees sont echantillonnees a partir de la classe de distribution balayee par un modele generatif, l'approche mentionnee ameliore le modele generatif estime lorsque le nombre de caracteristiques est de l'ordre de la taille de l'echantillon. Les performances avantagent certainement l'entropie minimum lorsque le modele generatif est legerement mal specifie. Finalement, la robustesse de ce cadre d'apprentissage est demontre : lors de situations ou les exemples non etiquetes n'apportent aucune information, l'entropie minimum retourne une solution rejetant les exemples non etiquetes et est aussi performante que l'apprentissage supervise.