Classification non supervisée de documents à partir des modèles Transformeurs

Résumé. Les plongements de mots pré-entraînés basés sur les modèles Trans-formeur sont maintenant largement utilisés dans l’exploration de textes où ils sont connus pour améliorer de manière significative les tâches supervisées telles que la classification supervisée de textes, la reconnaissance d’entités nommées et la réponse aux questions. Puisque les modèles Transformeur créent plusieurs plongements différents pour la même entrée, un à chaque couche de leur architecture, diverses études ont déjà essayé d’identifier ceux de ces plongements qui contribuent le plus au succès des tâches mentionnées ci-dessus. En revanche, la même analyse des performances n’a pas encore été réalisée dans le cadre non supervisé. Dans cet article, nous évaluons l’efficacité des modèles Transfor-meur sur l’importante de la tâche de classification non supervisée de documents. En particulier, nous présentons une approche clustering ensemble qui exploite toutes les couches du réseau. Des expériences numériques menées sur des ensembles de données réels avec différents modèles Transformeur montrent l’effi-cacité de la méthode proposée par rapport à plusieurs stratégies habituellement utilisées. Cet article est une restitution plus détaillée du papier (Ait-Saada et al., 2021a).