Audit d'une base de documents étiquetée

Dans cet article, deja presente a ICDAR 2015, nous nous interessons a l’etiquetage d’une base d’images de documents dans un contexte industriel. Nous travaillons plus particu- lierement sur l’evaluation de la qualite d’un etiquetage preexistant. Dans la plupart des cas pratiques, un operateur etiquette manuellement une base d’images de documents en parcourant sequentiellement les vignettes correspondant aux images. Cette tâche est tres repetitive ; de plus le plan de classement definissant les noms et le nombre des classes est souvent incomplet, ce qui conduit a de nombreuses erreurs d’etiquetage. La question est alors d’evaluer si la qualite d’un lot etiquete est suffisante pour qu’il soit accepte. Notre objectif est de faciliter et d’accelerer cette evaluation qui prend en pratique plus de 1, 5 fois le temps necessaire a l’etiquetage lui-meme. Nous proposons un outil interactif pour visualiser les donnees sous la forme d’un graphe. Ce graphe met en evidence les similarites entre documents ainsi que la qualite de l’etiquetage. Nous definissons des criteres sur le graphe qui caracterisent les trois types d’erreur qu’un operateur peut faire : une image est mal etiquetee, une classe devrait etre decoupee en sous-classes plus pertinentes, plusieurs classes devraient etre fusionnees en une seule. Ceci nous permet de focali- ser l’attention de l’utilisateur sur de potentielles erreurs. Il peut alors plus facilement compter les erreurs d’etiquetage et valider (ou pas) une qualite d’etiquetage conforme aux attentes.