Méthodologies d'évaluation des systèmes de dialogue parlé : réflexions et expériences autour de la compréhension

L'evaluation des systemes de dialogue oral homme-machine est un probleme qui suscite une activite scientifique importante dont temoignent les projets EAGLES, DISC, AUPELF ARCB2, COMMUNICATOR. Actuellement, on cherche des solutions automatiques pour reduire les couts de developpement et pour comparer les approches au moyen d'indicateurs fiables avec des techniques d'evaluation generiques, independantes du systeme et de la tâche. Jusqu'a present, la plupart des evaluations ont ete effectuees, soit en considerant le systeme de dialogue dans sa globalite, soit sur des mesures locales independantes du contexte dialogique. Apres un tour d'horizon des methodes existantes, nous relatons nos experiences notamment d'application du paradigme PARADISE et proposons une methodologie de l'evaluation des capacites de comprehension en contexte des systemes de dialogue: PEACE.