Architecture basée sur les mécanismes d'attention: le cas de la génération de questions neuronales

Les architectures neuronales basees sur l'attention, telles que le Transformer, ont re- cemment suscite l'interet de la communaute scientifique et ont permis d'obtenir des progres im- portants par rapport a l'etat de l'art dans plusieurs domaines. L'adaptation des Transformers a la tâche de la generation de questions n'est pas simple car les donnees sont ici relativement peu volumineuses. Nous explorons, par consequent, comment un Transformer peut etre adapte et, en particulier, etudions l'effet des mecanismes de copie, de remplacement d'entite nommee ainsi que l'integration de representations de mots contextualisees. Ces mecanismes sont parti- culierement utiles pour le traitement des mots hors vocabulaire, qui sont les plus susceptibles d'affecter les performances dans le cadre de tâches pour lesquelles les donnees sont relative- ment moins disponibles. Les experiences rapportees montrent des resultats encourageants dans le scenario ou la reponse n'est pas connue (mode non guide). On obtient, par ailleurs, une amelioration par rapport a l'etat de l'art quand elle ne l'est pas (mode guide).