Learning word meanings from images of natural scenes

Children early on face the challenge of learning the meaning of words from noisy and ambiguous contexts. Utterances that guide their learning are emitted in complex scenes rendering the mapping between visual and linguistic cues difficult. A key challenge in computational modeling of the acquisition of word meanings is to provide representations of scenes that contain sources of information and statistical properties similar in complexity to natural data. We propose a novel computational model of cross-situational word learning that takes images of natural scenes paired with their descriptions as input and incrementally learns probabilistic associations between words and image features. Through a set of experiments we show that the model learns meaning representations that correlate with human similarity judgments, and that given an image of a scene it produces words conceptually related to the image. RÉSUMÉ. Les enfants sont très tôt confrontés au défi d’apprendre la signification des mots à partir de contextes bruités et ambigus. Les énoncés qui guident leur apprentissage sont émis au sein de scènes complexes qui rendent l’appariement entre indices visuels et linguistiques difficile. Un défi important de la modélisation informatique de l’acquisition du sens des mots réside en la proposition de représentations de scènes contenant des sources d’information et des propriétés statistiques similaires en complexité à des données naturelles. Nous proposons un nouveau modèle d’apprentissage de mots inter-situationnel qui prend en entrée des images de scènes naturelles accompagnées de leurs descriptions et apprend incrémentalement des associations probabilistes entre mots et traits visuels. Nous montrons, à travers un ensemble d’expériences, que ce modèle apprend des représentations de sens corrélées aux jugements de similarité humains, et qu’il produit, pour une image de scène donnée, des mots qui lui sont conceptuellement liés.