Exploitation du contenu visuel pour améliorer la recherche textuelle d'images en ligne

Les moteurs de recherche d'images sur le web utilisent principalement l'information textuelle associee aux images afin de retrouver les images pertinentes, tandis que le contenu visuel, moins semantique et plus couteux en temps de calcul, est tres peu utilise dans la phase « en ligne ». Nous proposons une chaine de traitements complete proposant deux facons efficaces et peu couteuses d'utiliser le contenu visuel des images dans la phase en ligne. La premiere facon propose d'ameliorer la precision des resultats retrouves en filtrant les resultats textuels en fonction des concepts visuels detectes dans la requete textuelle. Pour cela, nous apprenons les concepts visuels a l'aide de forets d'arbres de decision flous. Ce travail montre une nette amelioration des resultats lorsque l'on utilise les concepts apparaissant explicitement dans la requete. La deuxieme facon propose d'ameliorer la diversite des resultats pertinents obtenus afin de mieux satisfaire le besoin d'information de l'utilisateur. Pour cela, nous utilisons un partitionnement de l'espace visuel. Nous montrons que cette approche est effectivement efficace.

[1]  Jamie Shotton,et al.  Semantic Texton Forests , 2010, Computer Vision: Detection, Recognition and Reconstruction.

[2]  Philippe Mulhem,et al.  LIG at ImageCLEF 2008, Evaluating Systems for Multilingual and Multimodal Information Access , 2008 .

[3]  Christophe Marsala,et al.  University of Paris 6 at TRECVID 2006: Forest of Fuzzy Decision Trees for High-Level Feature Extraction , 2006, TRECVID.

[4]  Carol Peters,et al.  Evaluating Systems for Multilingual and Multimodal Information Access: 9th Workshop of the Cross-Language Evaluation Forum, CLEF 2008, Aarhus, Denmark, ... Applications, incl. Internet/Web, and HCI) , 2009 .

[5]  J. Ross Quinlan,et al.  Induction of Decision Trees , 1986, Machine Learning.

[6]  Christiane Fellbaum,et al.  Book Reviews: WordNet: An Electronic Lexical Database , 1999, CL.

[7]  Hichem Sahbi,et al.  TELECOMParisTech at ImageClefphoto 2008: Bi-Modal Text and Image Retrieval with Diversity Enhancement , 2008, CLEF.

[8]  Sean M. McNee,et al.  Improving recommendation lists through topic diversification , 2005, WWW '05.

[9]  Mi Zhang,et al.  Avoiding monotony: improving the diversity of recommendation lists , 2008, RecSys '08.

[10]  David A. Forsyth,et al.  Matching Words and Pictures , 2003, J. Mach. Learn. Res..

[11]  Daniel Gatica-Perez,et al.  PLSA-based image auto-annotation: constraining the latent space , 2004, MULTIMEDIA '04.

[12]  Jing Hua,et al.  Graph theoretical framework for simultaneously integrating visual and textual features for efficient web image clustering , 2008, WWW.

[13]  Roberto Cipolla,et al.  Semantic texton forests for image categorization and segmentation , 2008, 2008 IEEE Conference on Computer Vision and Pattern Recognition.

[14]  David R. Karger,et al.  Less is More Probabilistic Models for Retrieving Fewer Relevant Documents , 2006 .

[15]  Adrian Popescu,et al.  Ontology driven content based image retrieval , 2007, CIVR '07.

[16]  Hermann Ney,et al.  Jointly optimising relevance and diversity in image retrieval , 2009, CIVR '09.

[17]  Hervé Glotin,et al.  Web image retrieval on ImagEVAL: evidences on visualness and textualness concept dependency in fusion model , 2007, CIVR '07.

[18]  Stefan M. Rüger,et al.  A Large Scale System for Searching and Browsing Images from the World Wide Web , 2006, CIVR.

[19]  Kai Song,et al.  Diversifying the image retrieval results , 2006, MM '06.

[20]  Sébastien Paquet,et al.  Diversity in open social networks , 2008 .

[21]  Masashi Inoue,et al.  Effects of Visual Concept-based Post-retrieval Clustering in ImageCLEFphoto 2008 , 2008, CLEF.

[22]  James Ze Wang,et al.  Image retrieval: Ideas, influences, and trends of the new age , 2008, CSUR.

[23]  Rainer Lienhart,et al.  Multilayer pLSA for multimodal image retrieval , 2009, CIVR '09.

[24]  Thomas Deselaers,et al.  The Visual Concept Detection Task in ImageCLEF 2008 , 2008, CLEF.

[25]  Denyse Baillargeon,et al.  Bibliographie , 1929 .

[26]  Hervé Glotin,et al.  A Comparative Study of Diversity Methods for Hybrid Text and Image Retrieval Approaches , 2008, CLEF.