ModéLisation GénéRique de Documents MultiméDIA par des MéTadonnées : MéCanismes d'annotation et d'interrogation

Avec la croissance du volume des documents multimedia durant la derniere decennie, il est devenu necessaire de mettre au point de nouvelles formes de representation, de description de contenu mais aussi de manipulation de ces donnees. Plusieurs recherches sont menees dans ces differents axes de traitement de documents pour apporter des solutions a ces problemes. Dans le cadre de la manipulation et de la description du contenu des documents, mes travaux de these consistent a etudier la modelisation generique de documents multimedia par des metadonnees. Dans un premier temps, nous proposons une approche qui consiste a l'homogeneisation des structures de representation des documents multimedia facilitant considerablement le traitement final de ces documents sans avoir recours aux contenus multimedia eux-memes. Nous avons propose l'extraction et la modelisation de familles de metadonnees regroupees sous forme de descripteurs specifiques a chaque type de media. En effet, nous avons realise une annotation de documents multimedia non normalises. Nous avons propose la structuration de ces metadonnees dans des documents XML appeles " meta-documents ", tout en prevoyant des liens vers les metadonnees non textuelles. Ces meta-documents representent une structure supplementaire par rapport a d'eventuelles structures logiques, temporelles, spatiales ou physiques qui sont forcement redigees par les auteurs des document. Dans un second temps nous avons integre une representation graphique du meta-document sous forme d'arbre de metadonnees. Cependant les documents image, audio et video necessitent l'expression de nouvelles contraintes de modelisation de documents multimedia. Ces contraintes sont essentiellement dues aux relations temporelles et spatiales intra et inter documents. Pour cela nous avons etendu les meta-documents en integrant des descripteurs semantiques definis selon le besoin de l'utilisateur et des relations spatiales et temporelles. Ces relations son integrees dans le meta-document par des elements et des attributs XML. Au niveau de l'interrogation des documents multimedia, nous avons propose un outil d'aide a la formulation graphique de requetes XQuery en utilisant les metadonnees et en integrant les relations spatio-temporelles entre ces metadonnees. Cet outil permet a des utilisateurs non-experts la creation graphique et incrementale de la requete soumise. Pour ce qui est de la nature du resultat restitue, nous rappellerons qu'il ne s'agit pas necessairement d'une reponse " exacte " mais d'un positionnement sur l'information susceptible de repondre a la requete.

[1]  Gunnar Liestøl,et al.  Aesthetic and rhetorical aspects of linking video in hypermedia , 1994, ECHT '94.

[2]  M. J. Muller,et al.  Toward a definition of voice documents , 1990, COCS '90.

[3]  M. Egenhofer,et al.  Point-Set Topological Spatial Relations , 2001 .

[4]  Cécile Roisin,et al.  Multimedia modeling using MPEG-7 for authoring multimedia integration , 2003, MIR '03.

[5]  Ombretta Gaggi,et al.  Retrieving Consistent Multimedia Presentation Fragments , 2002, Multimedia Information Systems.

[6]  B. S. Manjunath,et al.  NeTra: A toolbox for navigating large image databases , 1997, Multimedia Systems.

[7]  Michael Christel Apply Multimodal Search and Relevance Feedback In a Digital Video Library , .

[8]  Sabine Timpf,et al.  Abstraction, Levels of Detail, and Hierarchies in Map Series , 1999, COSIT.

[9]  A. Dorado,et al.  Semi-automatic image annotation using frequent keyword mining , 2003, Proceedings on Seventh International Conference on Information Visualization, 2003. IV 2003..

[10]  C. F. Goldfarb,et al.  A generalized approach to document markup , 1981, SIGPLAN SIGOA Symposium on Text Manipulation.

[11]  Michael I. Jordan,et al.  Latent Dirichlet Allocation , 2001, J. Mach. Learn. Res..

[12]  Bright Osei Twumasi Modelling spatial object behaviours in object- relational geodatabase , 2002 .

[13]  Letizia Tanca,et al.  A visual language should be easy to use: a step forward for XML-GL , 2002, Inf. Syst..

[14]  Ronan Fablet Modelisation statistique non parametrique et reconnaissance du mouvement dans des sequences d'images ; application a l'indexation video , 2001 .

[15]  Sébastien Lefèvre Détection d'évènements dans une séquence vidéo , 2002 .

[16]  Alvy Ray Smith,et al.  Color gamut transform pairs , 1978, SIGGRAPH.

[17]  Lloyd Rutledge,et al.  HyOctane: a HyTime engine for an MMIS , 1993, MULTIMEDIA '93.

[18]  William I. Grosky,et al.  Multimedia information systems , 1994, IEEE MultiMedia.

[19]  A. Murat Tekalp,et al.  Content-based access to video objects: Temporal Segmentation, visual summarization, and feature extraction , 1998, Signal Process..

[20]  Claude Barras,et al.  Transcribing with Annotation Graphs , 2000, LREC.

[21]  Ikram Amous-Ben Amor Méthodologies de conception d'applications hypermédia : extension pour la réingénierie des sites web , 2002 .

[22]  Jane Hunter,et al.  An Indexing and Querying System for Online Images Based on the PNG Format and Embedded Metadata , 1999 .

[23]  James A. Hendler,et al.  The Semantic Web" in Scientific American , 2001 .

[24]  G. Jaffré,et al.  Costume: a new feature for automatic video content indexing , 2004 .

[25]  Dan Suciu,et al.  Semistructured Data and XML , 2001, FODO.

[26]  Daniel Schwabe,et al.  OOHDM-Web: an environment for implementation of hypermedia applications in the WWW , 1999, LINK.

[27]  Dimitris Papadias,et al.  Spatial Relations, Minimum Bounding Rectangles, and Spatial Data Structures , 1997, Int. J. Geogr. Inf. Sci..

[28]  Steven W. Zucker,et al.  Region growing: Childhood and adolescence* , 1976 .

[29]  Mark Liberman,et al.  Transcriber: a free tool for segmenting, labeling and transcribing speech , 1998, LREC.

[30]  Yihong Gong Advancing content-based image retrieval by exploiting image color and region features , 1999, Multimedia Systems.

[31]  Eric D. Scheirer,et al.  Towards music understanding without separation: segmenting music with correlogram comodulation , 1999, Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics. WASPAA'99 (Cat. No.99TH8452).

[32]  Arif Ghafoor,et al.  Indexing and retrieval of video based on spatial relation sequences , 1999, MULTIMEDIA '99.

[33]  Yves Marcoux Les formats normalisés de documents électroniques , 1994 .

[34]  José-Luis Zechinelli-Martini,et al.  Spatio-Temporal Multimedia Presentations as Database Objects , 1999, DEXA.

[35]  Steven R. Newcomb,et al.  The “HyTime ”: hypermedia/time-based document structuring language , 1991, CACM.

[36]  Alessandro Campi,et al.  XQBE: A Graphical Interface for XQuery Engines , 2004, EDBT.

[37]  Eric Prud'hommeaux,et al.  Annotea: an open RDF infrastructure for shared Web annotations , 2002, Comput. Networks.

[38]  Jane Hunter,et al.  Adding Multimedia to the Semantic Web: Building an MPEG-7 ontology , 2001, SWWS.

[39]  Roy Goldman,et al.  DataGuides: Enabling Query Formulation and Optimization in Semistructured Databases , 1997, VLDB.

[40]  Jacques Le Maitre,et al.  Extending xQuery with transformation operators , 2003, DocEng '03.

[41]  Andrew U. Frank,et al.  Qualitative Spatial Reasoning: Cardinal Directions as an Example , 1996, Int. J. Geogr. Inf. Sci..

[42]  Jayant Sharma,et al.  Modeling Topological Spatial Relations: Strategies for Query Processing , 1998 .

[43]  Julien Pinquier,et al.  Audio indexing: primary components retrieval , 2006, Multimedia Tools and Applications.

[44]  B. S. Manjunath,et al.  Introduction to MPEG-7: Multimedia Content Description Interface , 2002 .

[45]  Nozha Boujemaa,et al.  Soft color signatures for image retrieval by content , 2001, EUSFLAT Conf..

[46]  Marie-Pierre Jolly,et al.  Tracking Deformable Templates Using a Shortest Path Algorithm , 2001, Comput. Vis. Image Underst..

[47]  Jocelyne Nanard,et al.  OPALES: An Environment for Sharing Knowledge Among Experts Working on Multimedia Archives. , 2001 .

[48]  Julien Pinquier,et al.  Fusion de paramètres pour une classification automatique parole/musique robuste. Séparation parole/musique dans les fichiers a , 2003, Tech. Sci. Informatiques.

[49]  Kathleen Burnett,et al.  A Comparison of the Two Traditions of Metadata Development , 1999, J. Am. Soc. Inf. Sci..

[50]  James F. Allen Time and time again: The many ways to represent time , 1991, Int. J. Intell. Syst..

[51]  Terry Caelli,et al.  Learning Image Annotation : The CITE System , 1998 .

[52]  Emmanuel Bruno Documents XML: un modèle et une algèbre , 2001, Ingénierie des Systèmes d Inf..

[53]  Alessandro Campi,et al.  A graphical environment to query XML data with XQuery , 2003, Proceedings of the Fourth International Conference on Web Information Systems Engineering, 2003. WISE 2003..

[54]  Tuyet Tram Dang Ngoc Federation de données semi-structurées avec XML , 2003 .

[55]  James A. Hendler,et al.  A Portrait of the Semantic Web in Action , 2001, IEEE Intell. Syst..

[57]  Jocelyne Nanard,et al.  Formalismes de manipulation du temps par l'auteur dans les documents multimédias , 2004, Document Numérique.

[58]  Paul A. Kogut,et al.  AeroDAML: Applying Information Extraction to Generate DAML Annotations from Web Pages , 2001, Semannot@K-CAP 2001.

[59]  Timos K. Sellis,et al.  Spatio-temporal composition and indexing for large multimedia applications , 1998, Multimedia Systems.

[60]  Steffen Staab,et al.  CREAM: creating relational metadata with a component-based, ontology-driven annotation framework , 2001, K-CAP '01.

[61]  Luca Iocchi,et al.  The Web-OEM approach to Web information extraction , 1999, J. Netw. Comput. Appl..

[62]  Dietmar F. Rösner,et al.  An XML-based Approach for the Presentation and Exploitation of Extracted Information , 2001 .

[63]  Donald D. Chamberlin,et al.  XQuery: a query language for XML , 2003, SIGMOD '03.

[64]  Elke A. Rundensteiner,et al.  SVIQUEL: A Spatial Visual Query and Exploration Language , 1998, DEXA.

[65]  Tok Wang Ling,et al.  Automatic Generation of XQuery View Definitions from ORA-SS Views , 2003, ER.

[66]  Claire-Hélène Demarty Segmentation et structuration d'un document vidéo pour la caractérisation et l'indexation de son contenu sémantique , 2000 .

[67]  Patrick Beautement,et al.  Towards Semantic Interoperability in Agent-based Coalition Command Systems , 2001, SWWS.

[68]  Kees Van Der Heijden,et al.  Image Based Measurement Systems , 2007 .

[69]  Narendra Ahuja,et al.  Detecting Faces in Images: A Survey , 2002, IEEE Trans. Pattern Anal. Mach. Intell..

[70]  Michel E. Adiba STORM: An Object-Oriented Multimedia DBMS , 1996, Multimedia Database Systems.

[71]  Anil K. Jain,et al.  Automatic caption localization in compressed video , 1999, Proceedings 1999 International Conference on Image Processing (Cat. 99CH36348).

[72]  Julien Pinquier,et al.  Indexation sonore : recherche de composantes primaires pour une structuration audiovisuelle. (Audio classification: search of primary components for audiovisual structuring) , 2004 .

[73]  Takashi Matsuyama,et al.  SIGMA: A Knowledge-Based Aerial Image Understanding System , 1990 .

[74]  Anis Jedidi,et al.  Metadata for the Semi-Structured Mono-Media Documents , 2001, ICEIS.

[75]  Anis Jedidi,et al.  Modélisation des métadonnées pour une recomposition dynamique des documents , 2002, INFORSID.

[76]  Jacques Le Maitre,et al.  Temporalisation d'un document XML , 2004, Document Numérique.

[77]  Dragutin Petkovic,et al.  Query by Image and Video Content: The QBIC System , 1995, Computer.

[78]  Max J. Egenhofer,et al.  Spatial SQL: A Query and Presentation Language , 1994, IEEE Trans. Knowl. Data Eng..

[79]  Florence Sèdes,et al.  Appariement d'informations dans les entrepôts de données : quelques approches pour le filtrage flexible1. , 2002 .

[80]  Chabane Djeraba,et al.  Association and Content-Based Retrieval , 2003, IEEE Trans. Knowl. Data Eng..

[81]  John R. Smith,et al.  MPEG-7 multimedia description schemes , 2001, IEEE Trans. Circuits Syst. Video Technol..

[82]  Jean-Luc Gauvain,et al.  Transcribing broadcast news for audio and video indexing , 2000, CACM.

[83]  Cordelia Schmid,et al.  Face detection in a video sequence - a temporal approach , 2001, Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001.

[84]  Michel Beigbeder,et al.  Les temps du document et la recherche d'information , 2004, Document Numérique.

[85]  Wolfgang Effelsberg,et al.  Automatic text segmentation and text recognition for video indexing , 2000, Multimedia Systems.

[86]  Serge Garlatti,et al.  Méta-données et annotations dans le Web sémantique , 2004 .

[87]  Jacques Le Maitre,et al.  Indexation et interrogation de photos de presse décrites en MPEG-7 et stockées dans une base de données XML , 2002, Ingénierie des Systèmes d Inf..

[88]  Ahmed Karmouch,et al.  A data model and a query languagefor multimedia documents databases , 1999, Multimedia Systems.

[89]  James F. Allen Maintaining knowledge about temporal intervals , 1983, CACM.

[90]  Dan Suciu,et al.  Index Structures for Path Expressions , 1999, ICDT.

[91]  Wei Xiong,et al.  Query by video clip , 1998, Proceedings. Fourteenth International Conference on Pattern Recognition (Cat. No.98EX170).