Content-Aware DataGuides for Indexing Semi-Structured Data

This work presents the Content-Aware DataGuide (CADG), a new index for tree-shaped SemiStructured Data. Based on the well-known DataGuide index, its major contribution is the simultaneous use of both structural and textual query criteria during several phases of the retrieval process. Two new pruning techniques for content-aware path matching are presented – one based on index node IDs and the other on a novel use of heuristic keyword signatures – which narrow down the search space at evaluation time considerably. This not only avoids needless index navigation, but also some expensive disk operations. Furthermore, content-aware occurrence fetching substantially enhances database look-ups. The new index structure is tested extensively with different sets of both manually and automatically generated queries on a variety of document collections, including data from the XML Benchmark Project. Three variations of the CADG are compared to each other and to the original DataGuide. Further techniques for retrieval optimization are tested with all index structures. A generic query classification scheme is presented which allows for a systematic comparison and analysis of the performance results (which are also appended for further examination). The experiments prove that the CADG is superior to the DataGuide in virtually all cases, often with a performance gain of 50% and more. Moreover, the new approach scales well to large document collections. Zusammenfassung Mit dem Content-Aware DataGuide (CADG) präsentiert die vorliegende Arbeit einen neuartigen Index für semistrukturierte Baumdatenbanken. Eine wesentliche Neuerung gegenüber dem bekannten DataGuide-Index, auf dem der CADG basiert, besteht in der kombinierten Auswertung von strukturellen und textuellen Anfragekriterien, d. h. von Suchpfaden und Suchwörtern, in verschiedenen Phasen des Auswertungsprozesses. Es werden zwei neue Verfahren zur suchwortabhängigen Navigation (content-aware navigation) im Index vorgestellt, mit deren Hilfe der Suchraum zur Auswertungszeit z. T. erheblich verkleinert werden kann: ein exaktes, auf Knotenbezeichnern basierendes Verfahren sowie ein zweites, das heuristische Suchwortsignaturen auf neue Weise einsetzt. Beide vermeiden nicht nur überflüssige Pfadvergleiche im Index, sondern auch teuere Datenbankzugriffe. Die Integration der strukturellen und textuellen Teile einer Anfrage ermöglicht es dem CADG darüber hinaus, effizientere Anfragen an die darunterliegende Datenbank zu stellen (content-aware occurrence fetching). Die neue Indexstruktur ist ausgiebigen Tests unterzogen worden, bei denen große Mengen sowohl händisch als auch automatisch erzeugter Anfragen an verschiedene Baumdatenbanken gestellt werden, etwa aus dem XML Benchmark Project. Hierbei sind drei Varianten des CADG untereinander und mit dem ursprünglichen DataGuide verglichen worden. Alle Indexstrukturen sind außerdem in Kombination mit weiteren Optimierungen getestet worden. Mit Hilfe eines neuen generischen Modells zur Anfrageklassifizierung werden die Testergebnisse systematisch verglichen und ausgewertet. (Sie sind zur weiteren Analyse dem Text beigefügt.) Die Experimente belegen, daß der CADG dem herkömmlichen DataGuide in so gut wie allen Fällen überlegen ist, häufig um 50% oder mehr. Zudem ist der neue Ansatz skalierbar, d. h. auch für große Dokumentsammlungen geeignet.