Extensible dependency grammar: a modular grammar formalism based on multigraph description

This thesis develops Extensible Dependency Grammar (XDG), a new grammar formalism combining dependency grammar, model-theoretic syntax, and Jackendoff’s parallel grammar architecture. The design of XDG is strongly geared towards modularity: grammars can be modularly extended by any linguistic aspect such as grammatical functions, word order, predicate-argument structure, scope, information structure and prosody, where each aspect is modeled largely independently on a separate dimension. The intersective demands of the dimensions make many complex linguistic phenomena such as extraction in syntax, scope ambiguities in the semantics, and control and raising in the syntax-semantics interface simply fall out as by-products without further stipulation. This thesis makes three main contributions: 1. The first formalization of XDG as a multigraph description language in higher order logic, and investigations of its expressivity and computational complexity. 2. The first implementation of XDG, the XDG Development Kit (XDK), an extensive grammar development environment built around a constraint parser for XDG. 3. The first application of XDG to natural language, modularly modeling a fragment of English. Kurzzusammenfassung Diese Dissertation entwickelt Extensible Dependency Grammar (XDG), einen neuen Grammatikformalismus, der Dependenzgrammatik, modelltheoretische Syntax und die Parallele Grammatik-Architektur von Jackendoff miteinander kombiniert. Das Design von XDG ist vollstandig auf Modularitat ausgerichtet: Grammatiken konnen modular durch jeden beliebigen linguistischen Aspekt erweitert werden, z.B. grammatische Funktionen, Wortstellung, Pradikat-Argument Struktur, Skopus, Informationsstruktur und Prosodie, wobei jeder Aspekt grostenteils unabhangig auf einer separaten Dimension modelliert wird. Durch das Zusammenspiel der einzelnen Dimensionen fallen viele complex linguistische Phanomene wie Extraktion in der Syntax, Skopusambiguitaten in der Semantik, und Kontrolle und Anhebung in der Syntax-Semantik-Schnittstelle einfach als Nebenprodukte heraus, ohne dass sie explizit beschrieben werden mussten. Die Dissertation enthalt drei Hauptbeitrage: 1. Die erste Formalisierung von XDG, realisiert als Multigraph-Beschreibungssprache in hoherstufiger Logik, und Untersuchungen ihrer Ausdrucksstarke und ihrer computationalen Komplexitat. 2. Die erste Implementierung von XDG, das XDG Development Kit (XDK), eine umfangreiche Grammatik-Entwicklungsumgebung, die um einen Constraintparser fur XDG herum gebaut ist. 3. Die erste Anwendung von XDG auf naturliche Sprache, die ein Fragments des Englischen auf modulare Art und Weise beschreibt. Ausfuhrliche Zusammenfassung In dieser Arbeit entwickeln wir den Grammatikformalismus Extensible Dependency Grammar (XDG) als Kombination von Dependenzgrammatik, modelltheoretischer Syntax and Jackendoffs Paralleler Grammatik-Architektur. Die Kombination ergibt ein neuartiges, radikal modulares Design, das es erlaubt, beliebige linguistische Aspekte zwar innerhalb desselben Formalismus, jedoch weitestgehend unabhangig voneinander auf sogenannten Dimensionen beschreiben zu konnen. Das erleichtert die Modellierung von linguistischen Phanomenen, da immer nur einzelne Aspekte wie z.B. die grammatischen Funktionen, Wortstellung oder Pradikat-Argument-Struktur, und nicht alle Aspekte gleichzeitig berucksichtigt werden mussen. Zum Beispiel ist Wortstellung im Gegensatz zu den grammatischen Funktionen fur die Modellierung der Pradikat-Argument-Struktur meist unerheblich, musste jedoch in bisherigen Ansatzen oft trotzdem bei der Modellierung der Syntax-Semantik-Schnittstelle miteinbezogen werden. In XDG lassen sich beide Aspekte hingegen komplett voneinander abkoppeln. Bei dieser modularen Herangehensweise fallen viele sonst problematische linguistische Phanomene wie Extraktion, Skopusambiguitaten und Kontrolle und Raising dann einfach als Nebenprodukte heraus, ohne dass sie explizit beschrieben werden mussten. Diese Dissertation leistet drei Beitrage, um zu zeigen, dass XDG nicht nur eine abstrakte Idee ist, sondern auch konkret realisiert werden kann: die erste Formalisierung von XDG als Beschreibungssprache fur Multigraphen in hoherstufiger Logik, die erste Implementierung von XDG innerhalb eines umfangreichen Grammatikentwicklungssystems, und die erste Anwendung dieses Systems auf naturliche Sprache. Die Formalisierung von XDG entwickeln wir in Teil I, und zeigen dort, wie sich die Kernkonzepte der Dependenzgrammatik, z.B. Lexikalisierung, Valenz und Ordnung, in XDG realisieren lassen. Das ermoglicht uns dann, erste Untersuchungen der Ausdrucksstarke und der computationalen Komplexitat von XDG anzustellen. Wir beweisen, dass XDG mindestens so ausdrucksstark ist wie kontextfreie Grammatik, und zeigen daruber hinaus, dass nichtkontextfreie Sprachen wie anbncn oder linguistische Benchmarks wie uberkreuzende Dependenzen und Scrambling ebenfalls elegant modelliert werden konnen. Der Preis fur diese Ausdrucksstarke wird im Folgenden sichtbar, wenn wir beweisen, dass das XDG-Erkennungsproblem NP-hart ist. Trotz dieser hohen Komplexitat erzielt der in Teil II dieser Arbeit entwickelte XDG-Constraintparser fur kleinere, handgeschriebene Grammatiken erstaunlich gute Ergebnisse. Um den XDG-Parser herum bauen wir die komfortable Grammatikentwicklungsumgebung XDG Development Kit (XDK), die es erlaubt, bequem Grammatiken von Hand oder automatisch zu erstellen und zu testen. Das XDK ist eine unabdingbare Voraussetzung fur die Entwicklung der XDG-Grammatiktheorie, und wurde schon mehrfach erfolgreich in der Lehre eingesetzt. In Teil III entwickeln wir schrittweise eine Grammatik fur ein Fragment des Englischen, die sowohl Syntax, Semantik und Phonologie modelliert. Wir zeigen hier konkret, wie komplizierte Phanomene wie Extraktion (u.a. Pied Piping) in der Syntax, Skopus-Ambiguitaten in der Semantik, und Kontrolle und Raising in der Syntax-Semantik-Schnittstelle als Nebenprodukte aus der modularen Beschreibung herausfallen, ohne direkt beschrieben werden zu mussen. Acknowledgments First of all, I would like to thank my supervisor Gert Smolka for adopting me as his PhD student in the first place, and for all his suggestions and his patience. I would also like to thank my second supervisor Manfred Pinkal for his suggestions, and for bringing me up as a researcher in the very first place at the department of computational linguistics. From April 2002 until April 2005, the work on this thesis was funded by the International Post-Graduate College Language Technology and Cognitive Systems, a program of the Deutsche Forschungsgemeinschaft (DFG). I’d like to say thank you to the organizers Matthew Crocker, Sabine Schulte im Walde, Claudia Verburg, my supervisor in Edinburgh, Mark Steedman, and to my colleagues in the IGK and in Edinburgh, including (in alphabetical order) Colin Bannard, Markus Becker, Bettina Braun, Peter Dienes, Amit Dubey, Malte Gabsdil, Ciprian Gerstenberger, Kerstin Hadelich, Dominik Heckmann, Nikiforos Karamanis, Pia Knoferle, Michael Kruppa, Jochen Leidner, Dominika Oliver, Olga Ourioupina, Sebastian and Ulrike Pado, Oana Postolache, Andrew Smith, Tim Smith, Kristina Striegnitz, Maarika Traat and Victor Tron. From April 2005 until April 2006, this thesis was funded by the DFG as part of CHORUS project Sonderforschungsbereich 378 (SFB 378). In the CHORUS project, I had the opportunity to work together with Alexander Koller, Marco Kuhlmann and Stefan Thater, and earlier with Manuel Bodirsky, Katrin Erk and Markus Egg. During all these years, except for five months at the department of Informatics at the University of Edinburgh in 2003, my workplace was the Programming Systems Lab (PS-Lab) in Saarbrucken. Two former members of the PS-Lab, Denys Duchier and Joachim Niehren, were, before they left, the main advisers of my work. Denys was the one who laid the foundations for XDG in the late nineties. Joachim was always a fervent supporter of the project, and has supported me in all areas of scientific life. I would also like to thank the other members of the PS-Lab: Mathias Mohl, Andreas Rossberg, Jan Schwinghammer and Guido Tack, the former members Thorsten Brunklaus, Leif Kornstaedt, Didier Le Botlan, Tim Priesnitz, Lutz Strasburger and Gabor Szokoli, and our secretary Ann Van de Veire. I have also profited from the collaboration with members from the Computational Linguistics Department, including (in alphabetical order) Gerd Fliedner, Valia Kordoni, Christian Korthals, Andrea Kowalski, Christopher-John Rupp and Magdalena Wolska. And Geert-Jan Kruijff, who was always a helpful adviser with all his expertise in dependency grammar. I had the pleasure to visit Charles University in Prague, where I was invited to by Martin Platek and Vladislav Kubon. Ondrej Bojar then spent half a year in Saarbrucken in return and was a fantastic colleague. Thanks also for interesting conversations to Cem Bozsahin, Charles Fillmore, Joakim Nivre, Mark Pedersen and Gerold Schneider. And to Jorge Pelizzoni, Ray Jackendoff and Jerry Sadock for illuminating email exchanges about XDG and the parallel grammar architecture. Finally, meine liebste Simone, without your love, patience and support while I sat there writing and re-writing, writing and re-writing again, and without your encouragement as I lost belief in my abilities, I would have never made it. I promise I will never ever write a thesis again. For Sophie and Simone