Learning speech translation from interpretation

The basic objective of this thesis is to examine the extent to which automatic speech translation can benefit from an often available but ignored resource, namely human interpreter speech. The main contribution of this thesis is a novel approach to speech translation development, which makes use of that resource. The performance of the statistical models employed in modern speech translation systems depends heavily on the availability of vast amounts of training data. State-of-the-art systems are typically trained on: (1) hundreds, sometimes thousands of hours of manually transcribed speech audio; (2) bi-lingual, sentence-aligned text corpora of manual translations, often comprising tens of millions of words; and (3) monolingual text corpora, often comprising hundreds of millions of words. The acquisition of such enormous data resources is highly time-consuming and expensive, rendering the development of deployable speech translation systems prohibitive to all but a handful of economically or politically viable languages. As a consequence, speech translation development for a new language pair or domain is typically triggered by global events, e.g. disaster relief operations, that incur a major need for cross-lingual, verbal communication—justifying the high development costs. In such situations, where an urgent need for cross-lingual communication exists, but no automatic speech translation solutions are (yet) available, communication is achieved with the help of human interpreters. In this thesis, we introduce methods that exploit audio recordings of interpreter-mediated communication scenarios for speech translation system development. By employing unsupervised and lightly supervised training techniques, the introduced methods allow to omit most of the manual transcription effort and all of the manual translation effort that has typically characterized speech translation system development. Thus, we are able to significantly reduce the amount of time-consuming and costly human supervision that is attached to speech translation system development. Further contributions of this thesis include: (a) a lightly supervised acoustic model training scheme for recordings of European Parliament Plenary Sessions, supporting the development of ASR systems in the various languages of the European Union without the need of costly verbatim transcriptions; and (b) a sentence segmentation and punctuation recovery scheme for speech translation, addressing the mismatch between output of automatic speech recognition and machine translation training data. Zusammenfassung Die vorliegende Dissertation behandelt die Frage ob automatische Sprachubersetzung Nutzen aus Audioaufnahmen menschlicher Interpretationsszenarien ziehen kann. Im Kern der Arbeit werden Ansatze entwickelt, die es erlauben, die an der Sprachubersetzung beteiligten Komponenten, automatische Spracherkennung und maschinelle Ubersetzung, mit Hilfe solcher Audioaufnahmen zu trainieren. Diese Ansatze werden anhand eines realen Anwendungsszenarios entwickelt, welches menschliche Simultanubersetzung (Interpretation), manuelle Transkription und manuelle Ubersetzung im grosen Stil verlangt: Sitzungen des Europaparlaments und die mit diesen Sitzungen verbundenen, multi-lingualen Dokumente. Die entwickelten Ansatze erlauben es, Sprachubersetzung direkt auf Aufnahmen menschlicher Interpretationsszenarien zu trainieren und benotigen dabei nur geringe Mengen an zeitaufwendiger und kostspieliger menschlicher Uberwachung. Insbesondere wird nur ein geringer Teil der bisher fur Sprachubersetzung notwendingen manuell transkribierten Sprachaufnahmen benotigt und keine der ansonsten notwendigen manuell angefertigten Ubersetzungen. Des weiteren wird im Rahmen dieser Dissertation ein Verfahren eingefuhrt, welches das Trainieren von Spracherkennungssystemen in den verschiedenen Sprachen der Europaischen Union unterstutzt. Hierbei werden die frei zuganglichen Textund Audioressourcen des Europaparlaments ausgenutzt, um akustische Modelle ohne kostspielige, wortgetreue Transkriptionen zu trainieren. Die vorliegenede Arbeit untersucht des weiteren, wie die Kombination von Spracherkennung und maschineller Ubersetzung mit Hilfe einer automatischen Satzsegmentierung und einer automatischen Wiederherstellung von Satzzeichen verbessert werden kann. Appendix A beinhaltet eine Kurzfassung der Dissertation in deutscher Sprache.