Improvements in language and translation modeling

Virtually any modern speech recognition system relies on count-based language models. In this thesis, such models are investigated, and potential improvements are analyzed with respect to optimized discounting methods, where empirical count statistics are adjusted such that they better match unseen held-out data. Neural networks have recently emerged as a promising alternative to count-based approaches. This work introduces the recurrent long short-term memory neural network into the field of language modeling, and provides an in-depth comparison with other neural network technologies as well as count-based approaches. Due to the high computational complexity, neural network models are combined with several speed-up techniques. In thesis, novel approximations for direct word error minimization in lattice rescoring are proposed, too. Finally, long short-term memory neural network language models are generalized to the translation modeling problem of statistical machine translation. Two novel methods are presented, preserving word order of source and target language dependences. Both approaches allow the integration in state-of-the-art machine translation systems, complementing the improvements obtained by neural network language models. Zusammenfassung Nahezu alle modernen Spracherkennunssysteme bauen auf häufigkeitsbasierten Sprachmodellen auf. In dieser Dissertation werden diese Modelle untersucht und die möglichen Verbesserungen mit Hilfe von Discounting-Methoden analysiert, wobei empirische Häufigkeiten so angepasst werden, dass sie denjenigen von ungesehenen Daten besser entsprechen. In letzter Zeit sind Neuronale Netze als vielversprechende Alternative zu häufigkeitsbasierten Sprachmodellen hinzugekommen. Diese Arbeit führt rekurrente Long-Short-TermMemory-Neuronale-Netze in die Sprachmodellierung ein und stellt einen detaillierten Vergleich zwischen anderen Neuronale-Netze-Ansätzen sowie den häufigkeitsbasierten Sprachmodellen vor. Wegen der hohen Rechenanforderungen werden neuronale Netze mit verschiedenen Beschleunigungstechniken kombiniert. Außerdem werden in dieser Dissertation neue Approximationen zur direkten Minimierung der Wortfehlerrate auf Wortgraphen vorgestellt. Darüber hinaus werden Long-Short-Term-Memory-Neuronale-Netze-Sprachmodelle verallgemeinert auf das Problem der Übersetzungsmodellierung aus der statistischen maschinellen Übersetzung. Zwei neue Methoden werden eingeführt, die die Reihenfolge der Wortabhängigkeiten in Quellund Zielsprache beibehalten. Beide Ansätze lassen sich in aktuelle Übersetzungssysteme integrieren und ergänzen damit die Verbesserungen, die mit NeuronaleNetze-Sprachmodellen erzielt werden können.