Deep Learning for Reinforcement Learning in Pacman Deep Learning für Reinforcement Learning in Pacman

The curse of dimensionality is a common problem for numerous machine learning methods when they are confronted with high-dimensional data. In order to deal with this problem a popular approach is the introduction of features vectors as a high-level abstraction of the input data. Designing task-specific features by hand is often very challenging and not very cost-efficient since a set of features that provides a good representation of the data for a task is usually worthless for all other tasks. Therefore, automatic feature learning is desirable. An interesting and successful approach for processing high-dimensional data hierarchically, that goes by the name of deep learning, was introduced in 2006 and has gained a lot of popularity since then. In this thesis, the applicability of the combination of deep learning and reinforcement learning is analysed on the task of learning to play the game Pacman. In order to achieve this, initially a feature representation of observations of Pacman game states is learned using a deep learning method. This feature representation is subsequently used to approximate the value functions of two reinforcement learning algorithms, Qlearning and least-squares policy iteration. While Q-learning yielded disappointing experimental results, the learning performance when using the least-squares policy iteration algorithm shows that deep learning can indeed be successfully used to learn features for reinforcement learning methods. Zusammenfassung Der exponentielle Anstieg der Größe des Zustandsraums ist ein häufiges Problem für viele Methoden des maschinellen Lernens, wenn mit hochdimensionalen Daten gearbeitet wird. Als Lösungsansatz für dieses Problem werden häufig Merkmalsvektoren eingeführt, die eine Abstraktion der Eingangsdaten auf hoher Ebene bilden. Diese charakterisierenden Merkmale für jede neue Aufgabe von Hand zu konzipieren erweist sich häufig als schwierig und ist zudem nicht sehr kosteneffizient, da ein Merkmalsvektor, der für die Daten einer Aufgabe eine sehr gute Repräsentation liefert, in der Regel für alle anderen Aufgaben nutzlos ist. Aus diesem Grund ist das automatische Lernen von Merkmalen wünschenswert. Ein interessanter und erfolgreicher Ansatz um hochdimensionalie Daten hierarchisch zu verarbeiten, der Tiefes Lernen genannt wird, wurde 2006 eingeführt und wird seitdem immer populärer. In dieser Thesis wird die Eignung der Kombination aus Tiefem Lernen und Verstärkendem Lernen analysiert indem versucht wird, das Spiel Pacman zu lernen. Um dies durchzuführen wird zunächst ein Merkmalsvektor, der Beobachtungen von Zuständen des Pacman-Spiels repräsentieren soll, mithilfe einer Methode des Tiefen Lernerns konstruiert. Dieser Merkmalsvektor wird daraufhin verwendet um die Wertefunktionen von zwei Algorithmen des Bestärkenden Lernens, Q-learning und least-squares policy iteration, zu approximieren. Während Q-learning enttäuschende Resultate Versuchsergebnisse einbrachte zeigt das Abschneiden des least-squares policy iteration Algorithmus, dass Tiefes Lernen tatsächlich erfolgreich angewendet werden kann, um automatisch Merkmalsvektoren für Methoden des Bestärkenden Lernens zu erstellen.