A set of successive approximation methods for discounted Markovian decision problems

SummaryA method of successive approximations for discountedMarkovian decision problems is described byMacQueen [1966]. This paper presents a set of methods includingMacQueen's improved version of the standard dynamic programming iterative scheme. While furthermore, by the fact that we used a somewhat different approach, the physical meaning of some aspects of the successive approximation methods will probably be more transparent. Some numerical results will be given.ZusammenfassungFür diskontierteMarkoff-Entscheidungsprozesse hatMacQueen [1966] eine Methode der sukzessiven Annäherung beschrieben. Die vorliegende Arbeit stellt einen Satz von Methoden vor, derMacQueens verbesserte Version des iterativen Schemas der klassischen Dynamischen Programmierung enthält. Darüber hinaus wird über den hier gewählten unterschiedlichen Ansatz versucht, die praktische Bedeutung einiger Aspekte der Methode der sukzessiven Annäherung transparenter zu machen. Einige numerische Beispiele werden vorgestellt.