Sensitivity-analysis in discounted Markovian decision problems

SummaryThis paper deals with a finite-state, finiteaction discrete-time Markov decision model. A linear programming procedure is developed for the computation of optimal policies over the entire range of the discount factor. Furthermore, a procedure is presented for the computation of a Blackwell optimal policy.ZusammenfassungDiese Arbeit befaßt sich mit diskreten Markoffschen Entscheidungsmodellen mit endlichen Zustands- und Aktionsräumen. Ein lineares Programm wird entwickelt für die Berechnung von optimalen Politiken über den ganzen Bereich des Diskontierungsfaktors. Anschließend wird ein Verfahren angegeben für die Bestimmung einer Blackwell-optimalen Politik.