A Subspace Study on Conjugate Gradient Algorithms

In dieser Arbeit analysieren wir Techniken zur Berechnung einer Suchrichtung durch die Minimierung des quadratischen Naherungsmodells in dem vom aktuellen Gradienten und der vorangegangenen Suchrichtung aufgespannten zweidimensionalen Unterraum. Die klassischen konjugierten Gradientenmethoden sind dabei nur Spezialfalle mit quadratischer Zielfunktion und exakten Kantensuchverfahren. Basierend auf unseren Analysen fur den Fall nicht exakter Kantensuchverfahren konstruieren wir neue Algorithmen vom Typ der Verfahren der konjugierten Richtungen. In this paper, we analyse techniques of computing a search direction by minimizing the approximate quadratic model in the 2 dimensional subspace spanned by the current gradient and the last search direction. The classical conjugate gradient methods are only the special cases where the objective function is quadratic and line searches are exact. Based on our analyses on the case where line searches are not exact, we construct new conjugate direction type algorithms.