Reliable updated residuals in hybrid Bi-CG methods

Many iterative methods for solving linear equationsAx=b aim for accurate approximations tox, and they do so by updating residuals iteratively. In finite precision arithmetic, these computed residuals may be inaccurate, that is, they may differ significantly from the (true) residuals that correspond to the computed approximations. In this paper we will propose variants on Neumaier's strategy, originally proposed for CGS, and explain its success. In particular, we will propose a more restrictive strategy for accumulating groups of updates for updating the residual and the approximation, and we will show that this may improve the accuracy significantly, while maintaining speed of convergence. This approach avoids restarts and allows for more reliable stopping criteria. We will discuss updating conditions and strategies that are efficient, lead to accurate residuals, and are easy to implement. For CGS and Bi-CG these strategies are particularly attractive, but they may also be used to improve Bi-CGSTAB, BiCGstab(l), as well as other methods.ZusammenfassungViele iterative Methoden zur Lösung linearer Gleichungssysteme berechnen die Iterierten über aufdatierte Residuen. In endlicher Arithmetik können diese Residuen sehr ungenau sein, d.h., sie können sich erheblich von den tatsächlichen unterscheiden. In dieser Arbeit stellen wir Varianten der Neumaier Strategie vor, die ursprünglich für das CGS-Verfahren vorgeschlagen wurde, und erklären deren Erfolge. Insbesondere werden wir eine Variante vorschlagen, bei der mehrere Aufdatierungsschritte zusammengefaßt werden. Wir zeigen, daß sich die Genauigkeit der berechneten Residuen dadurch erheblich verbessern läßt, ohne daß die Konvergenzgeschwindigkeit beeinträchtigt wird. Dieser Ansatz vermeidet Neustarts und ermöglicht zuverlässigere Abbruchkriterien. Wir diskutieren Aufdatierungsbedingungen und Strategien, die effizient und leicht zu implementieren sind. Diese Strategien führen zu genaueren Residuen und sind insbesondere für CGS und Bi-CG-aber auch für Bi-CGSTAB, BiCGstab(l) und andere Verfahren-sehr attraktiv.

[1]  Yousef Saad,et al.  A Flexible Inner-Outer Preconditioned GMRES Algorithm , 1993, SIAM J. Sci. Comput..

[2]  Roland W. Freund,et al.  An Implementation of the Look-Ahead Lanczos Algorithm for Non-Hermitian Matrices , 1993, SIAM J. Sci. Comput..

[3]  Henk A. van der Vorst,et al.  Approximate solutions and eigenvalue bounds from Krylov subspaces , 1995, Numer. Linear Algebra Appl..

[4]  U. Yang.  Preconditioned Conjugate Gradient-Like Methods for Nonsymmetric Linear Systems , 1992 .

[5]  Henk A. van der Vorst,et al.  Bi-CGSTAB: A Fast and Smoothly Converging Variant of Bi-CG for the Solution of Nonsymmetric Linear Systems , 1992, SIAM J. Sci. Comput..

[6]  Y. Saad,et al.  GMRES: a generalized minimal residual algorithm for solving nonsymmetric linear systems , 1986 .

[7]  A. Greenbaum.  Estimating the Attainable Accuracy of Recursively Computed Residual Methods , 1997, SIAM J. Matrix Anal. Appl..

[8]  P. Sonneveld.  CGS, A Fast Lanczos-Type Solver for Nonsymmetric Linear systems , 1989 .

[9]  R. Freund,et al.  QMR: a quasi-minimal residual method for non-Hermitian linear systems , 1991 .

[10]  Homer F. Walker,et al.  Residual Smoothing Techniques for Iterative Methods , 1994, SIAM J. Sci. Comput..

[11]  L. Trefethen,et al.  Numerical linear algebra , 1997 .

[12]  G. Golub,et al.  Gmres: a Generalized Minimum Residual Algorithm for Solving , 2022 .

[13]  Zhaojun Bai,et al.  Error analysis of the Lanczos algorithm for the nonsymmetric eigenvalue problem , 1994 .

[14]  Roland W. Freund,et al.  A Transpose-Free Quasi-Minimal Residual Algorithm for Non-Hermitian Linear Systems , 1993, SIAM J. Sci. Comput..

[15]  H. V. D. Vorst,et al.  Generalized conjugate gradient squared , 1996 .

[16]  R. Fletcher.  Conjugate gradient methods for indefinite systems , 1976 .

[17]  C. Paige.  Accuracy and effectiveness of the Lanczos algorithm for the symmetric eigenproblem , 1980 .

[18]  D. R. Fokkema,et al.  BiCGstab(ell) for Linear Equations involving Unsymmetric Matrices with Complex Spectrum , 1993 .

[19]  C. Lanczos.  Solution of Systems of Linear Equations by Minimized Iterations1 , 1952 .

[20]  A. Greenbaum.  Behavior of slightly perturbed Lanczos and conjugate-gradient recurrences , 1989 .

[21]  Gerard L. G. Sleijpen,et al.  BiCGstab(l) and other hybrid Bi-CG methods , 1994, Numerical Algorithms.

[22]  Gerard L. G. Sleijpen,et al.  Maintaining convergence properties of BiCGstab methods in finite precision arithmetic , 1995, Numerical Algorithms.