Итерационные методы могут быть построены из задачи минимизации вектора невязки:
\begin{equation*}
\boldsymbol{x^*} = \argmin_{\boldsymbol{x}} \boldsymbol{r}^T \boldsymbol{r} = \argmin_{\boldsymbol{x}} (\boldsymbol{b} - \boldsymbol{A}\boldsymbol{x})^T (\boldsymbol{b} - \boldsymbol{A}\boldsymbol{x}).
\end{equation*}
Рассмотрим:
- положительно определенную матрицу $\boldsymbol{A} \in \mathbb{R}^{n \times n}$;
- решение $\boldsymbol{x^*}$ СЛАУ $\boldsymbol{A} \boldsymbol{x^*} = \boldsymbol{b}$.
Для симметричной матрицы $\boldsymbol{A}$ верным является утверждение:
\begin{equation*}
\langle \boldsymbol{A} \boldsymbol{x}, \boldsymbol{y} \rangle = \langle \boldsymbol{x}, \boldsymbol{A} \boldsymbol{y} \rangle,
\end{equation*}
где $\langle \cdot, \cdot \rangle$ – скалярное произведение векторов,
$\boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^n$ – произвольные вектора.