Требуется найти такие $a_0, a_1$, что $f(x)$ приближается к данным $D$ наилучшим образом.
Наилучшим решением является минимакс: \begin{equation*} \min_{a_0, a_1} E_{\infty}(a_0, a_1) = \min_{a_0, a_1} \max_{1 \leq i \leq n} |y_i - f(x_i)|, \end{equation*} Аналитическое решение тяжело получить даже для линейной функции.Cтрока матрицы $\boldsymbol{X}$ хранит в себе одну многомерную точку данных: \begin{equation*} \boldsymbol{X} = \begin{bmatrix} 1 & x_1^{(1)} & \dots & x_n^{(1)} \\ 1 & x_1^{(2)} & \dots & x_n^{(2)} \\ \vdots & \vdots & \dots & \vdots \\ 1 & x_1^{(m)} & \dots & x_n^{(m)} \\ \end{bmatrix}, \end{equation*} где первый столбец является столбцом единиц.
Рассмотрим аппроксимирующую функцию $f: \mathbb{R}^n \rightarrow \mathbb{R}$: \begin{equation*} f(\boldsymbol{a}; \boldsymbol{x}) = \sum_{i=0}^n a_i \phi_i(\boldsymbol{x}), \end{equation*} где $\boldsymbol{x} \in \mathbb{R}^l$, $\phi_0(\boldsymbol{x}) = 1$ и $\phi_i(\boldsymbol{x}), i = 1, \dots, n$ – базисные функции.
Тогда метод наименьших квадратов сводится к задаче минимизации: \begin{equation*} \min_{\boldsymbol{a}} E_2(\boldsymbol{a}) = \min_{\boldsymbol{a}} \left(\boldsymbol{y} - \boldsymbol{X}\boldsymbol{a}\right)^T \left(\boldsymbol{y} - \boldsymbol{X}\boldsymbol{a}\right), \end{equation*} где матрица $\boldsymbol{X} \in \mathbb{R}^{m \times (n+1)}$ определена как: \begin{equation*} \boldsymbol{X} = \begin{bmatrix} 1 & \phi_1(\boldsymbol{x}^{(1)}) & \dots & \phi_n(\boldsymbol{x}^{(1)}) \\ 1 & \phi_1(\boldsymbol{x}^{(2)}) & \dots & \phi_n(\boldsymbol{x}^{(2)}) \\ \vdots & \vdots & \dots & \vdots \\ 1 & \phi_1(\boldsymbol{x}^{(m)}) & \dots & \phi_n(\boldsymbol{x}^{(m)}) \\ \end{bmatrix}, \end{equation*} где $\boldsymbol{x}^{(i)}, i = 1, \dots, m$ – дискретные многомерные данные, к которым приближается функция $f(\boldsymbol{a}; \boldsymbol{x})$.