高斯牛顿法 | Gauss-Newton Method

1 非线性最小二乘

设残差函数 \(\mathbf{f}(x)\) 为非线性函数，对其进行一阶泰勒展开：
\(\mathbf{f}(\mathbf{x}+\Delta \mathbf{x}) \approx \boldsymbol{\ell}(\Delta \mathbf{x}) \equiv \mathbf{f}(\mathbf{x})+\mathbf{J} \Delta \mathbf{x}\tag{1}\)
其中 \(\mathbf{J}\) 表示是残差函数 \(\mathbf{f}(x)\) 的雅克比矩阵。
则我们使用最小二乘的损失函数近似为：
\(\begin{aligned}
F(\mathbf{x}+\Delta \mathbf{x}) \approx L(\Delta \mathbf{x}) & \equiv \frac{1}{2} \boldsymbol{\ell}(\Delta \mathbf{x})^{\top} \ell(\Delta \mathbf{x}) \\
&=\frac{1}{2} \mathbf{f}^{\top} \mathbf{f}+\Delta \mathbf{x}^{\top} \mathbf{J}^{\top} \mathbf{f}+\frac{1}{2} \Delta \mathbf{x}^{\top} \mathbf{J}^{\top} \mathbf{J} \Delta \mathbf{x} \\
&=F(\mathbf{x})+\Delta \mathbf{x}^{\top} \mathbf{J}^{\top} \mathbf{f}+\frac{1}{2} \Delta \mathbf{x}^{\top} \mathbf{J}^{\top} \mathbf{J} \Delta \mathbf{x}
\end{aligned}\tag{2}\)

2 Gauss-Newton 法

对公式 (2) 我们需要求最优的 \(\Delta \mathbf{x}\) 即：
\(\Delta \mathbf{x} \equiv \arg \min _{\Delta \mathbf{x}}\left\{L(\Delta \mathbf{x})\right\}\tag{3}\)
因此两边求偏导：
\(\frac{\partial L(\Delta \mathbf{x})}{\partial \Delta \mathbf{x}} = \mathbf{J}^{\top} \mathbf{f} + \mathbf{J}^{\top} \mathbf{J} \Delta \mathbf{x} = 0\tag{4}\)
得到：
\(\left(\mathbf{J}^{\top} \mathbf{J}\right) \Delta \mathbf{x}_{\mathbf{g n}}=-\mathbf{J}^{\top} \mathbf{f}\tag{5}\)
高斯牛顿法由于不需要求解二阶的海森矩阵而是用 \(\mathbf{J}^{\top} \mathbf{J}\) 近似，因此对比牛顿法计算量会更小一些。

参考文献

[1] 贺一家, 高翔, 崔华坤.《从零开始手写 VIO》讲座