平面扫描 | Plane Sweeping

1 算法原理

平面扫描 (Plane Sweeping) 算法基于如下基本假设：假设空间依据深度划分成无数平面，对于某一深度 d 的平面上某一点 p 如果其投影到各个相机视角的颜色值均相同，那么该深度有很大概率就是该点的真实深度（位于物体表面上）；反之如果颜色值不同，则该深度很大概率不是该点的真实深度（不在物体表面上）。

2 算法流程

2.1 变量定义

已知参考帧 I_{\text{ref}} （可视为坐标系原点）和对应的 N 个关键帧 I_k=I_1 \ldots I_n，以及 N 个相机投影矩阵为：
\begin{equation}P_k=K_k\left[R_k^T-R_k^T t_k\right] \text { with } k=1, \ldots, N\end{equation}
其中 K_k]、[latex]R_k 和 t_k 分别代表内参矩阵、旋转矩阵和平移向量。

相对于参考帧在距离区间 \left[d_{\text {near }}, d_{\text {far }}\right] 划分的 M 个相机平面为：
\begin{equation}\Pi_m=\left[n_m^T-d_m\right] \text { for } m=1, \ldots, M\end{equation}
其中 n_m 和 d_m 分别代表单位法线（注意各个平面不一定平行，如果是平行划分的平面法向为 n_m^T=\left[\begin{array}{lll}0 & 0 & 1\end{array}\right]）和相机光心到平面的距离。

2.2 单应变换

根据单应变换性质，平面 \Pi_m 上一点 X_{\Pi} 在相机 C 和 C^{\prime} 上的齐次坐标分别为 \mathbf{x}=\begin{bmatrix}x\\y\\1\end{bmatrix} 和 \mathbf{x^{\prime }}=\begin{bmatrix}x^{\prime }\\y^{\prime }\\1\end{bmatrix}，二者满足如下单应变换关系：
\begin{equation}\mathbf{x^{\prime} }=H\mathbf{x}\end{equation}
在参考图像 I_{ref} 投影单应矩阵为：
\begin{equation}H_{\Pi_m, P_k}=K_k\left(R_k^T+\frac{R_k^T C_k n_m^T}{d_m}\right) K_{r e f}^{-1}\end{equation}
具体推导可以参见 单应变换 (Homography)。

因此得到：
\begin{equation}\left[\begin{array}{lll}\tilde{x} & \tilde{y} & \tilde{w}\end{array}\right]^T=H_{\Pi_m, P_k}\left[\begin{array}{lll}x & y & 1\end{array}\right]^T\end{equation}
其中 \left[\begin{array}{lll}\tilde{x} & \tilde{y} & \tilde{w}\end{array}\right]

2.3 Cost Function

有了同一个点在 N 个不同平面上投影回来的对应关系，我们可以设计一个代价函数来进行优化。考虑到单个像素的不稳定性，通常我们使用一个以 \left(x, y\right) 为中心的 W \times W 窗口内的像素块来定义代价（当然除此以外也可以使用类似 ZNCC 之类的公式）：
\begin{equation}\begin{aligned}C\left(x, y, \Pi_k\right) &=\sum_{k=0}^{N-1} \sum_{(i, j) \in W} \mid I_{r e f}(x-i, y-j) \\&-\beta_k^{r e f} I_k\left(x_k-i, y_k-j\right) \mid,\end{aligned}\end{equation}

其中 \left(x_k, y_k\right) 由上面公式获得，\beta_k^{r e f} 表示增益因子与光照有关。

有了以上代价函数，一个像素点所对应的最佳的平面就是：
\begin{equation}\tilde{\Pi}(x, y)=\underset{\Pi_m}{\operatorname{argmin}} C\left(x, y, \Pi_m\right) .\end{equation}

这里使用的是 Winner-Take-All 的策略。有了对应平面后，该点的深度按照以下公式计算：
\begin{equation}Z_m(x, y)=\frac{-d_m}{[x, y \quad 1] K_{r e f}^{-T} n_m}\end{equation}

参考文献

[1] Multi-Resolution Real-Time Stereo on Commodity Graphics Hardware
[2] Real-time Plane-sweeping Stereo with Multiple Sweeping Directions
[3] Accurate Multiple View 3D Reconstruction Using Patch-Based Stereo for Large-Scale Scenes
[4] Image-Based Rendering using Plane-Sweeping Modelisation
[5] https://blog.csdn.net/xuangenihao/article/details/81392684
[6] https://blog.csdn.net/heyijia0327/article/details/53782094