可变形卷积 | Deformable Convolutional Networks, DCN

1 定义

可变形卷积 (Deformable Convolutional Networks, DCN) 的主要目的是学习动态感受野。它在卷积采样层上，添加了位移变量，这个变量根据数据的情况学习偏移后，从而改变了感受野的范围。
公式化表述可以理解为，原始卷积为：
\(\mathbf{y}(\mathbf{p})=\sum_{\mathbf{p}_{n} \in \mathcal{R}} \mathbf{w}\left(\mathbf{p}_{n}\right) \cdot \mathbf{x}\left(\mathbf{p}+\mathbf{p}_{n}\right)\tag{1}\)
其中 \(\mathbf{p}\) 代表卷积的中心点坐标，\(\mathbf{p}_{n}\) 代表卷积 \(\mathcal{R}\) 范围内的偏移量，\(\mathbf{x}(\cdot)\) 表示取该点的像素值。而 DCN 就是在此基础上再加上一个 offset 预测 \(\Delta p\) 以及 feature 权重 \(\Delta m\)：
\(
\mathbf{y}(\mathbf{p})=\sum_{\mathbf{p}_{n} \in \mathcal{R}} \mathbf{w}\left(\mathbf{p}_{n}\right) \cdot \mathbf{x}\left(\mathbf{p}+\mathbf{p}_{n}+\Delta \mathbf{p}_{n}\right) \cdot \Delta \mathbf{m}_{n}\tag{2}\)
其中由于 \(\Delta p\) 一般都是浮点数，所以实际实现会用到双线性插值的方式。

如下图所述为卷积、可变形卷积以及可变形卷积的两个特例。

参考文献

[1] Deformable Convolutional Networks
[2] ASLFeat: Learning Local Features of Accurate Shape and Localization