CVPR 2020——FPConv: Learning Local Flattening for Point Convolution

论文：
源码：

Abstract

• FPConv，一种专为3D点云分析而设计的新颖表面样式卷积运算符。
• 与以前的方法不同，FPConv不需要转换为3D网格或图形之类的中间表示形式，而是可以直接处理点云的表面几何形状。
• 更具体地说，对于每个点，FPConv通过自动学习权重图以将周围的点柔和地投影到2D网格上来执行局部展平。
• 规则2D卷积因此可以用于有效的特征学习。
• FPConv可以轻松地集成到各种网络体系结构中，以执行3D对象分类和3D场景分割等任务，并可以与现有的体素类型卷积实现可比的性能。
• 实验表明FPConv可以作为体素卷积的补充，联合训练它们可以进一步提高总体性能，从而达到最新的结果。

（一） Introduction

• FPConv，这是一种针对点云的新卷积运算。它可以直接在几何局部表面上工作，而无需任何中间网格或图形表示。
• 以projection-interpolation的方式工作，但更为通用和隐含。
• 可以将投影和插值简化为单个权重图学习过程。
• FPConv并未投影到切线平面上进行卷积，而是学习了如何沿局部曲面分散每个点的卷积权重，这对各种输入数据更鲁棒，并大大提高了表面样式卷积的性能。
• 作为本地特征学习模块，FPConv可以与经典神经网络体系结构中的其他操作进一步集成，并可以处理各种分析任务。
• FPConv在相对平坦的区域表现更好，因此可以作为体素工作的补充，联合训练有助于将整体表现提升为最新成果。

主要贡献：

（二）FPConv

任务： 回顾沿点云表面卷积的定义，然后将其简化为离散设置下的权重学习问题。

2.1. Learn Local Flattening

符号:

• $p$ 是来自点云 P 的点。
• $F(p)$是定义在点上的标量函数。
• $F(p)$可以对来自中间网络层的信号进行编码，例如颜色，几何形状或特征。
• $N(p)$ 表示为以 $p$ 为中心的局部点云补丁，其中 N ( p ) = { q i = q i − p ∣ ∥ q i − p ∥ 2 < ρ , q i ∈ P } N(p)=\left \{q_{i}=q_{i}-p|\left \| q_{i}-p\right \|_{2}<\rho ,q_{i}\in P\right \} N(p)={qi​=qi​−p∣∥qi​−p∥2​<ρ,qi​∈P}，其中$\rho \in R$为所选半径。

Convolution on local surface:

为了使$F$围绕曲面卷积，首先将其扩展到连续曲面上的连续函数。引入一个带有连续信号$S(u)$的虚拟2D平面$S$以及将$N(p)$映射到S上的映射$\pi (\cdot )$。

$$S(\pi (q_i))=F(q_i)------(1)$$

$p$ 处的卷积定义为：

$$x(p)={\int }_S^{}c(u)S(u)du-----(2)$$

其中$c(u)$是卷积核。

下面描述如何将上述卷积公式化为权重学习问题：

Local flattening by learning projection weights:

$\pi (\cdot )$，$N(p)$将被映射为$S$中的分散点，因此用一种插值方法来估计全信号函数$S(u)$，如等式3所示：

$$S(u)=\sum _{i}w(u,\pi (q_i))S(\pi (q_i))----(3)$$

如果将 $S$ 离散为$M_w\times M_h$大小的网格平面。对于每个网格$S(v_j)$，其中 { 1 , 2 , . . . , M w × M h } \left \{1,2,...,M_{w}\times M_{h}\right \} {1,2,...,Mw​×Mh​}，可以从等式1和等式3中得出：

$$S(v_j)=\sum _{ji}F(q_i)----(4)$$

$$w_{ji}=w(v_j,\pi (q_i))$$

可以用近似离散的形式将等式2重写为：
$$x(p)={\int }_S^{}c(u)S(u)du=\sum _j{c}_j\sum _i{w}_{ji}F(q_i)=M_c\ast (W_f^T\times F(p))----(5)$$
$c_j$是离散卷积核权重，
$j$属于 { 1 , 2 , . . . , M w × M h } \left \{1,2,...,M_{w}\times M_{h}\right \} {1,2,...,Mw​×Mh​}，
$L=M_w\times M_h$，
$W_f\in R^{N\times L}$，
$W_f(i,j)=w(v_j,\pi (q_i))$
$F(p)=(F(q_1),...,F(q_N){)}^T\in R^{N\times C}$

可以看到投影和插值可以合并到一个权重矩阵$W_f$中，其仅取决于点位置，而不是中心点。

2.2. Implementation