作者调研自动放置目标到背景进行图像合成的问题。提供背景图、分割的目标，训练模型预测合理放置信息（位置及尺寸）。当前工作主要是生成候选框或者使用滑窗搜索，但是不能在背景图中建模局部信息。本文通过transformer学习目标特征与所有局部背景特征之间相关性。稀疏对比损失用于进一步训练模型。通过网络前向生成3D heatmap表明所有合理位置/尺度组合。训练时可以使用具体标注也可使用现有inpaint模型，已超过SOTA方法。用户研究表明训练的模型可泛化到真实图片。
提供一张背景
I
b
I_b
Ib及前景
I
o
I_o
Io，模型预测的3D热度图
H
H
H，
c
=
16
c=16
c=16，表示尺度值s，0.15-0.9，间隔0.05，每个空间位置与放置边界框的中心有关。
推理时，首先对
H
H
H归一化，寻找top-1或top-k候选框。
如图2，使用两个编码器学习背景和目标特征，为确定特定位置的目标尺寸是否合适，背景图中局部信息可提供细节信息，因此保留来自背景encoder中最后一个卷积层或transformer层的局部特征/token；对于前景相对简单，保留全局特征。
使用多层transformer学习目标全局特征与背景局部特征之间相关性，class token替换为目标全局特征，最后一层所有patch token送入上采样decoder；对于transformer降采样后的特征进行concat及reshape，而后经过4个卷积层进行上采样。
通过mask原始目标后进行修复，生成纯背景图，从而构造训练集。损失函数第一项Lcon如式1，
Top-k IOU：top k个候选框与真值框iou的最大值
Normalized Score：热度图归一化后，在真值处的得分应该相对高，因此计算NS均值以及NS高于一定阈值的百分比。
Regression表示直接预测真值框；
†Retrieval表示通过检索寻找合理位置；
Classifier表示通过分类器预测合成图是否合理，为检索方案的进一步扩充；
PlaceNet表示通过对抗训练预测框是否合理。
表1展示top-5 IOU评估结果，该方法远超过现有方法，同时速度也比较快；
图5表明模型未过拟合到LAMA修复区域。
图6展示几个有挑战性目标放入背景示例，本文所提方法效果更出色；
表5展示稀疏对比损失性能提升明显；
图7为可视化展示前景token与局部背景token之间attention；16个热度图展示不同尺度目标推荐不同位置；
TopNet通过transformer结合目标特征及局部背景特征，预测目标尺度及放置位置，超越现有SOTA方法，并且在真实图片具有泛化性。
[26] Lingzhi Zhang, Tarmily Wen, Jie Min, Jiancong Wang, David Han, and Jianbo Shi. Learning object placement by in- painting for compositional data augmentation. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow,UK, August 23–28, 2020, Proceedings, Part XIII 16, pages 566–581. Springer, 2020. 1, 2, 6, 7
[29] Sijie Zhu, Zhe Lin, Scott Cohen, Jason Kuen, Zhifei Zhang, and Chen Chen. Gala: Toward geometry-and- lighting-aware object search for compositing. arXiv preprint arXiv:2204.00125, 2022. 1, 2, 5, 6, 7
因篇幅问题不能全部显示，请点此查看更多更全内容