基于多特征融合的自监督图像配准算法

为保证提取特征的信息量丰富,当前基于深度学习的图像配准算法通常采用深层卷积神经网络,模型的计算复杂度高,而且还存在相似特征点区分度低的问题。针对上述问题,提出一种基于多特征融合的自监督图像配准算法(SIRA-MFF)。首先,使用浅层卷积神经网络提取图像特征,降低计算复杂度,并且通过在特征提取层添加特征点方向描述符,弥补浅层网络特征信息量单一的问题;其次,在特征提取层后添加用于扩大特征点感受野的嵌入与交互层,融合特征点局部和全局信息以提升相似特征点区分度;最终,最佳匹配方案由改进的特征匹配层计算得到,并同步设计了一种基于交叉熵的损失函数用于模型训练。在ILSVRC2012数据集生成的2个测试集中,SIRA-MFF的平均匹配准确率(AMA)分别为95.18%和93.26%,优于对比算法;在IMC-PT-SparseGM-50测试集中,SIRA-MFF的AMA为89.69%,也优于对比算法,且与ResMtch算法相比,单张图像运算时间降低了49.45%。实验结果表明,SIRAMFF具有较高精度和较强的鲁棒性。

针对遮挡物体的轮廓细化实例分割

目的 遮挡物体实例分割效果的好坏与物体轮廓的预测结果息息相关,但目前算法预测的物体轮廓并不够细化,使得分割掩膜粗糙,物体边界分割效果不佳。为此,以BCNet(bilayer convolutional network)网络为基础,提出一种针对遮挡物体的轮廓细化实例分割算法,预测的物体轮廓更加精细,分割掩膜更加完整。方法 1)提出一种均衡池化注意力模块来提取特征,在传统一维平均池化的基础上,增加一维最大池化操作以突出细节特征,并将最大池化和平均池化结果进行加权融合来提取特征,使提取的特征能更好地兼顾物体的整体和边缘细节;2)将BCNet掩膜头中轮廓预测与掩膜预测分成两个支路来进行,从特征金字塔最高分辨率特征中提取感兴趣区域(region of interest, RoI)特征用于轮廓预测,并提出一种自适应特征融合模块,将轮廓预测支路中的特征与掩膜预测支路的特征进行融合,在轮廓预测支路中,融合掩膜预测支路的特征可以更好地判定轮廓所属物体类别,在掩膜预测支路,融合轮廓预测支路的特征能够更好地辅助掩膜定位。结果 在COCO 2017(common objects in context 2017)数据集上,本文相较于目前同类网络中性能最优的BCNet网络,在骨干网络为ResNet-50/101(deep residual network)时平均精度(average precision,AP)分别提高了1.7%和2.1%。结合可视化结果,本文分割算法对遮挡物体的轮廓分割更加精细,能有效分割出更加完整、精细的掩码。结论 提出的针对遮挡物体的轮廓细化实例分割算法,明显提升了遮挡物体实例分割的效果。