利用通道剪枝技术的实时实例分割方法

随着实例分割技术在各种场景中的应用越来越广泛,运行速度和硬件资源占用是该技术在应用中需要考虑的2个重要因素。最近提出的基于图像原型掩码系数的实例分割网络(YOLACT)在运行速度方面做得很好,但是需要设置较大的特征提取网络才能保证分割精确度,这就导致了模型占用的硬件资源较多,同时运行速度也受到了限制。在YOLACT的基础上,提出一种新的模型,对实例分割的特征提取网络进行了优化,先使用基于批量归一化层放缩因子的通道剪枝方法对YOLACT网络进行压缩,然后对压缩后的卷积层和批量归一化层进行融合,最后,在COCO val2017上对本文提出的方法进行了评估。实验结果表明,相比原始的YOLACT网络,该方法的模型文件大小可以减少56.9%,运行速度提升28.6%,运行时显存占用也降低了13.6%,有效地减少了硬件资源占用,并且提升了运行速度。

基于局部区域动态覆盖的3D点云分类方法

局部几何形状的描述能力,对不规则的点云形状表示是十分重要的.然而,现有的网络仍然很难有效地捕捉准确的局部形状信息.在点云中模拟深度可分离卷积计算方式,提出一种新型的动态覆盖卷积(dynamic cover convolution, DC-Conv),以聚合局部特征. DC-Conv的核心是空间覆盖算子(space cover operator, SCOP),该算子通过在局部区域中构建各向异性的空间几何体覆盖局部特征空间,以加强局部特征的紧凑性.DC-Conv通过在局部邻域中动态组合多个SCOP,实现局部形状的捕捉.其中,SCOP的注意力系数通过数据驱动的方式由点位置自适应地学习得到.在3D点云形状识别基准数据集ModelNet40, ModelNet10和ScanObjectNN上的实验结果表明,该方法能有效提高3D点云形状识别的性能和对稀疏点云的鲁棒性.最后,也提供了充分的消融实验验证该方法的有效性.开源代码发布在https://github.com/changshuowang/DC-CNN.

一种自适应模板更新的判别式KCF跟踪方法

为了解决单目标跟踪算法中存在的目标旋转、遮挡和快速运动等挑战,提出了一种基于自适应更新策略的判别式核相关滤波器(kernelized correlation filter,KCF)目标跟踪新框架。构建了外观判别式模型,实现跟踪质量有效性的评估。构造了新的自适应模板更新策略,能够有效区分目标跟踪异常时当前目标是否发生了旋转。提出了一种结合目标检测的跟踪新构架,能够进一步有效判别快速运动和遮挡状态。同时,针对上述3种挑战,分别采用模板更新、目标运动位移最小化以及目标检测算法实现目标跟踪框的恢复,保证了跟踪的有效性和长期性。实验分别采用2种传统手动特征HOG和CN(color names)验证提出的框架鲁棒性,结果证明了提出的目标跟踪新方法在速度和精度方面的优越性能。

面向小目标和遮挡目标检测的脑启发CIRA-DETR全推理方法

Facebook AI研究者2020年提出的Detection Transformer(DETR)目标检测方法采用简单的编码器-解码器结构,利用集合预测来解决物体检测问题,算法简单、通用、避免了很多手工设计和调参问题,吸引了学术界和产业界的广泛关注.然而,DETR方法对于输入特征的分辨率大小有限制,同时在检测推理过程中缺失相对位置信息,从而导致对小目标和被遮挡目标的检测性能较差.为解决这一问题,受脑认知启发,本文提出基于胶囊推理和残差增强的全推理目标检测网络(Capsule-Inferenced and Residual-Augmented Detection Transformers,CIRA_DETR).首先,建立层间残差信息增强模块,利用大小尺度的差异性对小尺度特征图进行信息增强,在小目标的检测效果上提升了1.8%.接着,为了更贴近人脑的思维方式,更好的建模神经网络中内部知识表示的分层关系,在Transformer的结果进行推理的过程中,引入胶囊推理模块挖掘实体信息,并利用双向注意力路由进行前向信息传递和后向信息的反馈,以此预测图像中目标的类别和位置信息,有效降低了遮挡下的目标检测问题的难度.最后,在目标信息的映射处理中,引入非线性超香肠映射函数,实现了灵活的超曲面构建,有效表达特征和目标类别以及位置之间的映射关系.在COCO数据集上的测试结果验证了CIRA_DETR模型的有效性,其在小目标、中目标和大目标的检测上,平均预测准确率分别达到了25.8%、48.7%和62.7%.本文小目标的检测性能可以和Faster-RCNN相媲美,同时可视化的结果以及性能指标也反映了,相比传统的DETR模型,本文CIRA_DETR模型在被遮挡目标检测上的优势.