语言引导的多粒度特征融合目标分割方法

语言引导的目标分割旨在将文本描述的目标与其所指代的实体进行匹配,从而实现对文本、实体之间关系的理解与指代目标的定位。该任务在信息抽取、文本分类、机器翻译等应用场景中具有重要的应用价值。基于Refvos模型提出一种语言引导的多粒度特征融合目标分割方法,能够对特定目标精准定位。利用Swin Transformer和Bert网络,分别提取多粒度的视觉特征和文本特征,提高对整体与细节的表征能力;将文本特征分别与不同粒度视觉特征进行融合,通过语言引导增强特定目标表达;通过卷积长短期记忆网络对多粒度融合特征进行优化,在不同粒度特征间进行信息交流,得到更精细化的分割结果。在UNC、UNC+、G-Ref、ReferIt数据集上进行训练并测试所提方法。实验结果表明:相比Refvos,所提方法在UNC数据集的val、testB子集中IoU结果分别提升0.92%、4.1%,在UNC+数据集的val、testA、testB子集中IoU结果分别提升1.83%、0.63%、1.75%。所提方法在G-Ref、ReferIt数据集的IoU结果分别为40.16%和64.37%,达到前沿水平,证明所提方法的有效性与先进性。

基于特征深层融合的吊装过程视频目标分割

吊装事故的频繁发生,对国家、社会、人民都造成了非常大的损害。根据吊装过程的视频信息,实现无人安全监控的关键是准确度和速度,提出了一种新的基于全局编码和非对称卷积的目标分割网络,研究视频图像的半监督目标分割问题。首先,将带有标签的视频图像输入网络,分别通过全局编码器与相似性编码器提取到互为补充的特征,从而获得对目标外观的有效表示;然后,通过非对称卷积将两个分支的特征进行深层融合;最后,采用残差上采样解码生成预测掩膜,实现对目标的分割。该方法在DAVIS2017数据集上的准确度为0.675,综合指标为0.708,帧率为31帧/s;在实验用吊装数据集上的准确度为0.952,综合指标为0.976,比基线方法高5.1%,帧率为26.16帧/s。与其他网络方法进行了实验比较,验证了分割算法在准确度与速度方面的有效性。

基于编码记忆网络的半监督视频目标分割方法

视频目标分割是计算机视觉中的一项关键任务,在自动驾驶、视频编码等领域具有重要意义。针对视频目标分割任务,提出使用一种高效的编码记忆网络(EMNet)实现半监督视频目标分割任务。该方法包含自适应参考帧选取模块、双路径匹配模块、特征处理模块以及特征聚合模块。自适应参考帧选取模块综合考虑掩码置信度和相似度,选择包含丰富信息的参考帧。双路径匹配模块实现查询帧和参考帧之间的双向和双尺度匹配,提高目标特征匹配准确率。特征处理模块分别包含语义强化模块和特征细化模块,通过低通和高通滤波增强目标的语义和细节信息。并由特征聚合模块对各特征进行融合利用。最后通过在DAVIS2017数据集上的评估,证明所提出模型的有效性。

基于交互式目标分割算法的影视后期抠像方法研究

快速准确地提取出视频中的目标物体是影视后期抠像的关键环节,因此研究基于交互式目标分割算法的影视后期抠像方法。采用优化后的三帧间差分法检测影视后期视频图像内的感兴趣区域(ROI),以CV模型为基础,结合形状先验引导进化思想构建交互式目标分割模型,将待分割图像的先验形状信息与图像内实际目标轮廓信息作为交互信息,在交互式目标分割模型内引入面积激励项,由此在影视后期视频图像内ROI区域内分割出目标。将分割出的图像目标与待替换背景视频图像合成,完成影视后期抠像。实验结果显示,该方法能够有效确定视频图像中的ROI区域,在模型迭代30次条件下即可获取高精度的目标分割结果,抠像过程中的图像轮廓收缩率均控制在0.45以下。

基于尺度注意知识迁移的自蒸馏目标分割方法

当前的目标分割模型难以兼顾分割性能与推断效率,为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先,构建了一个仅利用主干特征的目标分割网络作为推断网络,实现高效的前向推断过程。其次,提出了一种基于尺度注意知识的自蒸馏学习模型:一方面,设计了具有尺度注意机制的金字塔特征模块,利用尺度注意机制自适应地捕获不同语义水平的上下文信息,提取更具区分性的自蒸馏知识;另一方面,融合交叉熵、KL(Kullback-Leibler)散度和L2距离构造蒸馏损失,高效驱动蒸馏知识向分割网络迁移,提升泛化性能。该方法在COD(Camouflaged Object Detection)、DUT-O(Dalian University of Technology-OMRON)、SOC(Salient Objects in Clutter)等五个目标分割数据集上进行了验证:将所提推断网络作为基准网络,所提自蒸馏模型分割性能在Fβ指标上平均提升3.01%,比免教师(TF)自蒸馏模型增加了1.00%;所提网络与近期的残差分割网络(R2Net)相比,参数量减少了2.33×10^(6),推断帧率提升了2.53%,浮点运算量减少了40.50%,分割性能提升了0.51%。实验结果表明:所提方法能有效兼顾性能与效率,适用于计算和存储资源受限的应用场景。

外观融合运动感知的运动目标分割算法

现实场景中的运动目标分割旨在分割当前场景下的运动物体,对于许多计算机视觉应用有着至关重要的作用。现有的运动目标分割算法大多通过2D光流图中的运动信息来分割运动物体,然而,这些方法还存在一些问题。当运动物体在极面内运动或者其3D运动方向和背景一致时,很难通过光流图分割得到;另外,错误的光流预测也会影响分割的结果。为了解决以上问题,提出了不同的运动代价,以提升运动目标分割的正确率。针对和背景共线或共面运动的物体,设计均衡重投影代价和多角度光流对比代价,通过运动物体的2D光流与背景2D光流的差异来检测运动物体。针对自我运动退化,设计差异单应性代价。最后,提出了一种基于外观融合的运动感知结构,以分割各种场景下的运动物体。采用多模态共同注意力门控,更有效地捕获运动特征和外观特征的关系,以促进外观特征和运动特征更好地交互。此外,为了突出运动的物体,提出了多层运动注意力模块,以减少冗余的外观特征对结果的影响。实验结果表明,所提方法在KITTI,JNU-UISEE,KittiMoSeg和Davis-2016数据集上均能获得较优的运动目标分割结果。

融合视网膜运动感知的视频目标分割

视频目标分割容易受到目标快速运动、目标遮挡等情形的影响,因此高精度的视频目标分割是极具挑战性的任务。利用光流可以促进物体的分割,但运动边界附近区域的光流往往计算得不准确,从而间接影响了基于光流的视频目标分割性能的提升。为突破上述局限,结合生物视网膜大细胞通路模型所提取的运动轮廓信息,来辅助计算运动边界区域的光流,并与传统视频目标分割方法前景-背景分割结合,交替更新光流和分割。所提方法在公开数据集DAVIS-2016、SegTrack-v2、YouTube-Objects上的实验结果表明,该方法相比于基线方法其平均分割精度分别提升了2.2百分点、1.3百分点、1.9百分点。

一种融合注意力机制的无人机目标分割算法

由于低空空域无人机具有尺寸小、飞行灵活等特点,给视觉检测非法入侵无人机带来困难,提出一种融合注意力机制的低空无人机目标分割算法,命名为Rep-YOLACT(re-parameterization-you only look at coefficients network),首先采用RepVGG(rep visual geometry group)网络改进YOLACT网络中ResNet(residual network)主干,增强网络的特征提取能力,同时在主干特征提取网络输出的3个特征层后添加CBAM(convolutional block attention module)注意力模块,从而进一步高效利用特征层的信息.分别在FL-drones(flying drones dataset)数据集和MUD(multiscale unmanned aerial vehicle dataset)数据集上进行实验,结果表明,在FL-drones数据集上,所提出的Rep-YOLACT算法相比于YOLACT算法在掩膜AP(average precision)和掩膜AR(average recall)上分别提升了0.3%和11.7%,在MUD数据集上,所提出的Rep-YOLACT算法相比于YOLACT算法掩膜AP和预测框AR上提升了2.3%和5%,能够很好地完成无人机分割任务,其分割精度也高于其它主流分割算法.

基于多级特征融合的红外图像多目标分割研究

为解决采用单一特征分割红外图像多目标时,分割精度过低的问题,提出基于多级特征融合的红外图像多目标分割方法。分别提取红外图像的熵特征、对比度特征和梯度特征,采用并行加权特征融合方法融合所提取的红外图像的多级特征,构建红外图像的多级特征融合空间,设置红外图像的多级特征融合空间作为Mean-shift算法的遍历空间,对多级特征融合空间内的全部特征点实施均值漂移处理,获取红外图像多目标分割结果。实验结果表明,该方法可以利用所提取红外图像的多级特征,分割红外图像的多目标,红外图像多目标分割精度高达99.5%。

卫星视频中的单目标分割和跟踪

对于卫星视频图像中存在的目标与背景对比性低、缺乏目标特征信息等问题,提出一种结合目标运动信息、时空背景和外观模型的目标分割和跟踪方法.根据首帧定位得到目标区域,首先对目标使用方向梯度直方图方法提取特征利用核相关滤波器得到目标跟踪区域1;接着利用颜色空间特征建立目标与其周围区域上下文信息的空间模型得到目标跟踪区域2;然后利用视觉背景提取算法以像素为单位在目标区域上检测运动目标得到单目标的分割区域3;最后分别对3个区域进行相关计算得到最优区域作为最终目标跟踪位置和模板更新样本.实验结果表明,本文算法与KCF算法相比,跟踪的成功率和准确率有很大的提高,同时实现了单目标分割.

基于运动引导的高效无监督视频目标分割网络

大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation,UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先,RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.

基于多尺度域红外目标分割及特征点匹配的泡沫流速检测

为减少浮选气泡合并、破碎等变化对泡沫表面流动特征提取的影响,提出了一种非下采样剪切波变换(Nonsubsampled Shearlet Transform,NSST)域红外目标分割及改进加速鲁棒特征(Speeded Up Robust Features,SURF)匹配的泡沫表面流速检测方法。首先,对相邻两帧泡沫红外图像NSST分解,在多尺度域构建图割能量函数的边界、亮度、显著性约束项实现对合并、破碎气泡的分割;然后,对分割后的背景区域进行SURF特征点检测,通过统计扇形区域内的尺度相关系数确定特征点主方向,采用特征点邻域的多方向高频系数构造特征描述符;最后,对相邻两帧泡沫红外图像进行特征点匹配,根据匹配结果计算泡沫流速的大小、方向、加速度、无序度。实验结果表明,本文方法能有效分割出合并、破碎的气泡,具有较高的分割精度,提升了SURF算法的匹配精度,流速检测受气泡合并、破碎的影响小,检测精度和效率较现有方法有一定提升,能准确地表征不同工况下泡沫表面的流动特性,为后续的工况识别奠定基础。

一种融合运动特征嵌入的多目标分割跟踪算法

针对现有多目标跟踪算法中存在目标运动模糊和相互遮挡的难点,在单阶段和无锚框的实例分割框架下,提出了一种融合运动特征嵌入的多目标分割跟踪算法.首先,提取当前帧与前后两帧光流场中的运动信息对表观特征进行运动补偿,再利用特征金字塔网络融合含有运动信息的多尺度特征,提高了目标检测性能.其次,通过两个用于提升网络预测性能的损失函数的设计和使用,进一步减少了由于检测器失效和目标遮挡而导致的漏检.最后,关联网络提取目标的外观特征,并通过预测并关联的更新轨迹策略将可靠的跟踪结果合并至轨迹.实验结果表明,本文提出的算法在MOTS20训练集上跟踪准确度达到了66.0%,测试集上达到了63.1%,与同类算法相比,本文算法表现出更好的有效性.

基于通道注意力和边缘融合的伪装目标分割方法

伪装目标分割(COS)的目标是从背景中分离出隐藏的目标对象。近年来,基于卷积神经网络(CNN)的伪装目标检测(COD)发展迅速,然而仍存在无法从前/背景高度相似的场景中准确地检测出完整目标对象的问题。针对上述问题,提出一种基于通道注意力(CA)和边缘融合的COS方法CANet(Network based on Channel Attention and edge fusion),以得到伪装目标的边缘细节更清晰的完整分割结果。首先,引入压缩和激励(SE)注意力模块,以提取更丰富的高级语义特征;其次,提出一个边缘融合模块,抑制低级特征中的干扰,并充分利用图像的边缘细节信息;最后,设计了基于深度可分离卷积的通道注意力模块,以自上而下的方式逐步融合跨级的多尺度特征,进一步地提升检测精度和效率。在多个公开的COD数据集上的实验结果表明,相较于SINet(Search Identification Net)、TINet(Textureaware Interactive guidance Network)和C2FNet(Context-aware Cross-level Fusion Network)等8种主流的方法,CANet表现更佳,且能够获取到丰富的伪装目标内部及边缘细节信息,而且在具有挑战性的COD10K数据集上结构度量指标相较于SINet提升了2.6个百分点。CANet性能优越,适用于医学上检测与人体组织相似的病灶区域、军事领域检测隐蔽目标等相关领域。

基于金字塔知识的自蒸馏HRNet目标分割方法

知识蒸馏能有效地将教师网络的表征能力迁移到学生网络,无须改变网络结构即可提升网络的性能.因此,在性能优异的目标分割主干网HRNet(High-Resolution Net)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与浅层信息充分融合导致直接蒸馏难以实现的挑战,本文提出一种基于多尺度池化金字塔的结构化自蒸馏学习模型:在HRNet分支结构中引入多尺度池化金字塔表示模块,提升网络的知识表示和学习能力;构造“自上而下”和“一致性”两种蒸馏模式;融合交叉熵损失、KL(Kullback-Leibler)散度损失和结构化相似性损失进行自蒸馏学习.在四个包含显著性目标和伪装目标的分割数据集上的实验表明:本文模型在不增加资源开销的前提下,有效提升了网络的目标分割性能.

基于对抗域适应的红外舰船目标分割

为了提高红外舰船目标的分割准确率,提出一种基于对抗域适应的红外舰船目标分割方法,其中有标注的可见光舰船图像为源域,没有标注的红外舰船图像为目标域。为了解决两个域之间的风格差异问题,本文依次对源域的可见光图像进行灰度化和白化预处理,将其转换为具有目标域风格的图像。对于目标域的红外图像,使用去噪网络进行优化;接着,为了解决判别网络视野受限问题,设计基于空洞卷积的判别网络;最后,针对目标域预测图像置信度低问题,将目标域预测图像的信息熵加入到对抗损失中。在可见光和红外舰船图像组成的数据集上的实验结果高于现有方法,证明了本文方法的有效性。

基于COSNet的伪装目标分割

近年来,对伪装目标进行精准识别的军事需求不断加大,使得伪装目标分割(COS)技术应运而生。由于伪装目标与背景的融合度较高,COS比传统的目标分割难度更大。为更加精准地分割出伪装目标,构建完备的军用伪装目标数据集(MiCOD),并提出一种基于人类视觉系统的COS网络—COSNet。COSNet由特征提取模块、聚焦放大模块、多尺度特征图融合模块3部分组成。针对性设计的聚焦放大模块包含关键点聚焦模块和感受野放大模块,关键点聚焦模块通过模拟人类注意力高度集中的观察过程减少虚警率,而感受野放大模块通过仿生人类视觉感受野机制以增大观测范围、提升分割精度。损失函数方面,依据聚焦放大模块设计了更适用于伪装目标识别的关键点区域加权感知损失,以给予伪装目标更高的关注度。大量定量和定性实验结果表明:在自建数据集MiCOD上,与其他目标分割模型对比,COSNet在8个评价指标上均达到最优效果,分割精度明显提升;当模拟真实的战场环境时,COSNet平均灵敏度Sen mean为0.622,平均特异度Spe mean为0.670,漏检率和虚警率均低于其他算法。

深度信号引导学习混合变换器的高性能无监督视频目标分割

现存的无监督视频目标分割方法通常使用光流作为运动线索来提升模型性能.然而,光流的估计常存在误差,这将导致双流网络易对噪声过拟合.为此,本文提出一种基于混合变换器的无监督视频目标分割算法,通过引入深度信号引导变换器高效融合不同模态数据,以学习更加鲁棒的特征表达,从而减轻模型对噪声的过拟合.首先,设计一个新颖的混合注意力模块来获得全局感受野并对不同模态的特征进行充分交互,以增强特征的全局语义信息来提升模型的抗干扰能力.接着,为了进一步感知精细化的目标边缘,设计了一个局部-非局部语义增强模块,将局部语义的归纳偏置引入补充学习非局部语义特征,在提升模型抗干扰力的同时突出更精细化的目标区域.最后,增强后的特征输入变换器的解码器,预测得到高质量的分割结果 .与最先进的方法相比,本文所提算法在四个标准数据集上都获得了领先的性能,充分表明了本文所提方法的有效性.

基于深度学习网络的三维激光雷达弱小目标分割研究

为了提升三维激光雷达弱小目标分割的抗干扰性与实时性,有效提取三维激光雷达图像有用信息,设计了基于深度学习网络的三维激光雷达弱小目标分割方法。采集目标三维激光雷达图像,应用小波方法去除三维激光雷达图像噪声;从去噪后的图像中提取三维激光雷达图像多尺度特征,并将特征输入到深度学习网络中训练,建立三维激光雷达弱小目标分割模型,实现弱小目标分割。测试结果表明:该方法能够高精度分割三维激光雷达目标,且分割速度较快,具有较高的实际应用价值。

基于多尺度特征提取的红外图像多目标分割研究

红外图像由于分辨率过低,导致多目标分割效果较差,为此研究基于多尺度特征提取的红外图像多目标分割方法。通过子带分解多尺度Retinex算法利用增强处理红外图像;利用Linberg尺度空间理论构建增强处理红外图像的多尺度空间,通过二阶自相关矩阵提取红外图像特征点。依据所提取到的特征点,构建红外图像多目标分割聚类的目标函数,采用自适应的进化模糊聚类算法求解红外图像多目标分割聚类问题,实现红外图像多目标分割。实验结果表明,该方法可以有效分割红外图像中的多目标,红外图像分割的信息熵高于5,多目标分割效果较好。