基于距离谱回归的全景分割方法

全景分割旨在同时预测图像中每一个像素的语义标签和实例标签,是目前场景解析研究的难点和热点之一。针对现有的全景分割方法采用检测策略提取每个实例区域,无法有效解决实例遮挡的难题,提出一种基于距离谱的深度卷积全景分割模型。不同于现有的基于检测策略的全景分割方法,该模型利用前景像素点与边缘的距离关系构建最大距离和最小距离向量,在存在遮挡的情况下能够有效地刻画出同一实例不同区域的相对关系,从而缓解遮挡问题。为了有效预测最大距离谱和最小距离离谱,提出了一种基于卷积网络的距离谱回归模块。同时,为充分利用距离谱的实例表示优势,设计了2种由距离谱生成实例分割结果的方法。在Cityscapes数据集上进行了大量实验,实验结果表明,全景质量PQ达到了理想效果,本文方法有效。

一种结合全局和局部相似性的小样本分割方法

针对小样本分割中如何提取支持图像和查询图像共性信息的问题,提出一种新的小样本分割模型,同时结合了全局相似性和局部相似性,实现了更具泛化能力的小样本分割。具体地,根据支持图像和查询图像全局特征和局部特征之间的相似性,提出了一种新型注意力谱生成器,进而实现查询图像的注意力谱生成和区域分割。所提注意力谱生成器包含2个级联模块:全局引导器和局部引导器。在全局引导器中,提出了一种新的基于指数函数的全局相似性度量,对查询图像特征和支持图像的全局特征进行关系建模,输出前景增强的查询图像特征。在局部引导器中,通过引入局部关系矩阵对支持图像特征和查询图像特征之间的局部相似性进行建模,得到与类别无关的注意力谱。在Pascal-5i数据集上做了大量的实验,在1-shot设定下mIoU达到了59.9%,5-shot设定下mIoU达到了61.9%,均优于现有方法。

基于镜头分割与空域注意力模型的视频广告分类方法

随着视频广告在检索和用户推荐等领域的广泛应用,视频广告的分类成为一个重要问题。与现有视频分类任务不同,视频广告有其自身的特点:1)在时域上,产品对象在广告视频中的出现具有非周期性和稀疏性的特点,这使得分类任务需要排除大量与视频类别不相关的视频帧的干扰,利用少数相关视频帧进行分类;2)在空域上,视频帧中除产品外,还包含复杂背景的问题,这使得有效捕捉产品信息变得困难。为了解决上述问题,文中提出了一种基于镜头分割和空域注意力模型的视频广告分类方法,简称SSSA。针对视频中存在的大量干扰帧,文中使用基于镜头切换的分割方法采样视频帧。针对视频帧中包含复杂背景,文中在网络中引入视觉注意力机制帮助网络从产品相关区域提取判别性的特征。为了验证所提方法的有效性,构建了一个包含1 000多个视频广告的数据库(简称TAV)并收集了眼动数据来训练注意力模型。实验结果显示,提出的SSSA视频分类方法比现有的视频分类方法在性能上提升了10%。

基于反事实思考的视觉问答方法

视觉问答是一项结合计算机视觉和自然语言处理的多模态任务,具有极大的挑战性。然而,目前的视觉问答模型存在着严重的语言偏见问题,对其鲁棒性有负面影响。以往的研究主要集中在利用生成反事实样本来辅助模型解决语言偏见。然而,这些研究忽略了分析反事实样本与原始样本的预测差异以及关键特征与非关键特征之间的两两差异。文中通过建立反事实思考流程,结合因果推理与对比学习,使模型能够区分原始样本、事实样本和反事实样本。基于此,提出了一种基于反事实样本的对比学习范式。通过对比3类样本对的特征差异和预测差异,减小了模型的语言偏见。在VQA-CP v2等数据集上的实验证明了所提方法的有效性。与CL-VQA方法相比,所提方法的整体精度提高了0.19%,平均精度提高了0.89%,尤其是Num精度提高了2.6%。相比CSSVQA方法,所提方法的鲁棒性辅助指标Gap从0.96提高到了0.45。

一种基于支持向量机和遗传算法的自适应图像水印方法

提出一种基于支持向量机(SVM)和遗传算法(GA)的离散余弦变换(DCT)域盲数字图像水印方法.该方法能自适应于图像的局部特征.依据图像块的局部特性,利用SVM对图像块分类,自适应地确定水印嵌入强度,GA用来优化水印嵌入位置.实验结果表明该方法有较好的不可见性和较强对抗攻击的鲁棒性.