可判别性标签语义指导的域适应检索

从不同领域准确检索相似的对象,域适应检索解决了信息检索中的域偏移问题.然而,现有的方法仍然存在两个问题:a)忽略了类结构差异造成的域偏移(跨域和域内不同类的距离较近);b)忽略了特征与标签之间的语义差异.为了解决上述两个问题,本文提出了一种高效的可判别性标签语义指导学习(DLSG)方法.该方法探索源域和目标域的类结构,通过拉大不同类的距离使得类别更具有判别性.然后通过标签语义指导学习(LSG)来增强特征的标签语义,以提高学习的有效性.此外,动态对齐边缘分布和条件分布,以减少域差异.最后,采用两步哈希策略生成高质量的哈希码.在多个跨域检索数据集上的实验表明,DLSG的性能得到了提高.

基于语义协同指导的小样本语义分割算法

针对单个或少量多个原型不足以表示整张图像中的目标信息,提出了一种基于语义协同指导的小样本语义分割算法。利用一组共享权重的特征提取器将图片映射到深度特征空间,并借助支持图片的真实掩码过滤掉目标的背景区域;利用Vision Transformer细粒度地将深度特征直接抽象为表示目标信息的多个原型,并在此基础上引入目标类的语义信息作为辅助学习任务;利用一种无参数的度量学习算法计算查询特征和原型之间的相似度值,根据计算结果逐像素地指导查询图片中未知新类的分割。在开源的PASCAL-5^(i)和COCO-20^(i)数据集上进行测试,所提模型在1-shot和5-shot任务上均取得了具有竞争力的分割结果,与当前主流算法相比,具有更好的分割性能。

基于语义信息的精细化边缘检测方法

边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题。提出一种语义信息指导的精细化边缘检测方法。通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合。在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量。在BSDS500数据集上的实验结果验证了该方法的有效性,结果表明,该方法的固定轮廓阈值与图像最佳阈值分别达到0.818和0.841,相比HED、RCF等主流边缘检测方法,能够预测更精细的边缘图像,且鲁棒性更优。

基于多级语义的判别式跨模态哈希检索算法

针对大多数跨模态哈希方法采用二进制矩阵表示相关程度,因此无法捕获多标签数据之间更深层的语义信息,以及它们忽略了保持语义结构和数据特征的判别性等问题,提出了一种基于多级语义的判别式跨模态哈希检索算法——ML-SDH。所提算法使用多级语义相似度矩阵发现跨模态数据中的深层关联信息,同时利用平等指导跨模态哈希表示在语义结构和判别分类中的关联关系,不仅实现了对蕴含高级语义信息的多标签数据进行编码的目的,而且构建的保留多级语义的结构能够确保最终学习的哈希码在保持语义相似度的同时又具有判别性。在NUSWIDE数据集上,哈希码长度为32 bit时,所提算法在两个检索任务中的平均准确率(mAP)比深度跨模态哈希(DCMH)、成对关联哈希(PRDH)、平等指导判别式哈希(EGDH)算法分别高出了19.48,14.50,1.95个百分点和16.32,11.82,2.08个百分点。

层级标签语义引导的极限多标签文本分类策略

极限多标签文本分类任务具有标签集大、类间关系复杂、数据分布不平衡等特点,是具有挑战性的研究热点。现有模型对标签语义信息利用不足,性能有限。对此,该文提出一种利用层级标签语义信息引导的极限多标签文本分类模型提升策略,在训练和预测过程中给予模型层级标签引导的弱监督语义指导信息,利用这种弱监督信息规约多标签文本分类任务中要对应的多标签语义边界。在标准数据集上的实验结果表明,该文所提策略能够有效提升现有模型性能,尤其在短文本数据集中增效显著,宏精准率最高提升21.23%。