基于图文细粒度对齐语义引导的多模态神经机器翻译方法

多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,该方法首先采用跨模态交互图文信息,以提取图文细粒度对齐语义信息,然后以图文细粒度对齐语义信息为枢纽,采用门控机制将多模态细粒度信息对齐到文本信息上,实现图文多模态特征融合。在多模态机器翻译基准数据集Multi30K英语到德语、英语到法语以及英语到捷克语翻译任务上的实验结果表明,该文提出的方法是有效的,并且优于大多数先进的多模态机器翻译方法。

基于语义对齐和层次优化的非机动车车牌识别定位方法

对非机动车违规行为依法追究责任是提高城市交通安全的有效手段。由于非机动车车牌具有尺寸小、分布密集、易遮挡等特点,导致应用传统的深度学习方法会出现特征信息大量丢失的现象。为此,提出一种基于语义对齐和层次优化的非机动车车牌识别定位方法。首先设计底层信息融合的语义对齐模块,在上采样过程中利用底层目标信息引导高层语义向下融合,以解决高底层语义冲突带来的小目标特征丢失问题;然后构建CSP结构的层次优化模块替代深层ELAN模块,使用堆叠少量卷积核模块提取目标信息以减少网络层数,避免特征信息在深层丢失;最后,为减少训练过程中的匹配误差,使用K-Means++算法聚类得到适合非机动车车牌的初始锚框,提高小目标识别定位准确率。实验结果表明,所提方法在自制非机动车车牌数据集上的识别定位准确率为90.95%,与YOLOv7、YOLOv8等代表性方法相比至少提升3.58%,为非机动车车牌识别定位提供了一种有效的方法。

跨模态语义对齐和信息细化的多模态情感分析

为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refinement for multi-modal sentiment analysis),可以有效地解决多模态语义不对齐、语义噪声等问题,实现多模态数据更好地交互融合。使用多模态特征嵌入模块(multi-modal feature embedding,MFE)增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块(inter-modal semantic alignment,ISA)进行双模态时间维度的对齐。通过一个模态内的信息细化模块(intra-modal information refinement,IIR)进行情感解析和情感细化。通过多模态门控融合模块(multi-modal gated fusion,MGF)实现模态的有效融合。在流行的多模态情感分析数据集上进行实验,证明了CM-SAIR框架与最先进的基线相比的优势。

一种基于同步语义对齐的异构缺陷预测方法

异构缺陷预测(heterogeneous defect prediction,HDP)在具有异构特征的项目间进行缺陷预测,可以有效解决源项目和目标项目使用了不同特征的问题.当前大多数HDP方法都是通过学习域不变特征子空间以减少域之间的差异来解决异构特征问题.但是,源域和目标域通常呈现出巨大的异质性,使得域对齐效果并不好.究其原因,这些方法都忽视了分类器对于两个域中的同一类别应产生相似的分类概率分布这一潜在知识,没有挖掘数据中包含的内在语义信息.另一方面,由于在新启动项目或历史遗留项目中搜集训练数据依赖于专家知识,费时费力且容易出错,探究了基于目标项目内少数标记模块来进行异构缺陷预测的可能性.鉴于此,提出一种基于同步语义对齐的异构缺陷预测方法(SHSSAN).一方面,探索从标记的源项目中学到的隐性知识,从而在类别之间传递相关性,达到隐式语义信息迁移.另一方面,为了学习未标记目标数据的语义表示,通过目标伪标签进行质心匹配达到显式语义对齐.同时,SHSSAN可以有效解决异构缺陷数据集中常见的类不平衡和数据线性不可分问题,并充分利用目标项目中的标签信息.对包含30个不同项目的公共异构数据集进行的实验表明,与目前表现优异的CTKCCA、CLSUP、MSMDA、KSETE和CDAA方法相比,在F-measure和AUC上分别提升了6.96%、19.68%、19.43%、13.55%、9.32%和2.02%、3.62%、2.96%、3.48%、2.47%.

基于伪标签细化和语义对齐的异构域自适应

在进行跨域知识迁移时,现有异构域自适应方法忽略了伪标签和类别预测中语义属性的重要性,导致分类精度不高,为此提出新的异构域自适应方法.该方法匹配源域和目标域的条件分布和边缘分布,考虑源数据和目标数据在公共特征子空间的相似性,通过细化空间相似性的伪标签来增强目标域伪标签的置信度,使模型的分类精度提高.考虑同类的样本经过分类器输出后有相似的预测分布,构造语义预测空间中的域鉴别器,使模型的泛化性提升.不同特征表示的文本和图像的分类任务实验结果成功地验证了所提方法的优越性.

融合全局语义的CLIP-GPT图像描述模型

图像描述是指为图像自动生成与其内容相符的语言描述。桥接计算机视觉和自然语言处理两个领域的预训练模型构建图像描述模型时,跨模态语义一致性是共享子空间嵌入的核心问题。本文将图像拆分成若干片作为视觉语义单元与语言特征进行自由的跨模态关联,突破了有限视觉特征分类的限制;联合运用掩码学习和图文特征匹配两个损失函数,挑选高难度负样本训练跨模态跳接网络提取一致性全局语义,提高了子空间邻域内高相似度图文特征点匹配的准确度。在MS COCO和Flickr30k两个数据集上的实验结果表明,与同样采用CLIP+GPT生成图像描述的模型及其他主流模型相比,性能均有提升,证明了所提出模型的有效性。

基于语义对齐的生成式文本摘要研究

针对当前生成式文本摘要模型在解码时对摘要整体语义信息利用不充分的问题,提出一种基于语义对齐的神经网络文本摘要方法。该方法以带注意力、Pointer机制和Coverage机制的Sequence-to-Sequence模型为基础,在编码器与解码器之间加入语义对齐网络,实现文本到摘要的语义信息对齐;将获得的摘要整体语义信息与解码器的词汇预测上下文向量进行拼接,使解码器在预测当前词汇时不仅利用已预测词汇序列的部分语义,而且考虑拟预测摘要的整体语义。在中文新闻语料LCSTS上的实验表明,该模型能够有效地提高文本摘要的质量,在字粒度上的实验显示,加入语义对齐机制可以使Rouge_L值提高5.4个百分点。

基于语义对齐和重构的零样本学习算法

为同时缓解零样本学习算法中固有的枢纽问题和域漂移问题,提出一种基于语义对齐和重构的零样本学习算法。以语义特征嵌入到图像空间的神经网络映射模型为基础,对模型添加语义原型和图像原型对齐的约束条件进一步缓解高维向量枢纽问题对标签预测的影响;对模型添加语义特征重构建的约束条件,缓解域漂移问题对识别正确率的影响。实验结果表明,所提算法在AwA和CUB数据集上达到了较优的识别正确率,验证了其有效性。

基于语义对齐的小样本语义分割模型

现实世界的物体图像往往存在较大的类内变化,使用单一原型描述整个类别会导致语义模糊问题,为此提出一种基于超像素的多原型生成模块,利用多个原型分别表示物体的不同语义区域,通过图神经网络在生成的多个原型间利用上下文信息执行原型校正以保证子原型的正交性.为了获取到更准确的原型表示,设计了一种基于Transformer的语义对齐模块,以挖掘查询图像特征和支持图像的背景特征中蕴含的语义信息,此外还提出了一种多尺度特征融合结构,引导模型关注同时出现在支持图像和查询图像中的特征,提高对物体尺度变化的鲁棒性.所提出的模型在PASCAL-5^(i)数据集上进行了实验,与基线模型相比平均交并比提高了6%.

基于局部语义特征不变性的跨域行人重识别

行人重识别是刑侦案件中重要的侦查手段,而跨域是行人重识别的主要挑战之一,也是制约其实际应用的瓶颈问题。在带标签的源域和无标签的目标域学习跨域行人局部语义不变性特征模型。首先,在源域上通过只含有行人标识无部件标签的监督学习方式学习行人的各部件特征,并在源域和目标域上采用无监督学习方式对齐行人部件。然后,基于对齐后的行人全局与局部特征,引入特征模板池存储对齐后的目标域全局和局部特征,并设计了跨域不变性损失函数进行特征不变性约束,提高行人重识别的跨域适应能力。最后,在Market-1501、DukeMTMC-reID和MSMT17数据集之间开展了跨域行人重识别验证实验,实验结果表明,所提方法在跨域行人重识别上取得了显著的性能提升。

基于语义对齐与图节点交互的实例分割算法

针对主流单阶段实例分割算法因冗余语义信息造成实例掩码缺失和泄漏的问题,提出一个基于语义对齐和图节点交互的实例分割算法。在全局掩码生成阶段,设计一个语义对齐模块,通过全局映射和高斯映射评估语义信息对全局和局部语义完整性的影响,从而对冗余语义信息进行抑制。此外,在实例掩码组装阶段,设计一个图节点交互模块。该模块通过对特征图进行图结构数据变换和图节点信息交互,提取拓扑图的空间特征,补充了掩码组装信息,进一步提高了实例掩码的准确度。实验结果表明,所提算法在MS COCO数据集上实现了38.3%的平均精度均值(mAP),与其他先进算法相比,有很强的竞争力。

跨模态视觉问答与推理研究进展

随着社交媒体和人机交互技术的快速发展,视频、图像以及文本等多模态数据在互联网中呈爆炸式增长,因此多模态智能研究受到关注。其中,视觉问答与推理任务是跨模态智能研究的一个重要组成部分,也是人类实现人工智能的重要基础,已成功应用于人机交互、智能医疗以及无人驾驶等领域。本文对视觉问答与推理的相关算法进行了全面概括和归类分析。首先,介绍了视觉问答与推理的定义,并简述了当前该任务面临的挑战;其次,从基于注意力机制、基于图网络、基于预训练、基于外部知识库和基于可解释推理机制5个方面对现有方法进行总结和归纳;然后,全面介绍了视觉问答与推理常用公开数据集,并对相关数据集上的已有算法进行详细分析;最后,对视觉问答与推理任务的未来方向进行了展望。

基于语义对齐的临床量表信息提取方法及其临床试验队列识别的应用研究

【目的】面向真实世界数据驱动的临床研究需求,提出一种基于语义对齐的临床量表信息提取方法,辅助识别潜在受试人群。【方法】选取卒中量表NIHSS,分析量表信息在临床试验和真实世界电子病历中的特征,构建基于语义对齐的量表信息提取方法,应用临床试验数据集(ClinicalTrials.gov)和开放电子病历数据集MIMIC-Ⅲ开展实验验证。【结果】从患者出院小结中抽取NIHSS总评分、检查项评分的F1值分别为0.9535和0.9267;围绕两项匹配NIHSS纳排标准的测试任务,可以有效地识别出潜在受试人群。【局限】缺乏在其他量表上的可行性研究,以及在真实临床试验环境中的有效性和可靠性验证。【结论】本方法可以有效地解决临床量表信息在临床研究与电子病历数据的语义一致性问题。

视觉-语言导航的研究进展与发展趋势

视觉-语言导航是近年来出现并蓬勃发展的新兴研究方向,是视觉-语言交互前沿领域中的代表性研究任务之一,其目标是根据人类给出的语言指令基于环境视觉感知实现自主导航.首先介绍该任务的研究内容,分析其面临的跨模态语义对齐、语义理解与推理和模型泛化能力增强3个方面的问题与挑战,然后列举了常用的数据集和评价指标;再从模仿学习、强化学习、自监督学习以及其他方法4个方面对该任务的研究进展进行归纳与总结,并对代表性方法的效果进行对比分析;从连续环境导航和高级复杂指令理解与常识推理2个方面论述该任务当前研究的热点趋势;最后对三维空间的视觉-语言导航、模糊导航、环境交互导航等未来发展方向进行讨论与展望.

融合关键词概率映射的汉越低资源跨语言摘要

在低资源汉越跨语言摘要任务中,由于标注的汉越对齐数据稀缺,较难实现跨语言语义对齐.鉴于此,提出一种融合关键词概率映射的低资源跨语言摘要方法,首先利用源语言关键词实现关键信息的提取,然后基于概率映射对将源语言关键词映射到目标语言,最后基于指针网络将映射的目标语言关键词融入到摘要生成过程中.在构建的汉越跨语言摘要数据集上的实验结果表明,相比于直接的端到端的方法,融入关键词概率映射信息可以有效地提升低资源跨语言摘要的质量.

基于多标签协同学习的跨域行人重识别

跨域是行人重识别的重要应用场景,但是源域与目标域行人图像在光照条件、拍摄视角、成像背景与风格等方面的表观特征差异性是导致行人重识别模型泛化能力下降的关键因素。针对该问题,提出了基于多标签协同学习的跨域行人重识别方法。利用语义解析模型构造了基于语义对齐的多标签数据表示,以引导构建更关注行人前景区域的局部特征,达到语义对齐的目的,减少背景对跨域重识别的影响。基于行人图像全局特征和语义对齐后的行人局部特征,利用协同学习平均模型生成行人重识别模型的多标签表示,减少跨域场景下噪声硬标签的干扰。利用协同学习网络框架联合多标签的语义对齐模型,提高行人重识别模型的识别能力。实验结果表明:在Market-1501→DukeMTMC-reID、DukeMTMC-reID→Market-1501、Market-1501→MSMT17、DukeMTMC-reID→MSMT17跨域行人重识别数据集上,与NRMT方法相比,平均精度均值分别提高了8.3%、8.9%、7.6%、7.9%,多标签协同学习方法具有显著的优越性。

基于一种非成对数据集的图像描述方法

为了减少图像描述对成对的图像-描述数据集的依赖,提出了一种在非成对数据集下的图像描述方法。针对初始描述缺乏对图像细节部分的描述和图像语义描述的精度和泛化能力低的问题,使用融合关联注意力机制的语言生成器对初始图像再生成,关联注意力机制能够在语言模型预测每一个单词之前快速地向语言模型提供最有价值的视觉特征来指导单词预测。使用强化学习中的策略梯度方法改造损失函数对语言生成器微调,得到最终描述。实验结果表明,即使不使用成对的图像-描述数据集生成的描述也能准确描述图像内容,语言也更加自然。

基于通道信息对齐的素描行人重识别

素描行人重识别任务要求在彩色图像库中寻找与给定素描图像相同身份的行人.由于行人的素描图像与彩色图像之间的姿态、视角等信息不同,两个模态在相同的空间位置往往具有不同的语义信息,导致所提取的特征不具备鲁棒性.以往的研究着重于行人不随着模态信息变化的特征提取,而忽略了不同模态间语义不对齐的问题,进而导致最终编码的特征受到摄像机视角、人体姿态或者遮挡等干扰,不利于图像的匹配.对此,提出基于通道信息对齐的素描行人重识别模型.其中:语义信息一致性学习模块引导网络在特征的相同通道上形成固定编码的语义信息,降低语义信息不对齐所带来的影响;差异性特征注意力模块辅助网络编码具有差异性的身份相关信息,并设计空间差异正则化项以防止网络仅关注局部特征.两个模块互相配合,强化网络对语义信息的感知和对齐.所提出的方法在具挑战性数据集Sketch Re-ID、QMUL-ShoeV2上的rank-1和m AP分别达到60.0%和59.3%、33.5%和46.1%,从而验证了所提出方法的有效性.

时空知识图谱研究进展与展望

地理信息的不断泛化对经典的地理信息分析模式提出了巨大挑战,网络化的知识服务将逐渐成为地理信息应用的新模式,助力地理计算到社会计算的形态转变。地理知识服务需要打通人、机构、自然环境、地理实体、地域单元、社会事件之间的关联,促进知识辅助下的数据智能与计算智能。本文聚焦地理时空知识获取与形式化表达及分析的迫切需求,首先分析了时空知识图谱的基本概念与特征,认为时空知识图谱是指具有地理时空分布或位置隐喻的知识构成的有向图,即以时空分布特征为核心的知识图谱;然后提出了时空知识图谱的研究框架,该框架可实现时空大数据到时空知识服务应用的转变,包括泛在时空大数据、时空知识获取、时空知识管理、时空知识图谱、软件系统及行业应用等多个层次;接着从文本描述地理信息抽取、异构地理语义网对齐、时空知识表达与表示学习等方面,介绍了相关研究进展;结合应用实践,介绍了面向行业的时空知识图谱构建与应用途径;最后,讨论了时空知识图谱研究目前面临的关键科学问题与技术瓶颈,提出在大模型时代,构建显式的时空知识图谱,并针对行业需求开展知识推理,仍是时空知识服务的必由之路。