结合空间语义注意力的二段式遥感图像修复网络

高分辨率遥感图像的缺失区域中地物种类复杂多样、空间异质性高,导致图像修复结果中存在纹理模糊和结构扭曲的问题,且在边界和复杂纹理区域尤为突出。因此提出一种结合空间语义注意力的二段式遥感图像修复网络。该网络由粗修复网络和精修复网络串联而成,旨在使用粗略修复网络提供的先验信息,引导精修复网络对缺失区域的复原。在粗修复网络中,构建多级损失结构以强化网络训练的稳定性;在精修复网络中,提出一种新的空间语义注意力机制,并依据网络特征的分布特点,区别性将空间语义注意力嵌入在编码器和解码器中,以确保局部特征的连续性和全局语义信息的相关性。实验结果表明,所提方法相比于现有其他算法可以进一步提升图像修复效果。

提取全局语义信息的场景图生成算法

目的场景图能够简洁且结构化地描述图像。现有场景图生成方法重点关注图像的视觉特征,忽视了数据集中丰富的语义信息。同时,受到数据集长尾分布的影响,大多数方法不能很好地对出现概率较小的三元组进行推理,而是趋于得到高频三元组。另外,现有大多数方法都采用相同的网络结构来推理目标和关系类别,不具有针对性。为了解决上述问题,本文提出一种提取全局语义信息的场景图生成算法。方法网络由语义编码、特征编码、目标推断以及关系推理等4个模块组成。语义编码模块从图像区域描述中提取语义信息并计算全局统计知识,融合得到鲁棒的全局语义信息来辅助不常见三元组的推理。目标编码模块提取图像的视觉特征。目标推断和关系推理模块采用不同的特征融合方法,分别利用门控图神经网络和门控循环单元进行特征学习。在此基础上,在全局统计知识的辅助下进行目标类别和关系类别推理。最后利用解析器构造场景图,进而结构化地描述图像。结果在公开的视觉基因组数据集上与其他10种方法进行比较,分别实现关系分类、场景图元素分类和场景图生成这3个任务,在限制和不限制每对目标只有一种关系的条件下,平均召回率分别达到了44.2%和55.3%。在可视化实验中,相比性能第2的方法,本文方法增强了不常见关系类别的推理能力,同时改善了目标类别与常见关系的推理能力。结论本文算法能够提高不常见三元组的推理能力,同时对于常见的三元组也具有较好的推理能力,能够有效地生成场景图。

一种基于全局和局部特征表示的关键词抽取算法

为解决传统关键词算法易忽略文档上下文语义信息,以及单词重要的统计特征未在深度学习方法中得到充分利用等问题,提出一种基于全局和局部特征表示的关键词抽取算法.首先,利用Transformer和卷积神经网络搭建深度学习模型,通过多头注意力机制计算单词的全局语义特征表示,并利用每个单词的词性和词频统计特征信息,与语义特征拼接融合得出单词的特征向量表示;然后,采用多层卷积神经网络融合空洞卷积神经网络高效捕获单词局部特征信息和单词间依赖关系;最后,将关键词抽取工作看成序列标注任务抽取最终关键词.通过在两个公开语料库上的多项调参和对比实验,证明提出的算法效果优于现有的主流关键词抽取算法,在Inspec和kp20k数据集上的F1值分别达到了49.87%和35.77%,有效提高了关键词自动抽取结果的准确性.

改进MobileViT网络识别轻量化田间杂草

为解决现有的田间杂草识别方法无法兼顾高准确率与实时性的问题,该研究提出了一种基于改进MobileViT网络的轻量化杂草识别方法。首先,该方法使用高效的MobileViT网络构建杂草特征提取网络,在保证特征提取能力的同时实现更少的模型参数量与计算量;其次,通过高效通道注意力机制加强下采样后特征图中的重要特征,进一步提升模型的特征提取能力;最后,特征提取网络中的MobileViT模块被用于同时学习局部语义信息和全局语义信息,仅通过少量模块的组合便能够准确地捕捉到不同类别杂草与作物间细微差异。为验证该方法的有效性,该研究以农田环境下采集的玉米幼苗及其4类伴生杂草图像为数据进行了模型训练,试验结果表明,该方法的识别准确率、精准度、召回率和F1分数分别为99.61%、99.60%、99.58%和99.59%,优于VGG-16、ResNet-50、DenseNet-161、MobileNetv2等常用卷积神经网络;同时,可视化结果表明该方法能够有效提取杂草图像中的关键特征,并抑制背景区域对识别结果的影响。该研究提出的方法能够精准、快速地区分出农田环境下形态相似的多种杂草与作物,可为智能除草设备中的杂草识别系统设计提供参考。

基于堆叠交叉注意力的图像文本跨模态匹配方法

图像文本跨模态匹配是计算机视觉与自然语言处理交叉领域的一项重要任务,然而传统的图像文本跨模态匹配方法要么只考虑到全局图像与全局文本匹配,要么只考虑到局部图像与局部文本匹配,无法全面有效的考虑局部和全局信息,导致提取出来的特征信息不完善。或者只是简单的对全局图像与全局文本特征进行提取,局部细节信息无法凸显,导致全局特征无法充分表达其全局语义信息。针对该问题,本文提出一种基于堆叠交叉注意力的图像文本跨模态匹配方法。该方法在考虑局部图像与局部文本匹配的同时,将堆叠交叉注意力引进全局图像与全局文本匹配,通过注意力来进一步挖掘全局特征信息,让全局图像与全局文本特征得到优化,从而提升图像文本跨模态检索的效果。在Flickr30K和MS-COCO两个公共数据集上进行了实验验证,模型的总体性能R@sum(Recall@sum)较baseline(SCAN)分别提高了3.9%与3.7%。该模型与SCAN模型相比,R@sum表现较好。由此表明本文提出方法在图像文本跨模态检索任务上的有效性,并且与现有方法相比具有一定的优越性。

结合实体标签的中文嵌套命名实体识别

针对嵌套命名实体识别,神经网络模型中提出基于跨度的框架。该框架首先产生跨度种子,然后搭建分类器进行筛选。但单独对跨度区域进行分类存在丢失全局语义信息的问题。另外,在中文嵌套命名实体识别中,因为缺少分隔符且中文高度依赖上下文,跨度区域无法有效使用词边界特征,导致识别性能不佳。为解决上述问题,本文提出结合实体标签的中文嵌套命名实体识别模型(CEL)。该模型生成跨度种子后,在原句子的跨度区域开始及结束位置嵌入实体标签,再作为分类器输入,从而更好地学习到跨度种区域边界和上下文之间的语义依赖特征。论文在ACE2005中文数据集上进行实验,实验表明,CEL模型在F1值上达到了较好水平。