基于全局语义匹配的篇章级事件抽取方法

作为自然语言处理领域中经典的信息抽取任务,事件抽取方法可以帮助人们从海量文本数据中快速准确地获取结构化事件信息,在事理图谱构建、舆情监控、态势感知等多个方面都起着举足轻重的作用。而由于事件组成的复杂性,文档中会包含多个相关的事件句,如果在对文档进行事件抽取时仅针对单个句子,从句子层面进行事件抽取,则很难将一个事件分散在整个文档中的事件信息抽取完整,得到完整的事件信息。为了解决这些问题,该文提出了基于全局语义匹配的篇章级事件抽取方法。首先,使用基于长短期记忆网络—条件随机场的序列标注模型进行句子级事件抽取;其次,在句子级事件抽取的基础上,采用所提全局语义匹配方法进行事件共指判断,通过融合句子级事件信息完成事件信息的完整抽取;最后,在MUC-4事件抽取数据集对所提模型进行验证,结果表明所提方法对文档中分散的事件元素有更准确抽取效果,在F1值上也有明显提升。

基于全局语义学习的文本情感增强方法研究

为解决弱情感倾向语料影响文本情感分类的问题,提出基于全局语义学习的文本情感增强方法。首先设计语料划分方法,将语料划分为强情感倾向语料与弱情感倾向语料,然后,从文本处理全过程及整体语义学习的角度出发,构造均值抽取与最大值抽取的语义提取方式及文档信息向量,改进基于循环神经网络的变分自编码器的语义学习过程,并用于学习强情感倾向语料中文本的词语序列特征与语义特征。基于此,对弱情感倾向语料进行重构,实现情感增强目标,最后,将经过情感增强的语料替换掉原来的弱情感倾向语料,再进行情感分类模型的训练与测试。结果表明:提出的文本情感增强方法能够提升情感分类效果,并使得Bert分类器对IMDb影评数据集的情感分类精确率达到了93.03%。

结合空间语义注意力的二段式遥感图像修复网络

高分辨率遥感图像的缺失区域中地物种类复杂多样、空间异质性高,导致图像修复结果中存在纹理模糊和结构扭曲的问题,且在边界和复杂纹理区域尤为突出。因此提出一种结合空间语义注意力的二段式遥感图像修复网络。该网络由粗修复网络和精修复网络串联而成,旨在使用粗略修复网络提供的先验信息,引导精修复网络对缺失区域的复原。在粗修复网络中,构建多级损失结构以强化网络训练的稳定性;在精修复网络中,提出一种新的空间语义注意力机制,并依据网络特征的分布特点,区别性将空间语义注意力嵌入在编码器和解码器中,以确保局部特征的连续性和全局语义信息的相关性。实验结果表明,所提方法相比于现有其他算法可以进一步提升图像修复效果。

一种基于全局和局部特征表示的关键词抽取算法

为解决传统关键词算法易忽略文档上下文语义信息,以及单词重要的统计特征未在深度学习方法中得到充分利用等问题,提出一种基于全局和局部特征表示的关键词抽取算法.首先,利用Transformer和卷积神经网络搭建深度学习模型,通过多头注意力机制计算单词的全局语义特征表示,并利用每个单词的词性和词频统计特征信息,与语义特征拼接融合得出单词的特征向量表示;然后,采用多层卷积神经网络融合空洞卷积神经网络高效捕获单词局部特征信息和单词间依赖关系;最后,将关键词抽取工作看成序列标注任务抽取最终关键词.通过在两个公开语料库上的多项调参和对比实验,证明提出的算法效果优于现有的主流关键词抽取算法,在Inspec和kp20k数据集上的F1值分别达到了49.87%和35.77%,有效提高了关键词自动抽取结果的准确性.

提取全局语义信息的场景图生成算法

目的场景图能够简洁且结构化地描述图像。现有场景图生成方法重点关注图像的视觉特征,忽视了数据集中丰富的语义信息。同时,受到数据集长尾分布的影响,大多数方法不能很好地对出现概率较小的三元组进行推理,而是趋于得到高频三元组。另外,现有大多数方法都采用相同的网络结构来推理目标和关系类别,不具有针对性。为了解决上述问题,本文提出一种提取全局语义信息的场景图生成算法。方法网络由语义编码、特征编码、目标推断以及关系推理等4个模块组成。语义编码模块从图像区域描述中提取语义信息并计算全局统计知识,融合得到鲁棒的全局语义信息来辅助不常见三元组的推理。目标编码模块提取图像的视觉特征。目标推断和关系推理模块采用不同的特征融合方法,分别利用门控图神经网络和门控循环单元进行特征学习。在此基础上,在全局统计知识的辅助下进行目标类别和关系类别推理。最后利用解析器构造场景图,进而结构化地描述图像。结果在公开的视觉基因组数据集上与其他10种方法进行比较,分别实现关系分类、场景图元素分类和场景图生成这3个任务,在限制和不限制每对目标只有一种关系的条件下,平均召回率分别达到了44.2%和55.3%。在可视化实验中,相比性能第2的方法,本文方法增强了不常见关系类别的推理能力,同时改善了目标类别与常见关系的推理能力。结论本文算法能够提高不常见三元组的推理能力,同时对于常见的三元组也具有较好的推理能力,能够有效地生成场景图。

中文命题库的全局性语义角色标注及其对汉语研究的影响

中文命题库(the Chinese Proposition Bank)是在中文树库(the Chinese Treebank)上标注语义角色的语料库。语义角色是语言学研究的重要内容之一,标注了语义角色的命题库不但提供了谓语动词(predicate verb)的论元结构(argument structure),也提供了可谓词(predicative verb)语义角色的句法实现方式,大规模的"词汇语义-句法结构"语料为相关语言学研究提供了大量的真实数据。目前语义角色是以基于特定谓语动词(predicate-specific)的方式进行定义并使用统一的标记进行标注,这个标注方式导致了语义角色标记意义在不同的动词论元结构中的不一致问题,导致在语义上我们无法对动词的论元结构的句法实现做更深入的理解和解释。为了改进这个问题,本文定义了一套全局性语义角色标记并标注到命题库中。结果显示,标注了全局性语义角色的中文命题库解决了语义角色不一致的问题,丰富了动词论元结构模式,并且使得我们可以更好的从语义上理解动词论元的句法表现。本文的工作不是对之前标注工作的否定,而是增加一层标注以形成完整的语义资源,提供了关于论元的语义角色和句法实现之关系的大规模真实数据,使得我们可以更加全面深入的认识动词论元结构的问题。

基于二次图像分解的红外图像与可见光图像融合

针对红外图像与可见光图像融合中细节丢失严重,红外图像的特征信息未能突出显示以及源图像的语义信息被忽视的问题,提出一种基于二次图像分解的红外图像与可见光图像融合网络(Secondary Image Decomposition For Infrared And Visible Image Fusion,SIDFuse)。利用编码器对源图像进行二次分解以提取不同尺度的特征信息,然后利用双元素注意力为不同尺度的特征信息分配权重、引入全局语义支路,再采用像素相加法作为融合策略,最后通过解码器重建融合图像。实验选择FLIR数据集用于训练,采用TNO和RoadScene两个数据集进行测试,并选取八种图像融合客观评价参数进行实验对比分析。由TNO数据集的图像融合实验表明,在信息熵、标准差、空间频率、视觉保真度、平均梯度、差异相关系数、多层级结构相似性、梯度融合性能评价指标上,SIDFuse比基于卷积网络中经典融合算法DenseFuse分别平均提高12.2%,9.0%,90.2%,13.9%,85.1%,16.8%,6.7%,30.7%,比最新的融合网络LRRNet分别平均提高2.5%,5.6%,31.5%,5.4%,25.2%,17.9%,7.5%,20.7%。可见本文所提算法融合的图像对比度较高,可以同时更有效保留可见光图像的细节纹理和红外图像的特征信息,在同类方法中占有明显优势。

基于Bert-GNNs异质图注意力网络的早期谣言检测

网络谣言的广泛传播已经造成了很大的社会危害,因此早期谣言检测任务已成为重要的研究热点.现有谣言检测方法主要从文本内容、用户配置和传播结构中挖掘相关特征,但没有同时利用到文本全局语义关系和局部上下文语义关系.为了克服以上局限性,充分利用到谣言数据中的文本全局-局部上下文语义关系、文本语义内容特征和推文传播的结构特征,本文提出了一种基于Bert-GNNs异质图注意力网络的早期谣言检测算法(Bert-GNNs Heterogeneous Graph Attention Network,BGHGAN).该方法根据历史谣言集和用户特征构建一个推文-词-用户异质图,通过采用预训练语言模型Bert和图卷积神经网络(Graph Convolutional Network,GCN)结合的方法进行特征学习,以挖掘谣言的文本语义特征和文本之间的关系,并将异质图分解为推文-词子图和推文-用户子图,采用图注意力网络(Graph Attention network,GAT)的方式分别进行特征学习,从而更充分利用文本全局-局部上下文语义关系和传播图的全局结构关系以加强特征表达;最后,通过子图级注意力机制将不同模块的学习集成进行最终的谣言检测.所提算法在真实的Twitter15和Twitter16数据上进行实验,验证了该算法在检测准确率上分别为91.4%和91.9%,较现有最佳模型分别提高了1%和1.4%,也具备在早期阶段对谣言的检测能力;同时,本文通过实验探讨了不同特征对谣言检测的重要性、对异质图构建质量的重要性.

改进MobileViT网络识别轻量化田间杂草

为解决现有的田间杂草识别方法无法兼顾高准确率与实时性的问题,该研究提出了一种基于改进MobileViT网络的轻量化杂草识别方法。首先,该方法使用高效的MobileViT网络构建杂草特征提取网络,在保证特征提取能力的同时实现更少的模型参数量与计算量;其次,通过高效通道注意力机制加强下采样后特征图中的重要特征,进一步提升模型的特征提取能力;最后,特征提取网络中的MobileViT模块被用于同时学习局部语义信息和全局语义信息,仅通过少量模块的组合便能够准确地捕捉到不同类别杂草与作物间细微差异。为验证该方法的有效性,该研究以农田环境下采集的玉米幼苗及其4类伴生杂草图像为数据进行了模型训练,试验结果表明,该方法的识别准确率、精准度、召回率和F1分数分别为99.61%、99.60%、99.58%和99.59%,优于VGG-16、ResNet-50、DenseNet-161、MobileNetv2等常用卷积神经网络;同时,可视化结果表明该方法能够有效提取杂草图像中的关键特征,并抑制背景区域对识别结果的影响。该研究提出的方法能够精准、快速地区分出农田环境下形态相似的多种杂草与作物,可为智能除草设备中的杂草识别系统设计提供参考。

基于显著性分析的网格模型语义特征线提取

现有的基于局部微分属性度量的网格模型特征线提取方法较难描述模型全局语义特征。为解决该问题,提出一种基于显著性分析的、符合人类视觉注意力机制的语义特征线提取算法。首先以谱图理论为工具,构建网格模型光顺三维基准面,获取网格顶点显著性重要度;利用离散拉普拉斯—贝尔特拉米算子方向属性构建网格语义特征区域,提取特征区域骨骼线,对骨骼线进行优化后得到模型语义特征线。该算法完全去除了模型局部微分几何量的度量,提取的特征线能很好地完成全局语义特征描述。实验结果证明了算法的有效性。

基于交叉注意力Transformer的人体姿态估计方法

现有用于人体姿态估计的深度卷积网络方法大多采用堆叠Transformer编码器技术,未充分考虑低分辨率全局语义信息,存在模型学习困难、推理成本高等问题。提出基于交叉注意力的Transformer多尺度表征学习方法。利用深度卷积网络获取不同分辨率特征图,将特征图转变为多尺度视觉标记,并且预估关键点在标记空间中的分布提高模型的收敛速度。为增强低分辨率全局语义的可识别性,提出多尺度交叉注意力模块,该模块通过对不同分辨率特征标记之间的多次交互,以及对关键点标记采取移动关键点策略,实现减少关键点标记冗余和交叉融合操作次数,交叉注意力融合模块从特征标记中抽取的不同尺度特征信息形成关键点标记,有助于降低上采样融合的不准确性。在多项基准数据集上的实验结果表明,与当前最先进的TokenPose方法相比,该方法能有效促进Transformer编码器对关键点之间关联关系的学习,在不降低性能的前提下计算代价下降11.8%。

FMNN:融合多神经网络的文本分类模型

文本分类是自然语言处理中一项基本且重要的任务。基于深度学习的文本分类方法大多只针对单一的模型结构进行深入研究,这种单一的结构缺乏同时捕获并利用全局语义特征与局部语义特征的能力,且网络的加深会损失更多的语义信息。对此,提出了一种融合多神经网络的文本分类模型FMNN(A Text Classification Model Fused with Multiple Neural Network),FMNN在最大限度减小网络深度的同时,融合了BERT,RNN,CNN和Attention等神经网络模型的特性。用BERT作为嵌入层获得文本的矩阵表示,用BiLSTM和Attention联合提取文本的全局语义特征,用CNN提取文本多个粒度下的局部语义特征,将全局语义特征和局部语义特征分别作用于softmax分类器,最后采用算术平均的方式对结果进行融合。在3个公开数据集和1个司法数据集上的实验结果表明,FMNN模型实现了更高的文本分类准确率,其中在司法数据集上的准确率达到了90.31%,证明了该模型具有较好的实用价值。

基于堆叠交叉注意力的图像文本跨模态匹配方法

图像文本跨模态匹配是计算机视觉与自然语言处理交叉领域的一项重要任务,然而传统的图像文本跨模态匹配方法要么只考虑到全局图像与全局文本匹配,要么只考虑到局部图像与局部文本匹配,无法全面有效的考虑局部和全局信息,导致提取出来的特征信息不完善。或者只是简单的对全局图像与全局文本特征进行提取,局部细节信息无法凸显,导致全局特征无法充分表达其全局语义信息。针对该问题,本文提出一种基于堆叠交叉注意力的图像文本跨模态匹配方法。该方法在考虑局部图像与局部文本匹配的同时,将堆叠交叉注意力引进全局图像与全局文本匹配,通过注意力来进一步挖掘全局特征信息,让全局图像与全局文本特征得到优化,从而提升图像文本跨模态检索的效果。在Flickr30K和MS-COCO两个公共数据集上进行了实验验证,模型的总体性能R@sum(Recall@sum)较baseline(SCAN)分别提高了3.9%与3.7%。该模型与SCAN模型相比,R@sum表现较好。由此表明本文提出方法在图像文本跨模态检索任务上的有效性,并且与现有方法相比具有一定的优越性。

基于语义引导与多尺度增强的遥感影像分割网络

遥感影像语义分割在环境监测、土地覆盖分类和城市规划等领域发挥着至关重要的作用.卷积神经网络及其改进模型是遥感影像语义分割的主流方法,但此类方法更加关注局部上下文特征的学习,无法有效建模不同物体之间的全局分布关系,进而制约了模型的分割性能.为了解决该问题,本文在卷积神经网络的基础上,构建了全局语义关系学习模块,充分学习不同物体之间的共生关系,有效地增强了模型的表征能力.此外,考虑到同一场景中,待分割物体的尺度存在差异性,构建了多尺度关系学习模块,以融合不同尺度的全局语义关系.为了评估模型的性能,本文在Vaihingen和Potsdam两个常用的遥感影像数据集上进行了充分的实验.实验结果表明,本文方法能够获得比已有的基于卷积神经网络的模型更高的分割性能.

基于实体画像增强网络的事件检测方法

事件检测任务旨在从非结构化的文本中自动识别并分类事件触发词。挖掘和表示实体的属性特征(即实体画像)有助于事件检测,其基本原理在于“实体本身的属性往往暗示了其参与的事件类型”(例如,“警察”往往参与“Arrest-Jail”类的事件)。现有研究已利用编码信息实现实体表示,并借此优化事件检测模型。然而,其表示学习过程仅仅纳入局部的句子级语境信息,使得实体画像的信息覆盖率偏低。为此,该文提出基于全局信息和实体交互信息的画像增强方法,其借助图注意力神经网络,不仅在文档级的语境范围内捕捉实体的高注意力背景信息,也同时纳入了局部相关实体的交互信息。特别地,该文开发了基于共现图的注意力遮蔽模型,用于降低噪声信息对实体表示学习过程的干扰。在此基础上,该文联合上述实体画像增强网络、BERT语义编码网络和GAT聚合网络,形成了总体的事件检测模型。该文在通用数据集ACE 2005上进行实验,结果表明实体画像增强方法能够进一步优化事件检测的性能,在触发词分类任务上的F值达到76.2%,较基线模型提升了2.2%。

融合图像注意力的多模态机器翻译模型

已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作用。基于此,该文提出一种融合图像注意力的多模态机器翻译模型,将图片中的全局语义和不同部分的局部语义信息与源语言文本的交互信息作为图像注意力融合到文本注意力权重中,从而进一步增强解码端隐含状态与源语言文本的对齐信息。在多模态机器翻译数据集Multi30k上英语—德语翻译对以及人工标注的印尼语—汉语翻译对上的实验结果表明,该文提出的模型相比已有的基于循环神经网络的多模态机器翻译模型效果具有较好的提升,证明了该模型的有效性。

结合实体标签的中文嵌套命名实体识别

针对嵌套命名实体识别,神经网络模型中提出基于跨度的框架。该框架首先产生跨度种子,然后搭建分类器进行筛选。但单独对跨度区域进行分类存在丢失全局语义信息的问题。另外,在中文嵌套命名实体识别中,因为缺少分隔符且中文高度依赖上下文,跨度区域无法有效使用词边界特征,导致识别性能不佳。为解决上述问题,本文提出结合实体标签的中文嵌套命名实体识别模型(CEL)。该模型生成跨度种子后,在原句子的跨度区域开始及结束位置嵌入实体标签,再作为分类器输入,从而更好地学习到跨度种区域边界和上下文之间的语义依赖特征。论文在ACE2005中文数据集上进行实验,实验表明,CEL模型在F1值上达到了较好水平。

先验引导的特征金字塔阴影检测网络

阴影检测向来是计算机视觉领域的一个基础性挑战。它需要网络理解图像的全局语义和局部细节信息。本文提出了一种检测阴影区域的先验特征金字塔网络结构。该网络搭建了先验加权模块来提取图像中蕴含的阴影先验信息,通过使用阴影先验信息加权卷积特征,引导网络学习到阴影区域。同时,该网络还应用了特征融合模块来融合粗略的语义信息和自上而下路径中的精细特征,并且加入了后处理,进一步优化网络的预测结果。本文在两个公开的阴影检测基准数据集上进行了实验来评估其网络性能。实验表明,本文的方法能够更准确地检测到阴影,和过去最先进的方法相比也表现出色,在SBU数据集上正确率达到了96.6%,平衡检测错误因子为6.22。

基于特征负反馈卷积的点云分析方法

针对不规则性、无序性和稀疏性给点云分析带来的困难与挑战,提出了融合局部信息提取与全局特征推理的点云分析方法。首先,为了更加有效地进行局部点分组,使用结构感知K近邻(KNN)搜索局部邻域点。其次,基于边卷积改进提出一种特征负反馈卷积模块,在映射的高维空间中提取更为准确的局部特征。此外,设计了基于注意力机制的全局语义推理模块,通过强调不同区域的分组点来避免潜在的信息冗余,从而全面地获取点云特征。通过在公开的点云数据集ModelNet40和ShapeNet上进行测试,该方法总体分类精度和总体平均交并比分别达到93.8%和86.4%,定量的评估指标以及定性的可视化实验证明了该方法的准确性和鲁棒性。