基于学术知识图谱的增强语义表示与检索

知识图谱作为一个巨大的知识网络图,其中包含着实体概念、关系等信息.基于深度学习的语义表示虽然泛化性强,但对于一些专有知识的敏感度不高,所以许多研究尝试将知识图谱与神经网络结合.目前大部分知识图谱语义表示的方法是围绕通用领域知识图谱展开的,没有针对学术领域的知识图谱语义表示方法的研究.本文以学术文献的全文本数据为研究对象,从基于学术知识图谱的语义表示方法切入研究,在构建学术知识图谱的基础上,对通用领域的研究方法(K-BERT)进行领域化改进(KEBERT),进一步使用实体知识增强文本的语义信息.通过开展下游任务的对比实验,在学术检索数据集上验证KEBERT、K-BERT和ERNIE的性能.实验采用检索任务中常用的NDCG评价指标对结果进行评价,实验结果表明改进后的KEBERT在检索任务上的效果优于其他模型.

增强语义分割的网络模型PS-UNet

文章提出了一种提升上下文依赖关系的增强语义分割网络模型PS-UNet实现医学图像分割.PS-UNet将残差块、PCA模块和SPP模块融合到U-Net网络模型中,可获取更多的特征信息,从而提升分割效果.该模型既可以对器官轮廓粗分割又可以对视网膜血管和细胞精细分割.在公开的数据集上分别对肺部、视网膜血管和细胞分割进行了测试.实验结果表明,与当前先进网络模型相比,PS-UNet在所有实验中,性能均有所提升,其中肺部分割中准确率和灵敏度相对于U-Net网络模型分别提高了2.03%和2.24%,Dice相似系数达到了97.16%.

基于增强语义与多注意力机制学习的深度相关跟踪

在基准可判别相关滤波器网络(DCFNet)目标跟踪过程中,遮挡和运动模糊情况会导致目标发生漂移。针对该问题,结合增强语义与多注意力机制深度学习,设计一种端到端的相关滤波器网络RACFNet。由EDNet网络得到高级语义信息弥补单独低级特征表示的不足,同时加入通道和空间残差注意力机制,使网络能够对不同的跟踪对象提取出更具针对性的表观信息。在此基础上,通过添加相关滤波层并输出响应图最大值推测目标位置。在OTB-2013和OTB-2015基准测试集上的实验结果表明,RACFNet跟踪速度平均可达92帧/s,跟踪成功率较DCFNet分别提高8.20%和10.69%。

基于增强语义模型的货品名分类算法

海关申报(报关)是指进出口货物所有人向海关办理进出境手续的过程。报关过程主要包括:填写报关单、单据检验、货物查验等流程。本文主要针对报关单中的货物品名依赖人工填写,存在申报成本高、效率低下、准确率不稳定等有待优化的问题,提出以报关货物描述短文本为基础,分别使用TF-IDF模型和BERT模型提取词频特征与语义特征,根据语料特点创新性地用词频特征增强语义特征;用ViT模型提取货物图像特征并与文本特征在交叉注意力机制作用下融合,再由多粒度级联森林分类器实现货物名称分类,达到精准获取货物品名的目的。实验结果显示:货物品名分类准确率为0.92,召回率为0.90,F1-score为0.91,表明了本文所提算法在解决报关货物品名分类问题上具有合理性与优越性,有助于解决现有问题。

基于视觉与文本语义增强的多模态命名实体识别方法

为了解决视觉特征和文本特征融合后存在部分语义缺失从而导致视觉信息对文本信息的补充有较大偏差的问题,提出了一种基于视觉与文本语义增强的多模态命名实体识别方法。融合BERT文本特征提取和CLIP(contrastive language–image pre-training)视觉特征提取方法,设计了基于协同交叉注意力机制的特征交互单元,以增强视觉信息和文本信息之间的语义关系。CLIP通过对比学习框架进行预训练,优化模型以正确匹配视觉和对应的文本描述,最大化正样本(匹配的视觉-文本对)的相似性,同时最小化负样本(不匹配的视觉-文本对)的相似性。采用通用领域数据集TWITTER-2015和TWITTER-2017作为实验数据集。实验结果表明,本模型相比传统方法在多模态命名实体识别任务中的准确率、召回率、F1值均有显著提升。

基于语义理解增强的数学应用题机器解答方法

针对现有数学应用题机器解答方法不能自适应理解语义多变的问题文本、求解精度提升受限,提出基于语义理解增强的机器解答方法。首先,设计语义增强的预训练语言模型SeBERT,通过多粒度知识建模策略和连续语义融入策略以实现对题目的精确理解;其次,构建求解模型SeBERT-PT,其采用语言模型-池化-树的求解结构,有效改善了应用题的语义理解偏差并且提高了解题的精确度;最后,引入基于置信度的判断机制,对于不值得信任的预测直接判定求解失败,确保解答精度的同时,提升求解模型训练效率。实验结果表明,该方法在中文和英文数据集上的解题精度分别达到了85.7%和77.9%,均优于其他基线方法,特别是在涉及复杂语义理解和逻辑推理的题目上,表现尤为突出。证明了该方法在提升数学应用题解答精度方面的有效性,也展示了其在跨语言环境下的广泛适用性。

基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集(DocRED、CDR、GDA和DWIE)上评估了Att-DocuNet模型并取得了良好的实验结果。

语义增强与高阶强交互的SAR图像舰船检测

合成孔径雷达(synthetic aperture radar,SAR)图像背景信息复杂、舰船目标边缘模糊,且多为容易丢失的小尺度舰船目标。针对上述问题,提出语义增强与高阶强交互的SAR图像舰船检测。该方法利用部分卷积与非对称卷积构建部分非对称卷积聚合网络,在减少计算复杂度、轻量化主干网络的同时,更好地捕捉多尺度舰船特征,同时在上采样部分引入双层路由注意力,增强对图像上下文信息的利用。另外,通过递归的方式进行特征提取,可以较好解决区域内信息交互的问题,实现不同级别特征之间的高阶交互建模,提升模型检测能力。在公开的HRSID遥感数据集上进行实验的结果表明,该方法的检测精度达到91.23%,相比原模型提升5.13%,准确率与召回率分别提升2.41%和7.16%,与主流算法相比具有较好的检测效果。

语义和句法双增强的交互式方面级情感分析

针对目前研究存在的语义和句法信息提取不充分以及忽略二者交互的问题,提出一种利用交互注意力机制融合语义和句法信息的方面级情感分析模型。将方面间依赖关系与局部语义融合,获得综合的全局语义信息,将全局与局部信息进行交互得到更深层的语义信息;利用改进的图卷积网络增强模型提取上下文句法信息的能力;使用多头交互注意力完成方面词与上下文之间以及增强语义和句法之间的交互。为验证模型的有效性,在Laptop14、Restaurat14和Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。

电力设备缺陷文本的双通道语义增强网络挖掘方法

电力设备运维环节积累的缺陷文本可指导设备的状态评价和检修工作。然而缺陷文本结构多样且背景噪声强,导致智能挖掘信息的难度大。针对该问题,提出了基于双通道语义增强网络的电力设备缺陷文本挖掘方法。首先,分析缺陷文本的内容,结合自然语言处理方法预处理缺陷文本。利用Glove词向量嵌入模型将缺陷文本映射至数值空间表征语义。然后,基于词移距离构建缺陷文本的增强文本,通过含注意力机制的双向长短时记忆神经网络分别提取缺陷文本和增强文本的特征,进而在网络末端融合特征实现关键信息加强,提升模型分类性能。实例表明,所提双通道语义增强网络的分类Macro-F1指标相比于传统机器学习方法、单通道深度学习方法至少提高6.2%、5.2%,同时所提方法为实现图像、文本等多源运维数据的特征增强提供新思路。

基于主题感知和语义增强的作文自动评分方法

作文自动评分(AES)是教育领域中应用自然语言处理(NLP)技术的重要研究方向之一,其旨在提高评分效率,增强评价的客观性和可靠性。针对主题相关性缺失和长文本信息丢失问题以及预训练语言模型BERT不同层次能够提取不同维度特征的特点,提出一种基于主题感知和语义增强的作文自动评分模型。该模型采用多头注意力机制提取作文的浅层语义特征并感知作文主题特征,同时利用BERT的中间层句法特征和深层语义特征增强对作文语义的理解。在此基础上,融合不同维度的特征并用于作文自动评分。实验结果表明,该模型在公共数据集ASAP的8个子集上均表现出了显著的性能优势,相比于通义千问等基线模型,其能够有效提升作文自动评分性能,平均二次加权的卡帕值(QWK)达到80.25%。

面向语义增强与双尺度功能注意力网络的Web服务分类方法

服务功能特征的提取质量直接影响着服务分类的精确度.为提升分类精确度,本文提出一种基于语义增强与双尺度功能注意力网络的Web服务分类方法.首先,采取近义词替换的方式构建服务描述的孪生样本,在SimCSE框架下生成语义增强的服务功能向量.然后,基于标签共现关系建立服务功能关联图,构建双尺度功能注意力网络,生成服务功能关联向量.最后,将服务功能向量与功能关联向量输入softmax分类器实现分类预测.实验表明,该文所提方法相对流行的Web服务分类方法在准确率的提升区间为4.1%~8.65%,在F1-score的提升区间为4.21%~10.69%.

面向功能语义增强与标签关联的Web服务标签推荐

为了提升标签推荐的质量,提出一种面向功能语义增强与标签关联的Web服务标签推荐方法。将语境权重融入TextRank模型,提取与服务功能契合度高的关键词,用于构建功能语义增强的服务表征向量;建立标签关联图,基于改进的GraphSAGE模型生成标签关联向量;利用KNN算法获取推荐的主标签与候选标签集合,面向服务表征向量和标签关联向量构建融合适配度与关联度的标签推荐方法。实验表明,所提方法在accuracy与F_(1)-score指标上优于当前流行的标签推荐方法,标签推荐质量得到提升。

基于文本语义增强和评论立场加权的网络谣言检测

社交网络方便人们信息交流的同时也为谣言的传播提供了新的温床。由于社交媒体帖子通常十分精简,大多数基于内容语义特征的谣言检测方法面临着语义信息不足的挑战。同时,目前基于传播特征的谣言检测方法常常忽略了评论用户的个体特征,未能合理分配不同用户评论的权重。因此,提出一种结合文本语义增强和评论立场加权的网络谣言检测方法。通过外部知识图谱获取帖子中的实体和概念的解释,以提供更多上下文信息,从而增强语义理解。借助点互信息将增强后的文本转化为加权图表示,并利用加权图注意力网络学习帖子的增强语义特征。通过预训练的立场检测模型提取帖子中每条评论的立场信息,并根据评论用户的特征来学习立场信息的权重值。将评论立场的时序数据和相应的评论用户序列数据输入跨模态的Transformer,以学习评论立场的时序特征。将增强的语义特征与加权的评论立场时序特征进行自适应融合,并输入多层感知机中进行分类。在PHEME和Weibo两个数据集上的实验结果表明,该方法不仅准确率高于最先进的基线方法1.6个百分点以上,而且在早期谣言检测方面,比最好的基线方法提前12 h。

语义增强的零样本甲骨文字符识别

甲骨文识别对于了解中国历史和传承中华文化都有重要的价值.目前,人工识别甲骨文需要具备丰富的专家经验并耗费大量的时间,而自动识别甲骨文的方法绝大部分受制于闭集假设,在甲骨文这种陆续发现新字符的现实场景下适用范围受限.为此,有研究者提出零样本甲骨文字符识别,其从视觉匹配的角度出发,将字模图像作为字符类别参考,通过拓片图像与字模图像的相似度匹配实现拓片图像的字符识别,然而其忽略了甲骨文拓片图像样本类内方差大的难点,仍存在因字形多变而容易匹配错误的不足.本文提出了一种两阶段的语义增强零样本甲骨文字符识别方法.第一阶段为域无关的字符语义学习阶段,通过提示学习从甲骨文拓片和字模图像中提取字符语义,解决甲骨文字符缺乏语义的问题.为应对拓片与字模之间的域差异,我们分别设置可学习的域提示信息和字符类别提示信息,通过解耦两者的语义实现更准确的特征提取.第二阶段为语义增强的字符图像视觉匹配阶段,模型通过两个分支分别提取类内共享特征和类间差异特征.第一个分支使用对比学习,将同一字符类别的不同字形视觉特征对齐到字符语义,引导模型关注类内共享特征;第二个分支使用损失函数N-Pair,增强模型对不同字符类别间差异特征的学习.在测试阶段,模型无须语义特征,通过训练中学到的类内相似性和类间差异性特征,实现更准确的拓片与字模匹配,提升零样本识别性能.我们在拓片数据集OBC306和字模数据集SOC5519上进行实验验证,实验结果表明,本文提出的方法在零样本甲骨文识别准确率比基准方法性能提升超过25%.

基于模态语义增强的跨模态食谱检索方法

在跨模态食谱检索任务中,如何有效地对模态进行特征表示是一个热点问题。目前一般使用两个独立的神经网络分别获取图像和食谱的特征,通过跨模态对齐实现跨模态检索。但这些方法主要关注模态内的特征信息,忽略了模态间的特征交互,导致部分有效模态信息丢失。针对该问题,提出一种通过多模态编码器来增强模态语义的跨模态食谱检索方法。首先使用预训练模型提取图像和食谱的初始语义特征,并借助对抗损失缩小模态间差异;然后利用成对跨模态注意力使来自一个模态的特征反复强化另一个模态的特征,进一步提取有效信息;接着采用自注意力机制对模态的内部特征进行建模,以捕捉丰富的模态特定语义信息和潜在关联知识;最后,引入三元组损失最小化同类样本间的距离,实现跨模态检索学习。在Recipe 1M数据集上的实验结果表明,该方法在中位数排名(MedR)和前K召回率(R@K)等方面均优于目前的主流方法,为跨模态检索任务提供了有力的解决方案。

基于改进注意力机制和多语义特征增强的自然环境下枣品种识别方法

针对目前自然环境下枣品种识别准确率较低的问题,提出了一种基于注意力机制和多语义特征增强的枣品种识别模型(ICBAM_MSFE_Res50)。该模型在ResNet-50基础上,引入改进注意力机制(Improved convolutional block attention module,ICBAM),ICBAM采用一维卷积和多尺度空洞卷积对卷积块注意力模块(CBAM)进行改进,消除了特征图降维时的信息损失,降低了模型计算量和参数量,提高了模型对枣果区域细粒度特征的提取能力。同时,提出了多语义特征增强(Multi semantic feature enhancement,MSFE)模块,该模块通过枣果区域定位算法提取更多枣果局部显著特征,并采用显著性特征抑制算法迫使模型学习枣果次要特征,从而达到枣果多种语义特征学习。实验结果表明,在20类枣品种数据集上,本文模型准确率为92.20%,与ResNet-50相比,提高4.26个百分点。对比AlexNet、VGG-16、ResNet-18、InceptionV3模型,准确率分别提高15.84、9.22、6.86、3.55个百分点。对比其他枣品种识别方法,本文方法在20种枣品种识别中表现最优,可为自然环境下枣品种识别研究提供参考。

基于语义增强的网络安全实体识别

从大规模、异构和非结构化的网络空间安全信息文本中识别网络安全实体时,因为实体高频变化和随机性强的特点,导致容易出现实体稀疏的问题,为此提出一种基于语义增强的网络安全实体识别模型。从多维语言学特征增强和语料增强两个方面获取语义增强输入矩阵;利用双向长短记忆网络获取输入矩阵的上下文特征;基于注意力机制对输出的特征生成注意力分配系数,用前馈神经网络聚合和编码来自不同空间的特征;使用条件随机场计算生成最优实体识别序列。实验结果表明,该模型对网络安全实体进行识别,结果显著优于通用领域实体识别模型;与其它网络安全实体识别模型相比较,该模型能得到更好的效果。

一种基于异构图神经网络和文本语义增强的实体关系抽取方法

信息化时代,如何从海量自然语言文本中提取结构化信息已经成为研究热点。电力系统中繁杂的知识信息需要通过构建知识图谱来解决,而实体关系抽取是其上游的信息抽取任务,其完成度直接关系到知识图谱的有效性。而随着深度学习的不断发展,利用深度学习技术来完成实体关系抽取任务的研究逐渐展开并取得了良好的效果。然而目前依然存在文本语义应用不完全等问题。针对这些问题本文尝试提出了一种基于异构图神经网络和文本语义增强的实体关系抽取方法,该方法使用词节点与关系节点学习语义特征,并通过BRET与预训练任务分别获得两种节点的初始特征,使用多层图网络结构迭代更新,并在每一层中使用基于多头注意力机制的信息传递实现两种节点的交互。通过该模型与其他实体关系抽取在两个公开数据集上实验对比,所提模型取得了预期效果,在多种情境下普遍优于对比模型。

基于语义增强的在线健康社区情感分析研究

[目的/意义]为了更充分利用文本依存句法信息和先验情感知识在情感分析中的价值,提出了一种语义增强的在线健康社区情感分析模型。[方法/过程]首先预处理在线健康社区数据,并通过BERT生成特征向量;接着基于双通道思想,利用TextCNN和BiLSTM分别抽取在线评论文本的局部和全局信息,然后在GAT中融入情感知识和文本依存句法信息进行语义增强;最后进行双通道特征拼接,并在全连接层实现在线健康社区情感极性判断。[结果/结论]通过对31 718条在线健康社区评论数据进行对照实验发现,基于语义增强的BERT-TBGH模型准确率达到90.77%,相比基准模型TextCNN和BiLSTM分别提升了10.57%和7.79%,引入情感知识和字粒度依存句法信息后,准确率分别提升了1.85%和1.00%。文章提出的基于语义增强的BERTTBGH模型能够有效提升在线健康社区情感分析效果。