基于学术知识图谱的增强语义表示与检索

知识图谱作为一个巨大的知识网络图,其中包含着实体概念、关系等信息.基于深度学习的语义表示虽然泛化性强,但对于一些专有知识的敏感度不高,所以许多研究尝试将知识图谱与神经网络结合.目前大部分知识图谱语义表示的方法是围绕通用领域知识图谱展开的,没有针对学术领域的知识图谱语义表示方法的研究.本文以学术文献的全文本数据为研究对象,从基于学术知识图谱的语义表示方法切入研究,在构建学术知识图谱的基础上,对通用领域的研究方法(K-BERT)进行领域化改进(KEBERT),进一步使用实体知识增强文本的语义信息.通过开展下游任务的对比实验,在学术检索数据集上验证KEBERT、K-BERT和ERNIE的性能.实验采用检索任务中常用的NDCG评价指标对结果进行评价,实验结果表明改进后的KEBERT在检索任务上的效果优于其他模型.

增强语义分割的网络模型PS-UNet

文章提出了一种提升上下文依赖关系的增强语义分割网络模型PS-UNet实现医学图像分割.PS-UNet将残差块、PCA模块和SPP模块融合到U-Net网络模型中,可获取更多的特征信息,从而提升分割效果.该模型既可以对器官轮廓粗分割又可以对视网膜血管和细胞精细分割.在公开的数据集上分别对肺部、视网膜血管和细胞分割进行了测试.实验结果表明,与当前先进网络模型相比,PS-UNet在所有实验中,性能均有所提升,其中肺部分割中准确率和灵敏度相对于U-Net网络模型分别提高了2.03%和2.24%,Dice相似系数达到了97.16%.

基于增强语义模型的货品名分类算法

海关申报(报关)是指进出口货物所有人向海关办理进出境手续的过程。报关过程主要包括:填写报关单、单据检验、货物查验等流程。本文主要针对报关单中的货物品名依赖人工填写,存在申报成本高、效率低下、准确率不稳定等有待优化的问题,提出以报关货物描述短文本为基础,分别使用TF-IDF模型和BERT模型提取词频特征与语义特征,根据语料特点创新性地用词频特征增强语义特征;用ViT模型提取货物图像特征并与文本特征在交叉注意力机制作用下融合,再由多粒度级联森林分类器实现货物名称分类,达到精准获取货物品名的目的。实验结果显示:货物品名分类准确率为0.92,召回率为0.90,F1-score为0.91,表明了本文所提算法在解决报关货物品名分类问题上具有合理性与优越性,有助于解决现有问题。

基于增强语义与多注意力机制学习的深度相关跟踪

在基准可判别相关滤波器网络(DCFNet)目标跟踪过程中,遮挡和运动模糊情况会导致目标发生漂移。针对该问题,结合增强语义与多注意力机制深度学习,设计一种端到端的相关滤波器网络RACFNet。由EDNet网络得到高级语义信息弥补单独低级特征表示的不足,同时加入通道和空间残差注意力机制,使网络能够对不同的跟踪对象提取出更具针对性的表观信息。在此基础上,通过添加相关滤波层并输出响应图最大值推测目标位置。在OTB-2013和OTB-2015基准测试集上的实验结果表明,RACFNet跟踪速度平均可达92帧/s,跟踪成功率较DCFNet分别提高8.20%和10.69%。

基于注意力机制语义增强的文档级关系抽取

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集(DocRED、CDR、GDA和DWIE)上评估了Att-DocuNet模型并取得了良好的实验结果。

语义增强与高阶强交互的SAR图像舰船检测

合成孔径雷达(synthetic aperture radar,SAR)图像背景信息复杂、舰船目标边缘模糊,且多为容易丢失的小尺度舰船目标。针对上述问题,提出语义增强与高阶强交互的SAR图像舰船检测。该方法利用部分卷积与非对称卷积构建部分非对称卷积聚合网络,在减少计算复杂度、轻量化主干网络的同时,更好地捕捉多尺度舰船特征,同时在上采样部分引入双层路由注意力,增强对图像上下文信息的利用。另外,通过递归的方式进行特征提取,可以较好解决区域内信息交互的问题,实现不同级别特征之间的高阶交互建模,提升模型检测能力。在公开的HRSID遥感数据集上进行实验的结果表明,该方法的检测精度达到91.23%,相比原模型提升5.13%,准确率与召回率分别提升2.41%和7.16%,与主流算法相比具有较好的检测效果。

电力设备缺陷文本的双通道语义增强网络挖掘方法

电力设备运维环节积累的缺陷文本可指导设备的状态评价和检修工作。然而缺陷文本结构多样且背景噪声强,导致智能挖掘信息的难度大。针对该问题,提出了基于双通道语义增强网络的电力设备缺陷文本挖掘方法。首先,分析缺陷文本的内容,结合自然语言处理方法预处理缺陷文本。利用Glove词向量嵌入模型将缺陷文本映射至数值空间表征语义。然后,基于词移距离构建缺陷文本的增强文本,通过含注意力机制的双向长短时记忆神经网络分别提取缺陷文本和增强文本的特征,进而在网络末端融合特征实现关键信息加强,提升模型分类性能。实例表明,所提双通道语义增强网络的分类Macro-F1指标相比于传统机器学习方法、单通道深度学习方法至少提高6.2%、5.2%,同时所提方法为实现图像、文本等多源运维数据的特征增强提供新思路。

基于主题感知和语义增强的作文自动评分方法

作文自动评分(AES)是教育领域中应用自然语言处理(NLP)技术的重要研究方向之一,其旨在提高评分效率,增强评价的客观性和可靠性。针对主题相关性缺失和长文本信息丢失问题以及预训练语言模型BERT不同层次能够提取不同维度特征的特点,提出一种基于主题感知和语义增强的作文自动评分模型。该模型采用多头注意力机制提取作文的浅层语义特征并感知作文主题特征,同时利用BERT的中间层句法特征和深层语义特征增强对作文语义的理解。在此基础上,融合不同维度的特征并用于作文自动评分。实验结果表明,该模型在公共数据集ASAP的8个子集上均表现出了显著的性能优势,相比于通义千问等基线模型,其能够有效提升作文自动评分性能,平均二次加权的卡帕值(QWK)达到80.25%。

面向语义增强与双尺度功能注意力网络的Web服务分类方法

服务功能特征的提取质量直接影响着服务分类的精确度.为提升分类精确度,本文提出一种基于语义增强与双尺度功能注意力网络的Web服务分类方法.首先,采取近义词替换的方式构建服务描述的孪生样本,在SimCSE框架下生成语义增强的服务功能向量.然后,基于标签共现关系建立服务功能关联图,构建双尺度功能注意力网络,生成服务功能关联向量.最后,将服务功能向量与功能关联向量输入softmax分类器实现分类预测.实验表明,该文所提方法相对流行的Web服务分类方法在准确率的提升区间为4.1%~8.65%,在F1-score的提升区间为4.21%~10.69%.

面向功能语义增强与标签关联的Web服务标签推荐

为了提升标签推荐的质量,提出一种面向功能语义增强与标签关联的Web服务标签推荐方法。将语境权重融入TextRank模型,提取与服务功能契合度高的关键词,用于构建功能语义增强的服务表征向量;建立标签关联图,基于改进的GraphSAGE模型生成标签关联向量;利用KNN算法获取推荐的主标签与候选标签集合,面向服务表征向量和标签关联向量构建融合适配度与关联度的标签推荐方法。实验表明,所提方法在accuracy与F_(1)-score指标上优于当前流行的标签推荐方法,标签推荐质量得到提升。

基于模态语义增强的跨模态食谱检索方法

在跨模态食谱检索任务中,如何有效地对模态进行特征表示是一个热点问题。目前一般使用两个独立的神经网络分别获取图像和食谱的特征,通过跨模态对齐实现跨模态检索。但这些方法主要关注模态内的特征信息,忽略了模态间的特征交互,导致部分有效模态信息丢失。针对该问题,提出一种通过多模态编码器来增强模态语义的跨模态食谱检索方法。首先使用预训练模型提取图像和食谱的初始语义特征,并借助对抗损失缩小模态间差异;然后利用成对跨模态注意力使来自一个模态的特征反复强化另一个模态的特征,进一步提取有效信息;接着采用自注意力机制对模态的内部特征进行建模,以捕捉丰富的模态特定语义信息和潜在关联知识;最后,引入三元组损失最小化同类样本间的距离,实现跨模态检索学习。在Recipe 1M数据集上的实验结果表明,该方法在中位数排名(MedR)和前K召回率(R@K)等方面均优于目前的主流方法,为跨模态检索任务提供了有力的解决方案。

基于改进注意力机制和多语义特征增强的自然环境下枣品种识别方法

针对目前自然环境下枣品种识别准确率较低的问题,提出了一种基于注意力机制和多语义特征增强的枣品种识别模型(ICBAM_MSFE_Res50)。该模型在ResNet-50基础上,引入改进注意力机制(Improved convolutional block attention module,ICBAM),ICBAM采用一维卷积和多尺度空洞卷积对卷积块注意力模块(CBAM)进行改进,消除了特征图降维时的信息损失,降低了模型计算量和参数量,提高了模型对枣果区域细粒度特征的提取能力。同时,提出了多语义特征增强(Multi semantic feature enhancement,MSFE)模块,该模块通过枣果区域定位算法提取更多枣果局部显著特征,并采用显著性特征抑制算法迫使模型学习枣果次要特征,从而达到枣果多种语义特征学习。实验结果表明,在20类枣品种数据集上,本文模型准确率为92.20%,与ResNet-50相比,提高4.26个百分点。对比AlexNet、VGG-16、ResNet-18、InceptionV3模型,准确率分别提高15.84、9.22、6.86、3.55个百分点。对比其他枣品种识别方法,本文方法在20种枣品种识别中表现最优,可为自然环境下枣品种识别研究提供参考。

基于语义增强的网络安全实体识别

从大规模、异构和非结构化的网络空间安全信息文本中识别网络安全实体时,因为实体高频变化和随机性强的特点,导致容易出现实体稀疏的问题,为此提出一种基于语义增强的网络安全实体识别模型。从多维语言学特征增强和语料增强两个方面获取语义增强输入矩阵;利用双向长短记忆网络获取输入矩阵的上下文特征;基于注意力机制对输出的特征生成注意力分配系数,用前馈神经网络聚合和编码来自不同空间的特征;使用条件随机场计算生成最优实体识别序列。实验结果表明,该模型对网络安全实体进行识别,结果显著优于通用领域实体识别模型;与其它网络安全实体识别模型相比较,该模型能得到更好的效果。

一种基于异构图神经网络和文本语义增强的实体关系抽取方法

信息化时代,如何从海量自然语言文本中提取结构化信息已经成为研究热点。电力系统中繁杂的知识信息需要通过构建知识图谱来解决,而实体关系抽取是其上游的信息抽取任务,其完成度直接关系到知识图谱的有效性。而随着深度学习的不断发展,利用深度学习技术来完成实体关系抽取任务的研究逐渐展开并取得了良好的效果。然而目前依然存在文本语义应用不完全等问题。针对这些问题本文尝试提出了一种基于异构图神经网络和文本语义增强的实体关系抽取方法,该方法使用词节点与关系节点学习语义特征,并通过BRET与预训练任务分别获得两种节点的初始特征,使用多层图网络结构迭代更新,并在每一层中使用基于多头注意力机制的信息传递实现两种节点的交互。通过该模型与其他实体关系抽取在两个公开数据集上实验对比,所提模型取得了预期效果,在多种情境下普遍优于对比模型。

基于语义和结构增强的时序知识图谱问答方法

知识图谱作为自然语言处理领域中的热门研究主题之一,一直受到学术界的广泛关注。在现实中,知识问答过程往往携带时间信息,因此,近年来,应用时序知识图谱来完成知识问答的技术广泛受到学者的青睐。传统的时序知识图谱问答技术主要通过对问题进行编码来完成推理过程,但其无法处理问题中包含的复杂的实体和时间关系。基于此,提出一种基于语义和结构增强的时序知识图谱问答方法,在推理过程中兼顾问题的语义信息和结构信息,提升对复杂问题正确回答的概率。首先,该方法解析出问题中的隐式时间表达,并基于时序知识图谱中的信息,用直接表达方式改写问题,再根据问题集合中的时间粒度,按照不同的时间粒度聚合时序知识图谱中的时间信息。其次,基于问题中的实体信息和时间信息,对问题语义信息进行表示和融合,以加强对于实体和时间语义的学习。再次,基于提取到的实体完成子图提取,并利用图卷积神经网络提取子图的结构信息。最后,将融合后的问题语义信息与结构信息进行拼接,并对候选答案进行评分,选取评分最高的实体作为答案。在MultiTQ数据集上进行对比测试,实验结果表明,提出的模型优于其他基准模型。

基于语义增强的在线健康社区情感分析研究

[目的/意义]为了更充分利用文本依存句法信息和先验情感知识在情感分析中的价值,提出了一种语义增强的在线健康社区情感分析模型。[方法/过程]首先预处理在线健康社区数据,并通过BERT生成特征向量;接着基于双通道思想,利用TextCNN和BiLSTM分别抽取在线评论文本的局部和全局信息,然后在GAT中融入情感知识和文本依存句法信息进行语义增强;最后进行双通道特征拼接,并在全连接层实现在线健康社区情感极性判断。[结果/结论]通过对31 718条在线健康社区评论数据进行对照实验发现,基于语义增强的BERT-TBGH模型准确率达到90.77%,相比基准模型TextCNN和BiLSTM分别提升了10.57%和7.79%,引入情感知识和字粒度依存句法信息后,准确率分别提升了1.85%和1.00%。文章提出的基于语义增强的BERTTBGH模型能够有效提升在线健康社区情感分析效果。

基于条件语义增强的文本到图像生成

文本到图像生成取得了视觉上的优异效果,但存在细节表达不足的问题.于是提出基于条件语义增强的生成对抗模型(conditional semantic augmentation generative adversarial network,CSA-GAN).所提模型首先将文本进行编码,使用条件语义增强对其进行处理.之后,提取生成器的中间特征进行上采样,再通过两层CNN生成图像的掩码.最后将文本编码送入两个感知器处理后和掩码进行融合,充分融合图像空间特征和文本语义,以提高细节表达.为了验证所提模型的生成图像的质量,在不同的数据集上进行定量分析、定性分析.使用IS(inception score)、FID(Frechet inception distance)指标对图像清晰度,多样性和图像的自然真实程度进行定量评估.定性分析包括可视化生成的图像,消融实验分析具体模块等.结果表明:所提模型均优于近年来同类最优工作.这充分验证所提出的方法具有更优性能,同时能够优化图像生成过程中一些主体特征细节的表达.

基于语义增强的藏医药命名实体识别研究

针对通用藏文预训练语言模型在处理藏医数据时无法适应且存在词信息损失的问题,提出了一种融合藏医词汇特征与通用藏文预训练模型字特征的方法,以改善对藏医学专有名词的识别,并增强模型对藏医领域的理解能力。该方法通过构建藏医领域的特征词典,并利用词典来获取训练数据中每个字潜在的匹配词集,接着将词集特征嵌入字符表示中来增强藏医字符的表征能力。经实验表明,仅使用通用藏文预训练模型会降低对藏医实体识别的性能。融合词集特征后,F1值明显提高了17.19%,验证了此方法不仅能补充预训练模型缺乏的词汇信息,还可以有效缓解模型与藏医数据不匹配的问题。

基于特征增强网络的交通场景图像语义分割

针对当前交通场景图像语义分割时,因特征信息提取不足导致分割精度低的问题,提出了特征增强网络(EFN).首先将网络ResNeXt-101中卷积层5-3的输出输入到多尺度特征注意力模块中进行有针对性的特征提取;然后输出结果与卷积层2-3、卷积层3-3和卷积层4-3提取的特征图通过特征融合模块进行高效的特征融合,最后利用上采样得到图像分割结果。在数据集CamVid上的实验结果表明特征增强网络可有效提高交通场景图像语义分割的精准度。

语义信息增强的3D激光SLAM技术进展

由于激光雷达可直接获得测距信息且相较于视觉传感器对光照等环境变化更具鲁棒性等优点,激光同步定位与建图(SLAM)技术近年来得到广泛发展。传统激光SLAM已取得很多研究成果,但其仅利用几何特征,对场景的理解有限,难以应对复杂任务,除此之外,当前SLAM应用场景已由传统静态场景向复杂动态场景过渡,传统方法由于动态元素干扰大多难以获得较好的性能。因此,语义信息增强的三维(3D)激光SLAM技术愈发受到研究学者们的关注,通过赋予点云语义标签与纯几何特征进行融合,一方面借助语义信息滤除潜在运动对象以解决静态环境假设问题,另一方面以语义信息辅助激光里程计获得高精度的定位与建图。综述了语义信息增强的3D激光SLAM技术研究进展,提出了该技术通用框架,分模块对该领域的突出研究成果及应用进行重点介绍,最后对该领域发展方向进行了总结与展望。