融合多时间维度视觉与语义信息的图像描述方法

传统的图像描述方法仅使用当前时刻的视觉信息和语义信息来生成预测词,而没有考虑过去时刻的视觉信息和语义信息,从而导致模型输出的信息在时间维度上比较单一,因此生成的描述语句在准确性上有所欠缺。针对此问题,提出一种融合多时间维度视觉与语义信息的图像描述方法,有效地融合了过去时刻的视觉信息和语义信息,并设计一种门控机制动态地对两种信息进行选择利用。在MSCOCO数据集上进行实验验证,结果表明该方法能够更准确地生成描述语句,和当前最主流的图像描述方法进行对比,性能在各项评价指标上都得到了可观的提升。

融合双通道的语义信息的方面级情感分析

针对方面级情感分析任务中语义信息难以提取以及方面词信息难以和上下文信息相关联的问题,提出一种融合双通道的语义信息模型(FDCS)。通过BERT预训练模型搭建两个通道获取不同层次的语义信息,一个是全局信息通道,另一个是句子信息通道;使用语义注意力融合双通道中不同层次的语义信息,将融合后的语义信息再次分别融入全局信息和句子信息;根据每个通道语义信息的不同分别提取相应的特征信息。在3个基准数据集上的实验结果表明,该模型的性能优于其它模型。

基于词汇搭配的蒙古语兼类词语法和语义信息标注研究

通过对《蒙古文学语料库》中的兼类词文本进行语法和语义信息标注得出了以下结论:蒙古语兼类现象主要集中在形容词、名词、动词和副词之间;兼类词的语义分类信息最多为名词义类,其次为形容词义类、动词义类;兼类词的语义格信息最多为受格,其次是性状格、情态格。本实验对基于语义分类和语义格信息的蒙古语兼类词搭配的语义关系描述提供知识依据。

融合共现和语义信息的药对提取方法研究及应用

目的针对处方数据特点,提出一种融合共现和语义信息的药对提取算法。方法将处方数据转化为矩阵数据,计算药物之间的关联信息作为初始筛选指标,再根据处方数据构建词向量,计算药物之间的语义相似度,作为第二筛选指标,从而提取潜在药对。将本文算法与经典的Apriori算法分别对1090条肺癌门诊处方用药数据进行实验,对比分析实验提取结果,从而验证本算法提取的有效性及实用性。结果与Apriori算法相比,本算法提取药对效果较好,可以在药物频次相差较大的情况下合理地缩小潜在药对选择范围,此外对阈值结果进行比对,针对本文数据根据数量变化与专家经验,分别推出两组建议阈值,在推荐阈值设置的范围下分别成功提取出医案中的88组与33组药对。结论词频结合语义信息用于筛选潜在药对的方法是可行且有效的,可为中医临床处方用药经验挖掘提供方法参考。

基于标签语义信息感知的少样本命名实体识别方法

在少样本命名实体识别方法中,目前广泛应用的方法是基于原型网络的两阶段模型。但是,该方法未充分利用实体标签中的语义信息,且在距离计算中过度依赖实体类型原型向量,导致模型泛化能力差。针对这些问题,提出一种基于标签语义信息感知的少样本命名实体识别方法。该方法是一种先进行实体跨度检测,再判断实体类型的两阶段方法。在构建实体类型原型向量时,将对应实体类型包含的语义信息考虑在内,通过维度转换层将其与原型向量相融合。在对新样本进行实体识别时,将实体类型的正负样本与实体类型原型向量组成实体类型三元组,依据样本到三元组的距离对其进行分类。在多个数据集上的实验结果证明,该模型的性能比以往的模型有较大的提升。

融合IFC语义信息与几何相似性的BIM构件实例信息提取方法

建筑信息模型(BIM)能够对建筑结构、部件组成及其业务语义属性进行准确表达,在智慧城市时空底板建设及建筑物“规、建、养、运”全生命周期数字化管理中发挥着重要的作用。BIM模型的数量级大、引用关系与层级结构复杂,增加了BIM构件实例信息的提取难度,从而导致目前的CIM平台难以直接利用BIM构件实例信息实现轻量化的数据传输、流畅的可视化及BIM分析计算。针对此问题,本文提出了一种融合IFC语义信息与几何相似性的BIM构件实例信息提取方法,在充分考虑IFC几何引用语义信息的基础上,使用ICP算法和豪斯多夫距离计算几何相似性,实现对BIM构件实例信息的精确提取;此外,还针对BIM场景中常见的拉伸体构件,提出了一种基于特殊拉伸体的实例信息快速提取方法;最后选取了5个不同BIM专业的试验示例数据进行详尽分析。试验结果显示,本文提出的BIM构件实例信息提取方法在各种示例数据中的文件平均压缩率为29.79%,能够显著地减小文件体积;在BIM构件实例信息提取能力方面,实现了79.41%的平均构件实例化率及22.47%的平均实体压缩率,且每个实例化构件平均包含的子构件数量高达49.24。本文方案可以充分提取IFC文件中的BIM构件实例信息,能够为海量BIM模型的轻量化提供强有力的技术支撑。

结合语法结构和语义信息的情感三元组提取

针对目前大多数方面情感三元组提取方法存在着没有充分考虑语法结构和语义相关性的问题.本文提出一种结合语法结构和语义信息的方面情感三元组提取模型,首先提出使用依赖解析器得到所有依赖弧的概率矩阵构建语法图,提取丰富的语法结构信息.其次利用自注意力机制构建语义图,表示单词与单词之间的语义相关性,从而减低噪声词的干扰.最后设计了一个相互仿射变换层,让模型可以更好地交换语法图和语义图之间的相关特征,提升模型情感三元组提取的表现.在多个公开数据集上进行验证.实验表明,与现有的情感三元组提取模型相比,精确度(P)、召回率(R)和F1值整体都有提高,验证了结合语法结构和语义信息在方面情感三元组提取的有效性.

基于结构及语义信息的知识图谱补全算法

知识图谱作为一种强大的知识表示工具,已经成为信息检索领域的关键技术之一。传统的知识图谱补全算法主要依赖图结构信息,而忽略了实体和关系的语义信息。为弥补这一不足,文章提出了一种基于结构及语义信息的知识图谱补全算法,通过预训练语言模型前向传递生成来捕获三元组中的语义信息,依靠反向传播优化结构化损失来重建语义嵌入中的知识图谱结构,并结合对比学习来训练模型从而提高模型性能。文章提出的算法与传统的基于结构的算法TransE比较,在Hits@10指标上提升7.0%。

语义信息增强的3D激光SLAM技术进展

由于激光雷达可直接获得测距信息且相较于视觉传感器对光照等环境变化更具鲁棒性等优点,激光同步定位与建图(SLAM)技术近年来得到广泛发展。传统激光SLAM已取得很多研究成果,但其仅利用几何特征,对场景的理解有限,难以应对复杂任务,除此之外,当前SLAM应用场景已由传统静态场景向复杂动态场景过渡,传统方法由于动态元素干扰大多难以获得较好的性能。因此,语义信息增强的三维(3D)激光SLAM技术愈发受到研究学者们的关注,通过赋予点云语义标签与纯几何特征进行融合,一方面借助语义信息滤除潜在运动对象以解决静态环境假设问题,另一方面以语义信息辅助激光里程计获得高精度的定位与建图。综述了语义信息增强的3D激光SLAM技术研究进展,提出了该技术通用框架,分模块对该领域的突出研究成果及应用进行重点介绍,最后对该领域发展方向进行了总结与展望。

基于语义信息的大规模知识图谱补全算法

针对现有知识图谱补全算法中存在三元组复杂关系表示能力弱,缺失实体与实体关系三元组预测精度低的问题,提出一种基于改进Trans H算法与DSICNN算法相结合的知识图谱补全算法,提高了缺失三元组的预测精度。上述算法首先通过构建语义信息超平面Si提高Trans H算法性能;然后利用改进算法提取三元组偏导语义信息向量DSI,提高三元组复杂关系表示能力;接着将DSI链接后作为卷积神经网络的输入,通过卷积、池化与投影处理,构建DSICNN模型;最后利用损失函数迭代并用打分评价函数对构建的模型进行评价。链接预测实验与三元组分类实验表明,提出的DSICNN算法针对实体关系预测在MR、MRR以及Hits@10指标上均有着最高性能,且在FB15K-237和NELL-995大数量文本数据集中有着较好的表现,表明提出的算法在提高三元组预测精度降低了三元组复杂关系的表示能力,且可以用于大规模知识图谱补全。

融合多重视觉特征与语义信息的图像描述生成

针对图像描述模型中对语义信息考虑不足,循环神经网络收敛速度慢与精度低等问题,提出一种基于多注意力融合的深层图像描述模型。通过对图像中提取到的内容信息以及文本描述信息分配不同的权重,达到提升精度的效果,融合MOGRIFIER网络解决循环神经网络收敛速度缓慢的问题。使用改进模型与传统模型在数据集MSCOCO上进行对比实验,实验结果表明,该方法能够生成更加准确的描述,在BLEU与CIDEr等关键指标上有明显提升。

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.

多阶段时序和语义信息增强的问题生成模型

针对图到序列的问题生成模型编码器的多阶段编码以及解码过程中容易丢失段落中丰富的序列信息和语义结构信息的问题,设计了基于多阶段时序和语义信息增强的模型MS-SIE。首先,将编码器不同阶段编码的段落语义信息进行融合,输入到循环神经网络进行编码;然后,在解码阶段引入迭代图神经网络,将编码后的段落信息与解码阶段隐藏在先前生成的文本问题中丰富的语义结构信息相结合;最后,利用基于注意力机制的循环神经网络生成问题。实验结果表明,提出的模型在自动评估指标和人工评价指标上均明显优于现有的序列到序列模型和图到序列模型。

基于轻量级语义信息融合的动作识别方法

针对目前大多数的动作识别方法使用深层网络训练模型导致模型参数量大、验证成本高以及语义信息利用不足等问题,提出一种基于轻量级语义信息融合的动作识别方法(LSIF-GCN),实现了模型的轻量化和对语义信息的充分利用。首先,LSIF-GCN将数据预处理后的关节流、速度流和骨骼流三种不同的输入信息编码至高维空间后,经过一层图卷积操作,以达到特征增强和降低维度的目的,再把三种信息流在通道维度上进行拼接融合。然后,为了充分利用语义信息提取不同关节之间潜在的权重关系,提出一种“瓶颈型”的四层图卷积模块。最后,采用分流网络设计的时间卷积模块,并引入自注意力机制,在减少模型参数量的同时也提高了网络的性能。该模型具有简单的结构和训练过程,便于在低成本的嵌入式设备的实时动作识别系统中部署。在NTU-RGB+D 60和NTU-RGB+D 120数据集上的大量实验表明,该方法不仅在识别精度和模型复杂度(参数量和GFLOPs)上优于目前一些主流的轻量级方法,而且与一些近几年的SOTA方法相比也具有一定的优势。

融合La格虚词语义信息的藏文La格分类模型

采用深度学习方法实现藏文La格(■)分类是一项具有挑战性和重要研究意义的藏语自然语言处理任务.藏文La格的自动分类更加依赖于上下文语义信息和特征的时序性,该文通过分析La格虚词的用法及语义特征,在设计La格虚词语义信息标记算法的基础上,提出一种融合La格虚词语义信息的藏文La格分类模型.该模型首先以每个音节及对应La格虚词或其它音节的语义特征嵌入作为输入,丰富嵌入向量的语义信息,增加输入特征的多样性;然后采用一维卷积融合并学习每个音节及对应La格虚词或其它音节语义信息的局部特征向量,提高卷积层的空间特征学习能力;其次使用双向长短时记忆网络(long short-term memory)(LSTM)学习时序特征,提高时序特征的学习能力;最后使用注意力机制对双向LSTM层每一时刻的输出特征进行加权融合,充分利用每一时刻的输出特征,以提高最终文本表示的特征质量.在TLD藏文La格数据集上的实验结果显示,该模型的分类效果优于基线模型及仅用藏文音节嵌入的模型,在测试集上的分类准确率为93.10%.

基于语义信息引导的图像协调化

图像协调化在图像处理中占据着一个重要的地位,它旨在调整前景外观(如光照、颜色、纹理等)使其与背景在视觉上保持一致.然而,现有的基于深度学习方法通常将图像整体背景的特征分布作为线索来调整前景,没有注重语义信息对前景调整的关键作用,导致前景的局部区域与背景在视觉上出现差异.为此,本文基于多分辨率选择融合模块(Multi-Resolution Selective Fusion Module,MRSFM)和轻量级的卷积块注意力模块(Convolutional Block Attention Module,CBAM),设计了一个基于双注意力机制的多分辨率选择融合模块(Multi-Resolution Selective Fusion module based on Dual Attention Mechanism,MRSF-DAM),使得最后输出的特征图具有丰富的语义信息,从而引导网络更好地理解图像前景与它周围场景之间的相关性,使网络更加充分地从背景中获取协调前景所需的各种信息,最终缩小图像前景区域和背景区域在视觉上的外观差异.此外,本文设计了一个新的网络架构来选择融合浅层和深层的特征信息,通过对解码器前6层网络层与MRSF-DAM的输出特征图进行多尺度融合和增强,将产生的增强特征图送入解码器的最后层,能够缓解由跳跃连接引入的与前景内容的特征不相关的问题,且减少了由于解码器经过多次下采样带来的空间特征信息损失,进一步提高生成协调图像的真实性.在广泛使用的iHarmony4基准数据集上进行了大量的实验验证了本文方法的有效性.相比于目前最新的方法 SCS-Co(Self-Consistent Style Contrastive learning for image harmonization),本文方法在整个数据集的均方误差(Mean Squared Error,MSE)、前景均方误差(foreground Mean Squared Error,fMSE)和峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)上分别提升了4.28,61.97和1 dB.

基于像素语义信息的单图像视图生成深度预测方法

单幅图像的深度预测具有重要的应用前景。为解决现有视图生成方法中图像扭曲的问题,创新性引入目标检测思想改进了视图生成网络Deep3D,提出基于像素语义信息的单图像视图生成模型。把视图生成网络得到视差概率分布和目标检测模型提取到中心点概率分布加权结合到一起。把模型得到的视差图与输入图结合来产生右图,最后利用左右图计算得到深度图。实验结果显示,该方法有效提升了生成右图和计算得到深度图的精度。

基于多尺度语义信息增强的农田地块提取网络

针对因农田类间异质性高、相邻地块之间间隔小而出现的相邻地块黏连、地块提取不完整等问题,文中提出了一种基于多尺度语义信息增强的农田地块提取网络。采用并行的多尺度特征提取模块,通过保持特征图的高分辨率保留高精度的边缘信息,降低由下采样带来的细节损耗,缓解地块之间的黏连。使用基于注意力机制的全局语义信息增强模块,通过获取全局语义信息增强网络的类别判断能力减少地块提取不完整的现象。实验结果表明,在IoU、OA、F1-score评价指标上,文中方法比现有研究中具有代表性的4种算法提高了1%~13%。

语义信息论的回顾与展望

近年来,语义通信受到业界的广泛关注,但一套完整且有效的语义信息论框架仍未完全建立。将语义信息论分为语义熵、语义率失真、语义信道容量3个部分,分别探讨语义信息的度量问题、语义编码与失真问题、最大语义通信量问题。同时,从信息理论角度出发,系统回顾和梳理了语义信息论的相关发展,对未来语义信息论发展中可能存在的开放性问题进行了讨论。认为目前语义通信的发展处于初级阶段,仍然有很多问题尚未解决。

一种融合自适应增强语义信息的知识图谱补全方法

翻译模型在进行知识图谱补全的过程中往往会忽略三元组中的语义信息。为弥补这一缺陷,本文构造了一种融合自适应增强语义信息的知识图谱补全方法。通过微调BERT模型获取三元组中的语义信息,并对高纬度向量做降维处理,最后运用注意力机制生成语义信息软约束规则,将该规则添加至原翻译模型中实现语义信息的自适应增强。经实验对比,本文所提方法较原翻译模型在数值上约提升2.6%,验证了方法的合理性与有效性。