自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

基于知识图谱增强的领域多模态实体识别

针对特定领域中文命名实体识别存在的局限性,提出一种利用学科图谱和图像提高实体识别准确率的模型,旨在利用领域图谱和图像提高计算机学科领域短文本中实体识别的准确率。使用基于BERT-BiLSTMAttention的模型提取文本特征,使用ResNet152提取图像特征,并使用分词工具获得句子中的名词实体。通过BERT将名词实体与图谱节点进行特征嵌入,利用余弦相似度查找句子中的分词在学科图谱中最相似的节点,保留到该节点距离为1的邻居节点,生成最佳匹配子图,作为句子的语义补充。使用多层感知机(MLP)将文本、图像和子图3种特征映射到同一空间,并通过独特的门控机制实现文本和图像的细粒度跨模态特征融合。最后,通过交叉注意力机制将多模态特征与子图特征进行融合,输入解码器进行实体标记。在Twitter2015、Twitter2017和自建计算机学科数据集上同基线模型进行实验比较,结果显示,所提方法在领域数据集上的精确率、召回率和F1值分别可达88.56%、87.47%和88.01%,与最优基线模型相比,F1值提高了1.36个百分点,表明利用领域知识图谱能有效提升实体识别效果。

融合多知识点与群体特征的个性化知识推荐方法

个性化知识点推荐是智慧教育中的重要问题,旨在提供个性化学习服务和提升学习效果。现有基于深度知识追踪的推荐方法,难以直接处理包含多知识点的综合性习题。仅依赖学习者自身的知识状态进行推荐,存在数据稀疏和结果单一的问题。提出一种多知识融合深度知识追踪与群体特征协同过滤性的个性化知识点推荐方法,将习题对应的多个知识点视为习题特征,引入多热编码表示习题与知识点间的关系,对学习者知识状态建模;通过考虑目标学习者的知识水平和学习者群体的近邻信息,获得相似学习者,并利用协同过滤算法获取群体学习偏好进行知识点推荐。该方法可以更好地适应多知识点习题推荐,同时挖掘群体学习特征,提升推荐效果。

面向测井领域的多模态知识图谱构建

针对测井解释过程中数据多源异构、数据间难以互补融合,不能很好应用于风险评估、解释评价和决策知识提供等问题,提出了一种面向测井领域的多模态知识图谱构建方法。该方法从测井角度出发,采用自顶向下的方式将知识整理分类为通用知识、区域知识和辅助知识等,结合测井解释过程中文本、图片、音视频等多模态资料深入挖掘实体属性关系,搭建了测井领域本体层,并基于CasRel实体关系联合抽取,余弦相似度多模态知识融合和TransR多模态表示学习技术完成了测井领域多模态知识图谱的构建。通过大庆测试服务分公司现场实际验证表明,基于该文构造的测井领域多模态知识图谱有效增强了测井知识的整合、互联和共享。

融合知识和约束图的远程监督关系抽取方法

远程监督关系抽取通过自动标注数据减少人工标注成本,但存在句子标签噪声和关系长尾分布两个问题.为解决上述问题,提出一种融合知识图中实体信息以及实体和关系间约束的关系抽取方法.该方法对目标实体和其邻居实体的属性进行编码,对目标实体和邻居实体构成的邻居图进行编码,对实体类型和关系间约束进行编码,并通过多源融合注意力模块进行信息整合,构建关系抽取模型.该方法在NYT-10数据集上的AUC值为0.524,P@100值为94.8%,长尾指标Hits@K较之前最先进模型均有提升,取得了优异表现,表明该方法融合实体信息和约束信息解决远程监督关系抽取两个主要问题的有效性.

多源知识融合的方面级情感分析模型

方面级情感分析(ABSA)是一项细粒度情感分析任务,其目的是针对评论语句中出现的特定方面给出对应的情感极性。现有的基于深度学习的ABSA方法大多侧重于评论语句语义和句法的挖掘,往往忽略了评论语句可能涉及的概念知识和情感程度信息。针对此问题,提出一种融合多源知识的神经网络模型,通过句法依赖揭示句子的结构框架、词共现捕捉单词之间的语义联系、情感网络和概念图谱的嵌入为模型提供情感和背景知识,共同实现评论语句上下文与评价方面的增强表示,并通过双交互注意力模式实现评论语句上下文与评价方面的协调优化。通过在4个公开数据集上的实验验证,该模型在ABSA任务中,准确率分别达到了75.00%、77.90%、81.55%、90.10%,与基准模型相比均有所提高。研究成果不仅验证了多源知识融合在ABSA任务中的有效性,也为未来的研究提供了新的思路和方法。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

基于时空知识关联性深度挖掘的频谱能量预测方法研究

频谱能量预测是实现有限频谱资源高效利用的重要途径,而对历史电磁频谱数据进行多尺度、多维度的时空知识提取和关联关系挖掘,从而形成电磁环境画像是实现精准频谱能量预测的重要基础。对于单采集点的时间动态频谱能量数据,时域知识关联关系挖掘受到频谱数据体量大及特征维度高的影响,本文提出了基于并行多模型融合的单点时域特征提取和预测方法;对于多点采集形成的区域频谱能量数据,受到时间动态和空间分布不均的双重影响造成时空知识关联关系挖掘困难,本文首先基于区域电磁环境的相关性构建区域电磁环境的相关关系图,然后基于关系图的关联信息设计了基于图卷积的网络预测模型,研究电磁环境中频谱能量预测问题。通过仿真实验,验证了无论是在单点时间动态场景下还是区域时空场景下,本文提出的方法均优于基线模型,具有良好的预测精度和鲁棒性。

基于双融合图注意力网络多模态知识图谱链路预测

知识图谱链路预测是一种根据知识图谱已存在的事实去预测缺失事实的任务,旨在解决知识图谱不完整性问题。但是现有的知识图谱链路预测有一定的缺陷,传统方法只使用单一的数据模态,没有充分利用不同数据模态的丰富信息,并且在图神经网络中孤立地看待实体和关系,没有考虑到不同邻域实体关系权重的不同。为了解决上述缺陷,提出了基于双融合图注意力网络的多模态知识图谱链路预测模型。首先,使用了图像、文本和属性3种模态,同时为了保证数据模态特征的一致性和互补性,设计了一个基于早期融合和晚期融合结合的双融合机制对多模态信息进行融合;然后,为了加强知识图中实体关系的融合以及邻域关系,同时考虑了实体以及关系的多样性,融合了实体表示和关系表示,并通过图注意力网络进行聚合以加强实体的特征表示。通过在4个公开的数据集FB15K-237、WN18RR、DB15K以及YAGO15K进行模拟实验,结果表明,提出的多模态知识图谱链路预测方法具有较好的性能。

多粒度三支决策研究进展

多粒度三支决策利用三支决策理论,从多视角、多层次对复杂问题进行数据分析与处理,逐渐成为一种高效、可靠的智能决策方法。本文对多粒度三支决策的研究工作进行综述,主要介绍了多粒度融合策略、多视角三支决策和多层次三支决策,以及从定性和定量两个角度探讨了多粒度三支决策,讨论了不同多粒度三支决策模型之间的关系,并指出了多粒度三支决策研究中存在的若干问题,为该领域的深入研究提供参考。

基于多源数据融合的电建知识图谱构建研究

为解决电力建设公司在向全过程咨询业务转型过程中遇到的多源异构数据问题,以及因意外情况导致的设计管理人员需进行远程协同工作的挑战,提出以企业私有云为基础环境,结合多源异构数据融合技术,构建知识图谱。该系统通过集成来自全国各地的多样化数据源,优化了数据管理流程,确保了数据的一致性和可用性。最终实现了全过程咨询业务的分布式协同管理,显著提升了企业的核心竞争力。同时,有效解决了数据种类繁多、来源广泛且协议多样化不统一的问题,改善了数据的质量与准确性,并统一了存储架构,提升了整体数据管理效率,增强了决策支持能力。

基于混合动态掩码与多策略融合的医疗知识图谱问答

医疗知识图谱问答结合医学知识和自然语言处理技术,为医疗从业者和患者提供准确、快速的问答服务。随着数据激增,现有的中文医疗知识图谱不够全面,并且医学问题复杂多义,准确识别实体信息、生成通俗易懂的回答仍有挑战。提出了一种基于混合动态掩码与多策略融合的医疗知识图谱问答框架。通过整合公开数据集与医药平台的疾病知识,构建了一个包含34167个实体和297463条关系的医疗知识图谱,涵盖疾病、药品、食物等多个类别。提出BERT-MaskAttention-BiLSTM-CRF混合动态掩码模型来精确识别输入的医疗实体信息,更有效地关注重要内容,去除冗余信息干扰。采用实体对齐策略将医疗实体进行统一和标准化,通过意图识别策略深入理解用户的查询意图,结合大型语言模型对知识图谱的输出进行润色,保证回答内容更加容易理解。实验结果表明,在实体识别对比实验中模型的宏观平均F1值达到0.9602,在问答测试实验中,平均准确率达到0.9656,且生成的内容更加通俗易懂,可解释性强。

融合知识图谱的时空多图卷积交通流量预测

现有的交通流量预测方法关注交通信息的时空相关性,未充分考虑外部因素对交通的影响,为此提出融合静态和动态知识图谱的时空多图卷积交通流量预测模型.基于道路交通信息和外部因素,构建城市交通知识图谱和4个不同语义的路网拓扑图,将城市交通知识图谱输入关系演化图卷积神经网络,实现知识嵌入;使用知识融合模块将车流量矩阵与知识嵌入融合;将4个路网拓扑图和融合知识的车流量矩阵输入时空多图卷积模块,提取时空特征,通过全连接层输出交通流量预测值.在杭州交通数据集上评估模型性能,与先进的基线模型对比,所提模型的性能提高了5.76%~10.71%.鲁棒性实验结果表明,所提模型具有较强的抗干扰能力.

一种用于方面级情感分析的知识增强双图卷积网络

近年来,深度神经网络特别是图神经网络在方面级情感分析任务上取得了较大进展,但是仍存在未充分利用外部知识信息、句法依赖树的边关系信息以及知识图谱结构信息的缺陷.针对上述问题,本文提出了一种知识增强的双图卷积网络BGCN-KE(Knowledge-enhanced Bi-Graph Convolutional Network).首先,提出一种融合句法依赖关系与外部知识的子图构造算法,得到节点间语义关系更紧密的知识子图.其次,提出了双图卷积网络,分别利用两个图卷积网络在句法依赖知识子图中引导评论文本的节点学习邻接节点的外部知识,以及在评论文本的句法依赖图中融合特定方面相关的语义信息,从而增强评论文本的特定方面知识表示和语义表示.再次,BGCN-KE引入边关系注意力机制,更好地捕获特定方面和上下文词语间的语义关系.最后,提出了一种多级特征融合机制,充分融合特定方面相关的外部知识、语义信息和边关系特征.多个公共数据集上的实验证明,BGCN-KE的性能优于最新的对比模型.

路基坡面防护数字化设计方法研究

本文提出了一种路基坡面防护数字化设计方法,该方法参考多条高速公路与国省干道的设计经验构建了坡面防护知识库,融合了路线、地形及地质等多源设计数据,通过智能分析手段实现了坡面防护设计与工程数量计算,形成了规范的设计成果。经验证,该方法可以有效地减少设计人员的重复性工作,提高设计效率和设计质量,对路基工程设计的数字化、智能化具有较强的参考价值。

基于多尺度回顾蒸馏的单幅图像去雾算法

基于深度学习的图像去雾模型常常设计并堆叠高效的特征提取模块,导致模型复杂、推理慢。知识蒸馏通过将教师网络的知识转移到高效的学生网络,能在不影响模型效果的同时,提高模型的效率,受到广泛关注。但现有的基于知识蒸馏的去雾模型大多集中在教师网络和学生网络之间同一层级的知识转移,知识转移过程中未考虑到特征的转移是否充分,导致特征蒸馏不完全,去雾效果不佳。为缓解以上问题,提出多尺度回顾蒸馏网络(mult-scale review distillation network,MRDN),将教师网络知识充分转移到学生网络的不同层级中。首先为了保证学生和教师网络挖掘图像隐含特征和重建信息的能力,分别设计了混合注意力模块(hybrid attention block,HAB)和混合注意力模块组(hybrid attention block groups,HABs);然后利用注意力融合模块(attention fusion block,AFB)对知识进行回顾,即融合学生网络的当前层级和深层级特征,生成用于蒸馏的中间特征;最后为了准确转移知识,利用层级内容损失模块(hierarchical content loss block,HCLB)对中间特征和教师网络对应的层级特征进行多尺度金字塔特征提取,计算出各层级的损失。实验结果表明,MRDN在真实雾图上的去雾效果更好,且在SOTS数据集上的PSNR和SSIM指标方面超过最好的对比模型(EPDN)分别9.2%、7.8%。

基于CiteSpace的多源数据融合研究进展

信息的爆炸式增长给多源数据融合研究提供了现实基础,使其在纳入数据范围与应用前景上不断拓展,而人工智能相关技术的发展更为其提供了创新的可能。为梳理多源数据融合研究的历史脉络、发展现状与前沿趋势,本文使用CiteSpace软件,面向中国知网和Web of Science(WOS)数据库中的相关研究,按年发文量、机构共现、作者共现、关键词共现、关键词聚类与突显词,对1992—2022年的文献进行可视化分析。结果表明,近年该主题下的中外研究逐渐走向成熟,在跨学科领域的概念统一和集成方法方面日渐拓展,进入大发展期。中文研究机构和作者网络相对松散,热点研究内容相对聚焦,集中在以数据融合为核心的信息融合、多源异构数据等方面,具有注重交叉性融合、算法优化、跨领域应用等特点。外文研究机构和作者网络相对成熟和稳定,热点研究内容更加广泛,包含多源信息融合、激光雷达数据等方面,具有注重异构整合、深度洞见等特点。未来,相关研究将伴随人工智能技术发展,深入更为多元的高级算法设计和特定场景应用。研究结果可帮助研究人员展开选题和前沿识别,助力研究质量提升与创新发展。

面向多源异构数据的语义对象识别技术研究

为了更好地应用电力系统中的多源异构数据,优化电力系统决策环节,提高数据挖掘分析能力,提出面向多源异构数据的语义对象识别技术。构建多源异构数据电网数字模型,并使用核函数实现数据融合。使用最大熵马尔科夫模型构建电网信息知识图谱。根据SDK对外语义服务过程,使用周期模式挖掘算法挖掘数据,并获取语义对象轨迹,完成语义识别。构建实验分析环节,应用3种数据库验证此技术应用效果。实验结果表明:此技术具有较高的数据分析能力,可在一定程度上提升语义对象识别准确性。

政府网站信息资源的多维语义知识融合结构体系及策略研究

[目的/意义]知识融合可调节政府网站简单罗列信息资源的服务现状与用户对完整知识需求之间的矛盾,从"属性级—概念级—决策级"多维语义知识融合角度揭示政府网站信息资源内在"知识网络生成—细粒度概念合并—知识集成与关联"的隐性关系,为用户提供系统的知识地图。[方法/过程]阐明政府网站信息资源的内涵并给出多维语义知识融合概念模型,构建了多维语义视角下政府网站信息资源知识融合结构体系,为实现结构体系运行的可行性,针对知识融合预处理对象、融合过程和融合结果 3个关键部位分别给予领域本体知识库构建、多维语义融合规则与算法、解知识空间服务模型等策略。[结果/结论]设计的政府网站信息资源多维语义知识融合的概念模型、结构体系及解知识空间服务模型为后续研究提供参考。[局限]政府网站信息资源多维语义知识融合结构体系的实际运行效果还有待实证研究。