基于多特征融合的GraphHeat-ChebNet隧道形变预测模型

对隧道的形变进行预测是隧道结构异常检测的内容之一。为了充分挖掘形变特征的时空关联性,针对隧道内衬多个断面的形变同时预测,提出一种基于多特征融合的GraphHeat-ChebNet隧道形变预测模型。所提模型中利用GraphHeat和ChebNet这2种图卷积网络(graph convolution net,GCN)分别提取特征信号的低频和高频部分,并获取形变特征的空间关联性,ConvGRUs网络用于提取特征在时间上的关联性,通过三阶段融合方法保留挖掘的信息。为了解决实验数据在时间维度上不充足的问题,引入双层滑动窗口机制。此外,所提模型与其他模型或算法在不同数据集上实验比较,衡量一天和两天预测值的误差指标优于其他模型,而且对大部分节点预测的误差较低。说明模型受样本节点数影响较小,能较好地预测一天和两天的形变,模型学习特征与时空模式的能力较强,泛化性较好。

支撑新型配电网数字化规划的图形⁃模型⁃数据融合关键技术

配电网规划领域期盼实现智能规划,其愿景在于实现无人或少人干预的全自动规划。在数字化转型的背景下,新型配电网规划将面临图形多样化、场景碎片化、数据规模化三大挑战。文中从图形-模型-数据融合的角度提出三大关键技术:基于电气图纸识别和拓扑智能分析的图形-模型融合技术、基于知识驱动的负荷/新能源推演分析和智能决策的模型-数据融合技术、基于多模态数据融合和多时空数据联动的图形-数据融合技术,尝试打破理论研究与数字化工程的壁垒。最后,对未来新型配电网数字化规划的发展进行思考和展望,为实现“以机为主,人机协同”的大闭环模式提供借鉴。

自适应相似图联合优化的多视图聚类

相比于单一视图学习,多视图学习往往可以获得学习对象更全面的信息,因而在无监督学习领域,多视图聚类受到了研究者的极大关注,其中基于图的多视图聚类,近年来取得了很大的研究进展.基于图的多视图聚类一般是先从各个视图原始数据学习相似图,再进行视图间相似图的融合来获得最终聚类结果,因此,多视图聚类的效果是由相似图质量和相似图融合方法共同决定的.然而,现有基于图的多视图聚类方法几乎都聚焦在视图间相似图的融合方法研究上,而缺乏对相似图本身质量的关注.这些方法大多数都是孤立地从各视图的原始数据中学习相似图,并且在后续图融合过程中保持相似图不变.这样得到的相似图不可避免地包含噪声和冗余信息,进而影响后续的图融合和聚类.而少量考虑相似图质量的研究,要么相似图构造和图融合过程是直接联立迭代的,要么在预定义相似图过程中提前利用秩约束进一步初始化,要么就是利用相似图存在的一些底层结构来获取融合图的.这些方法对相似图本身改进很小,最终聚类性能提升也十分有限.同时现有基于图的多视图聚类流程也缺乏对各视图间一致性和不一致性的综合考虑,这也会严重影响最终的多视图聚类性能.为了避免低质量预定义相似图对聚类结果的不利影响以及综合考虑视图间一致性与不一致性来提升最终聚类效果,本文提出了一种自适应相似图联合优化的多视图聚类方法.首先通过Hadamard积来获得视图间高质量一致性部分信息,再将每个预定义相似图和这部分信息对标,重构各个视图的预设相似图.这个过程强化了各视图间的一致性部分,弱化了不一致性部分.其次设计了相似图重构改进和图融合联合迭代优化框架,实现了相似图的自适应改进,最终达到相似图和聚类结果共同提升的效果.该方法将相似图改进过程与图融合过程联合起来进行自适应迭代优化,并且在迭代优化中不断强化各视图间的一致性,弱化视图间的不一致性.此外,本文的方法也集成了现有多视图聚类方法的一些优点,自加权以及无需额外聚类步骤等.在九个基准数据集上与八个对比方法的实验验证了本文方法的有效性与优越性.

多尺度融合与动态自适应图的公交客流预测模型

公交客流预测是公共交通规划和管理中的重要问题。虽然时空图卷积在地铁客流预测任务中获得了很好的预测效果,但是面对公交更复杂的线路、大规模的节点数据,现有的基于图卷积的空间建模方法将带来巨大的空间内存消耗。同时,公交客流量短时间范围内更可能受到瞬时交通状况的影响。为了解决这些挑战,提出了一种多尺度融合和动态自适应图的公交客流预测模型(MFDAG)。该模型融合客流、时刻和周信息以增加数据的特征维度,用动态自适应图的方法来学习不同站点之间的关系。进一步提出了一种多尺度融合传播的方法来表示复杂的空间依赖关系,同时设计了一种多尺度卷积传播的方法来学习不同尺度的时间依赖关系。在两个真实的客流数据集上进行了实验,并与其他交通预测方法进行了比较。实验结果表明,所提出的多尺度融合和动态自适应图的公交客流预测方法具有更高的预测准确度。

我国工业机器人领域技术热点及发展趋势分析——基于CiteSpace文献专利融合分析

工业机器人是国家现代化工业技术实力的重要体现,也是国际科技竞争的关键战略领域。获取相关的技术发展动态数据并进行深入分析对于及时识别该领域存在的挑战和机会,具有重要意义。以工业机器人领域的最新期刊文献以及专利数据为样本进行数据融合分析,综合运用文献计量方法以及可视化工具,构建我国工业机器人领域创新知识图谱从科学和技术多维度展开分析。研究表明,我国工业机器人领域研究和发展总体呈现快速增长趋势,但同时也存在研究合作规模较小、知识和技术转化率低等问题,未来通过加强跨地区交流、促进产学研合作、改善技术结构等策略不断推动该领域新的发展。

一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KESA-GNN的鲁棒性.在多域对话数据集上的实验结果表明,KESA-GNN模型的性能优于最新的基线模型.

呼吸系统疾病知识图谱的构建

呼吸系统疾病是中国十大死亡率疾病之一。为解决其数据分布庞杂、难以深层次应用的问题,通过采用自顶向下的方法,构建了呼吸系统疾病知识图谱。首先,参考医学文献构建了呼吸疾病词典,并根据该疾病词典爬取了垂直医疗网站的呼吸疾病数据;然后,利用知识融合完成多源异构数据的链接,通过定义不同疾病属性相似度来计算疾病实体相似度,提高准确率;最后,将呼吸系统疾病数据存储到Neo4j中,并做可视化展示。

Personnel Localization Method in Transformer Substation Based on Factor Graph

A SINS/GNSS location method based on factor diagram is proposed to meet the requirement of accurate location of substation construction personnel. In this paper, the inertial autonomous positioning, carrier motion information acquisition and satellite positioning technologies are integrated. The factor graph method is adopted to abstract the measurement information received by inertial navigation and satellite into factor nodes, and the state information into variable nodes, so as to construct the SINS/GNSS construction personnel positioning fusion factor graph model. The Gauss-Newton iterative method is used to implement the recursive updating of variable nodes, and the optimal estimate of the location information of the construction personnel is calculated, which realized the high precision location of the construction personnel. The factor graph method is verified by pedestrian navigation data. The results show that the factor graph method can continuously and stably output high-precision positioning results, and realize non-equidistant fusion of SINS and GNSS. The positioning accuracy is better than Kalman filter algorithm, and the horizontal positioning accuracy is less than 1 m. Therefore, the factor graph method proposed can provide accurate location information for substation construction personnel.

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

多源知识图谱事件知识融合方法研究

以事件为中心的动态知识对事件预测等应用至关重要,但现有知识图谱主要关注以实体为中心的静态知识,难以满足需求。本文提出一种融合多源知识的高质量事件知识图谱构造方法,首先定义全局事件模式,利用标签类别从源知识图谱中提取事件知识并构造临时事件知识图,提出关系扩充规则对临时事件知识图进行扩充,改进实体对齐Attce模型,基于TransD模型对多个临时事件知识图进行联合嵌入学习,以提高实体对齐和冲突发现的效率;利用事件描述完整度计算源知识图谱可信度,发生冲突时作为判别标准进行处理。经过在真实数据集上的实验,验证了该方法的准确性和有效性。

融合自注意力和图卷积的多视图群组推荐

为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型(MVGR),设计了成员级、项目级和组级三个不同的视图,来捕捉群组、用户和项目三者之间的高阶交互信息,缓解数据稀疏问题,增强群组表示建模过程;对于项目级视图,利用基于二分图的图卷积神经网络来学习群组偏好向量以及项目嵌入;进一步提出了自适应融合组件来动态调整不同视图权重,得到最终的群组偏好向量。在两个真实数据集上的实验结果表明,与基线模型相比,MVGR模型的命中率(HR)和归一化折损累计增益(NDCG)在Mafengwo数据集上平均提高了8.89个百分点和1.56个百分点,在CAMRa2011数据集上平均提高了2.79个百分点和2.7个百分点。

基于多维动态拓扑学习图卷积的骨架动作识别

图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分:纯粹节点拓扑学习图卷积(pure Joint topology learning Graph Convolution,J-GC)、动态时序特异性拓扑学习图卷积(Dynamic Temporal-Wise topology learning Graph Convolution,DTW-GC)和通道特异性拓扑学习图卷积(Channel-Wise topology learning Graph Convolution,CW-GC).特别地,在DTW-GC中使用了动态骨架拓扑建模方法(Dynamic Skeleton Topology Learning,DSTL),以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积(Multi-Scale Temporal Convolution,MS-TC)相结合,本文构建了具有强大建模能力的图卷积网络.此外,为了对骨架数据的空间信息进行补充,本文额外引入了相对节点数据和相对骨骼数据进行多流网络的融合.本文所提出的方法在NTU-RGB+D与NTU-RGB+D 120数据集上分别取得了92.64%和89.29%的准确率,超过了当前最先进方法.

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。

基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

基于动态图注意力与标签传播的实体对齐

实体对齐是多源数据库融合的有效方法,旨在找出多源知识图谱中的共指实体。近年来,图卷积网络(GCN)已成为实体对齐表示学习的新范式,然而,不同组织构建知识图谱的目标及规则存在巨大差异,要求实体对齐模型能够准确发掘知识图谱之间的长尾实体特征,并且现有的GCN实体对齐模型过于注重关系三元组的结构表示学习,忽略了属性三元组丰富的语义信息。为此,提出一种实体对齐模型,引入动态图注意力网络聚合属性结构三元组表示,降低无关属性结构对实体表示的影响。同时,为缓解知识图谱的关系异构问题,引入多维标签传播对实体邻接矩阵的不同维度进行压缩,将实体特征根据压缩后的知识图谱邻接关系进行传播以获得关系结构表示,最后通过线性规划算法对实体表示相似度矩阵进行迭代以得到最终的对齐结果。在公开数据集ENFR-15K、EN-ZH-15K以及中文医学数据集MED-BBK-9K上进行实验,结果表明,该模型的Hits@1分别为0.942、0.926、0.427,Hits@10分别为0.963、0.952、0.604,MRR分别为0.949、0.939、0.551,消融实验结果也验证了模型中各模块的有效性。

时空融合的堆石坝变形预测模型及在安全监测中的应用

变形预测是堆石坝安全监测与健康诊断的重要手段,现有研究多根据堆石坝监测数据建立单测点预测模型,未充分考虑测点之间相关性进行整体建模,且现有模型难以对漂移数据进行长期精准预测。本文考虑堆石坝变形序列的时序依赖性和测点之间的协同相关性,提出了基于图卷积和循环神经网络、引入概率预测与全过程训练的时空融合变形预测模型。该模型首先采用图卷积网络对多测点特征进行自适应汇聚,然后利用循环神经网络中细胞状态与隐层记忆沿时间轴的传递性,实现对时空信息的挖掘与融合,最后通过线性层得到概率预测参数,提高了模型对监测数据噪声的鲁棒性。采用全过程训练方式,提高模型对影响因子与累积变形量内在关系的学习能力,实现对漂移数据的长期精准预测。最后以水布垭面板堆石坝为例,进行了模型对比实验与消融实验,介绍了该模型在堆石坝安全监测和健康诊断中的三种具体应用。结果表明,本文模型有效融合了时空信息,在预测精度方面显著高于现有模型,解决了现有模型对大坝整体变形规律学习能力差、漂移数据预测精度低的问题,可用于堆石坝变形长期预测、测点异常检测与缺损数据补全。

基于时空依赖关系和特征融合的弱监督视频异常检测

弱监督视频异常检测由于抗干扰性强、数据标注要求低,成为视频异常事件检测研究的热点。在现有的工作中,大多数弱监督视频异常检测方法认为各个视频段独立同分布,单独判断每个视频段是否异常,忽略了视频段间的时空依赖关系。为此,提出了一种基于时空依赖关系和特征融合的弱监督视频异常检测方法,在保留视频段原始特征的同时,使用视频段之间的索引距离和特征相似程度拟合视频段的时间和空间依赖关系,构建视频段的关系特征。通过融合原始特征和关系特征,更好地表达视频的动态特性和时序关系。在UCF-Crime和ShanghaiTech两个基准数据集上进行了大量实验,实验结果表明所提方法的AUC指标优于其他方法,AUC值分别达到了80.1%和94.6%。

基于图优化的GNSS/双目视觉/惯性SLAM系统开发及应用

为提高机器人室外长航时定位精度,提出一种基于图优化的全球导航卫星系统(GNSS)/双目视觉/惯性同时定位与建图(SLAM)系统开发及应用。将空间中的线特征作为几何约束的补充,集成至前端的特征提取及后端的位姿优化线程,提升位姿解算精度。同时,以因子图构建联合优化的图结构,并推导出全局观测误差模型。近200 m的BullDog-CX机器人巡检结果表明,所提算法相比于VINSFusion和PL-VINS分别取得约12.6%及3.4%的定位精度提升,为室外机器人长航时导航提供了一种可行方案。

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.