基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别方法

识别非驾驶行为是提高驾驶安全性的重要手段之一。目前基于骨架序列和图像的融合识别方法具有计算量大和特征融合困难的问题。针对上述问题,本文提出一种基于多尺度骨架图和局部视觉上下文融合的驾驶员行为识别模型(skeleton-image based behavior recognition network,SIBBR-Net)。SIBBR-Net通过基于多尺度图的图卷积网络和基于局部视觉及注意力机制的卷积神经网络,充分提取运动和外观特征,较好地平衡了模型表征能力和计算量间的关系。基于手部运动的特征双向引导学习策略、自适应特征融合模块和静态特征空间上的辅助损失,使运动和外观特征间互相引导更新并实现自适应融合。最终在Drive&Act数据集进行算法测试,SIBBR-Net在动态标签和静态标签条件下的平均正确率分别为61.78%和80.42%,每秒浮点运算次数为25.92G,较最优方法降低了76.96%。

自适应特征融合的多模态实体对齐研究

多模态数据间交互式任务的兴起对于综合利用不同模态的知识提出了更高的要求,因此融合不同模态知识的多模态知识图谱应运而生.然而,现有多模态知识图谱存在图谱知识不完整的问题,严重阻碍对信息的有效利用.缓解此问题的有效方法是通过实体对齐进行知识图谱补全.当前多模态实体对齐方法以固定权重融合多种模态信息,在融合过程中忽略不同模态信息贡献的差异性.为解决上述问题,设计一套自适应特征融合机制,根据不同模态数据质量动态融合实体结构信息和视觉信息.此外,考虑到视觉信息质量不高、知识图谱之间的结构差异也影响实体对齐的效果,本文分别设计提升视觉信息有效利用率的视觉特征处理模块以及缓和结构差异性的三元组筛选模块.在多模态实体对齐任务上的实验结果表明,提出的多模态实体对齐方法的性能优于当前最好的方法.

一种MAKLINK图多节点链路建模的路径规划研究

针对传统MAKLINK图规划路径线路改变时,其最优化路径易与环境约束条件冲突的问题,提出了在MAKLINK图中各链路上增加节点数目的方法,以提高系统建模的适应性和鲁棒性。设计的多节点链路通过dijkstra算法得到更为理想的次优化路径,由蚁群算法进行迭代计算获得最优化路径,实现了在保证路径适应度的前提下,提高优化路径对环境约束条件的适应性。实验结果表明,与基本MAKLINK图路径规划算法相比,多节点链路的建模路径规划算法可有效提高次优路径的建模精度,最优路径的适应度值较单节点链路减小了1.43%,具有一定的建模优势。

基于多邻域感知的石油数据资产图谱实体对齐

实体对齐在自动融合多源异构的石油领域数据资产知识图谱过程中起着至关重要的作用。目前主流基于图神经网络的实体对齐模型多关注实体和图结构的信息,忽略了实体之间的关系、属性与属性值等多邻域的语义信息,在命名规则差异性大、行业特殊、语义实体多的石油领域数据资产知识图谱融合过程中性能一般。提出一种基于图注意力网络改进的多邻域感知网络(MNAN)模型,用于实体对齐。使用基于BERT的多语言预训练模型得到实体及多邻域的初始特征,通过带有Highway Networks的图卷积神经网络聚合邻域实体与图结构特征,利用多邻域感知和实体增强注意力网络聚合实体的多邻域特征,使用最小化基于边际的损失函数训练模型。在石油领域数据资产知识图谱数据集中的2个知识图谱上进行实体对齐实验,实验结果表明,MNAN模型优于所有对比的基于图神经网络实体对齐模型,Hits@1值达86.7%,优于表现最好的对比模型约2.3个百分点。

自适应相似图联合优化的多视图聚类

相比于单一视图学习,多视图学习往往可以获得学习对象更全面的信息,因而在无监督学习领域,多视图聚类受到了研究者的极大关注,其中基于图的多视图聚类,近年来取得了很大的研究进展.基于图的多视图聚类一般是先从各个视图原始数据学习相似图,再进行视图间相似图的融合来获得最终聚类结果,因此,多视图聚类的效果是由相似图质量和相似图融合方法共同决定的.然而,现有基于图的多视图聚类方法几乎都聚焦在视图间相似图的融合方法研究上,而缺乏对相似图本身质量的关注.这些方法大多数都是孤立地从各视图的原始数据中学习相似图,并且在后续图融合过程中保持相似图不变.这样得到的相似图不可避免地包含噪声和冗余信息,进而影响后续的图融合和聚类.而少量考虑相似图质量的研究,要么相似图构造和图融合过程是直接联立迭代的,要么在预定义相似图过程中提前利用秩约束进一步初始化,要么就是利用相似图存在的一些底层结构来获取融合图的.这些方法对相似图本身改进很小,最终聚类性能提升也十分有限.同时现有基于图的多视图聚类流程也缺乏对各视图间一致性和不一致性的综合考虑,这也会严重影响最终的多视图聚类性能.为了避免低质量预定义相似图对聚类结果的不利影响以及综合考虑视图间一致性与不一致性来提升最终聚类效果,本文提出了一种自适应相似图联合优化的多视图聚类方法.首先通过Hadamard积来获得视图间高质量一致性部分信息,再将每个预定义相似图和这部分信息对标,重构各个视图的预设相似图.这个过程强化了各视图间的一致性部分,弱化了不一致性部分.其次设计了相似图重构改进和图融合联合迭代优化框架,实现了相似图的自适应改进,最终达到相似图和聚类结果共同提升的效果.该方法将相似图改进过程与图融合过程联合起来进行自适应迭代优化,并且在迭代优化中不断强化各视图间的一致性,弱化视图间的不一致性.此外,本文的方法也集成了现有多视图聚类方法的一些优点,自加权以及无需额外聚类步骤等.在九个基准数据集上与八个对比方法的实验验证了本文方法的有效性与优越性.

基于多元语义特征和图卷积神经网络的短文本分类模型

在互联网和社交媒体迅猛发展的背景下,网络中出现了大量的短文本数据,这些数据在舆情监控、情感分析和新闻分类等自然语言处理领域展现出了非常高的经济和学术价值.但短文本数据固有的特征给短文本分类带来了不小的挑战,如文本稀疏和缺乏丰富的上下文语义等.针对这些问题,提出了一种结合多元语义特征和图卷积神经网络(GCN)的短文本分类模型,该模型通过哈尔滨工业大学的语言技术平台获取短文本的多种语义特征,并将这些语义特征同短文本一起构建一个多元异构图,然后将其作为GCN的输入,利用GCN学习短文本更深层特征,最后通过Softmax函数获取每个类别的概率分布,进而实现短文本分类.试验结果表明,本模型在短文本分类的F1评分上比传统单一模型提高了4%.

基于建筑信息模型数据驱动的铁路设备运维多模态知识图谱构建

铁路信号设备是保障行车安全、提高运输效率的核心装备,加强信号设备智能运维是降低铁路运行风险的必要基础保障。目前,针对我国基于建筑信息模型(BIM)的智能运维平台存在不能精准映射各设备的行为规律和相互之间互馈作用的机理,须同时依靠经验知识进行推断等问题。首先构建了铁路设备运维文本知识图谱;其次构建卷积神经网络(CNN)-团组图卷积神经网络(cgGCN)模型对BIM图像模态数据进行处理,完成对20种铁路信号设备零件图信息的标注,实验结果表明模型准确率达到95.38%,精确率和召回率的调和平均值F1达到95.58%;最后将BIM图像信息以视觉模态嵌入运维文本知识图谱,利用Neo4j图数据库实现多模态知识图谱可视化展示,从而精准映射各信号设备相互之间互馈作用的机理,为后续现场铁路运维人员实施安全管理和运维决策提供在线服务和指导。

分布式事件触发下的多智能体系统二分一致性

研究了基于分布式事件触发的多智能体控制系统中的二分一致性问题,设计了一种合作和竞争并存拓扑结构的一致性控制协议,使多智能体系统收敛于二模相同且符号不同的状态.在图论与矩阵论的基础上,将多智能体系统的二分一致性问题转化为闭环误差系统的稳定性问题,通过建立一个合适的Lyapunov函数,验证了闭环误差系统渐进稳定,且针对每个智能体提出了事件触发条件,以减少控制更新频率与通信资源的损耗,同时证明每个智能体相邻触发时间间隔都有严格的正下界,即避免了Zeno现象,最后利用仿真实例验证了所提方法的可行性和有效性.

行人重识别模型的多任务损失设计

行人重识别是一项利用计算机视觉技术判断图像中是否存在特定行人的任务。为研究Re-ID模型使用身份标签不能有效地学习不同行人之间的相似局部外观问题,提出了一种基于多任务损失的Re-ID方法。首先,通过主干网络提取全局特征以及局部特征,借助姿态估计算法检测行人身体部位,将身体部位的特征与局部特征组进行融合形成人体姿态引导特征;其次,通过多任务损失方法指导模型对人体姿态引导特征以及全局特征进行优化,从而增强模型对遮挡以及不具有区分性局部外观的鲁棒性。结果表明:多任务损失方法在Occluded-Duke、Market 1501和DukeMTMC-reID数据集上的mAP/Rank-1的精度分别达到了59.7%/67.9%,88.4%/94.9%和80.6%/89.9%。为避免训练集与测试集数据之间分布的差异性导致预训练模型产生次优检索结果的问题,提出了一种基于图卷积网络的重排序方法,该方法利用图卷积算子在图上将行人的最近邻特征传播,从而优化了每个图像的表示,以获得更优的检索结果。

基于知识图谱与BERT的多模态虚假新闻检测模型

面对多模态虚假新闻的检测挑战,文章提出一种融合知识图谱与基于Transformer的双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的多模态虚假新闻检测模型。该模型先利用知识图谱深化对实体间关系的理解,然后借助BERT模型对文本内容进行深入分析,从而实现文本、图像及知识数据高效整合。多数据集实验结果显示,该模型在多模态新闻检测,特别是含图像与视频内容的新闻检测上,展现了显著的优势。这为虚假新闻的准确检测开辟了新途径。

基于多维能力和知识图谱-多层感知机的变压器运行状态画像构建方法

利用大数据和画像技术对电力变压器运行状态进行准确评价有利于保障电力系统的安全稳定运行。针对电力变压器运行状态传统评价方法存在的评价维度过于单一、主观性较强等不足,提出了一种基于多维能力和知识图谱-多层感知机的变压器运行状态画像构建方法。首先,构建了由绝缘水平、负载能力、抗短路能力、能效等级和调压能力五个能力构成的变压器运行状态画像体系;然后,融合知识图谱(knowledge graph,KG)与多层感知机(multilayer perceptron,MLP),建立了一种变压器运行状态画像分析模型;最后,基于某地区1368台110kV变压器的实际运行数据,开展了变压器运行状态画像的实例分析,并与随机森林(random forest,RF)和支持向量机(support vector machine,SVM)方法的画像分析结果进行对比。研究结果表明,所提方法对变压器运行状态画像的准确率达到96.35%,优于RF算法(准确率89%)和SVM算法(准确率77%),为电力变压器的运行状态评价提供了一种新思路。

基于事件演化图的多标记事件预测模型

多标记事件预测是指预测多个相关联的事件是否会在未来发生,相比传统单标记事件预测,需要同时预测多个目标事件。现有的事件预测研究忽略各领域存在的多标记事件情境,且对多标记事件预测研究较少。提出一种基于事件演化图的多标记事件预测模型(MLEP),以实现基于事件演化图(EEG)的多标记事件预测研究模式。首先基于事件链构建事件演化图;然后对多标记事件预测问题进行问题转换,将多标记问题转化为单标记问题,利用事件表示学习方法获取所有事件的向量表示,对多标记事件进行编码;最后采用门控图神经网络(GGNN)框架构建多标记事件预测模型,根据相似度匹配出最优的后续事件,实现多标记事件的预测。在真实数据集上的实验结果表明,MLEP模型可以有效地预测出多标记事件,预测准确率达到了65.58%,性能优于大多现有的基准模型,提升幅度达到了4.94%以上。通过消融实验也证明了更好的事件表示学习方法对事件具有较好的表示效果,提升多标记事件预测的性能。

基于分布式滑模控制的微电网二级电压控制策略

微电网是由分布式电源(DG)、负荷、储能和控制装置等构成的可控系统,能够充分高效地利用分布式能源资源。提出了一种基于分布式滑模控制的微电网二级电压滑模控制方法,基于图论和多智能体系统原理设计了分布式滑模控制器,该滑模控制器通过通信网络获取与其相邻分布式电源的电压信息,并利用Pade近似方法对通信网络中所产生的时间延迟进行补偿。在MATLAB/Simulink平台中对该控制方法进行仿真,验证了所提出二级电压控制策略的有效性。

基于多视图表征的虚假新闻检测

社交网络已经成为人们日常生活中获取和分享信息的主要渠道,同时也为虚假新闻的传播提供了捷径。如今,针对网络虚假新闻的检测问题受到学术界的广泛关注,但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方向不同的问题,有待改进。文章提出一种基于新闻内容、用户信息和新闻传播3种视角的多视图表征和检测的模型MVRFD(Multi-View Representations for Fake News Detection),为虚假新闻检测任务提供更全面的视角。首先,利用协同注意力机制表征新闻内容中的多模态信息,使用具有不同方向的图神经网络聚合新闻传播过程中的用户信息和观点信息;然后,利用双协同注意力机制实现多个视角间的信息交互;最后,将新闻内容特征和新闻上下文特征进行融合。在公开数据集上的实验结果表明,文章所提出的模型实现了96.7%的准确率和96.8%的F1值,优于主流的文本处理模型以及基于单视角的检测模型。

不完整多视图聚类综述

多视图聚类是近年来图数据挖掘领域的研究热点。由于数据采集技术的限制或人为因素等原因常导致视图或样本缺失问题。降低多视图的不完整性对聚类效果的影响是多视图聚类目前面临的重大挑战。因此,综合研究不完整多视图聚类(IMC)近年的发展具有重要的理论意义和实践价值。首先,归纳分析不完整多视图数据缺失类型;其次,详细比较基于多核学习(MKL)、矩阵分解(MF)学习、深度学习和图学习这4类IMC方法,分析代表性方法的技术特点和区别;再次,从数据集类型、视图和类别数量、应用领域等角度总结22个公开不完整多视图数据集;继次,总结评价指标,并系统分析现有不完整多视图聚类方法在同构和异构数据集上的性能表现;最后,归纳分析不完整多视图聚类目前存在的问题、未来的发展方向和现有应用领域。

基于多尺度卷积的胶囊网络知识图谱嵌入模型

该文基于胶囊神经网络出色的维度信息挖掘能力,加入多尺度卷积以进一步增强其特征提取和交互能力,提出了基于多尺度卷积的胶囊网络知识图谱嵌入模型.首先,通过TransE算法训练得到实体和关系的初始化嵌入向量;其次,通过多尺度卷积生成不同的特征图,将得到的特征图进行特征融合,融合后得到的特征图重组为相对应的胶囊;最后,利用动态路由指定从第一层胶囊到第二层胶囊的连接,经过路由得到的第二层胶囊利用squash函数得到最终向量长度,该向量长度决定三元组的置信度.知识图谱链接预测任务的实验结果表明,较嵌入模型CapsE,本文提出的模型在WN18RR数据集上指标Hit@10提高1.8%,MRR提高1.4%,在FB15k-237数据集上Hit@10提高2.2%,MR提高4.8%.

面向多模态知识图谱的实体对齐方法研究

实体对齐是构建知识图谱的重要环节,也是该领域的一个研究热点.现有实体对齐工作在包含文本、图片的多模态知识图谱数据集DB15K-FB15K和YAGO15K-FB15K上做了大量研究,但是它们仅局限于文本和图片两种模态,且在多模态知识融合方面的性能并不显著.为弥补已有工作的不足,本文构建了一个包含文本、图片、视频的多模态知识图谱数据集Douban-Baidu,并提出了EA-MMKG模型来解决多模态知识图谱实体对齐问题.EA-MMKG包含两部分:多模态知识嵌入模块和多模态知识交互融合模块.具体来讲,多模态知识嵌入模块由关系三元组嵌入、图片嵌入、视频嵌入和属性三元组嵌入4个部分组成;多模态知识交互融合模块采用了基于注意力的融合机制来融合从文本、图片、视频3种模态中提取的特征信息,从而使得各模态之间的交互更加充分、融合效果更好,并最终提高多模态知识图谱实体对齐的性能.实验结果表明,EA-MMKG模型在Douban-Baidu数据集、DB15K-FB15K数据集和YAGO15K-FB15K数据集上的性能均优于现有的模型.

两阶段文档筛选和异步多粒度图多跳问答

多跳问答旨在通过对多篇文档内容进行推理,来预测问题答案以及针对答案的支撑事实。然而当前的多跳问答方法在文档筛选任务中旨在找到与问题相关的所有文档,未考虑到这些文档是否都对找到答案有所帮助。因此,该文提出一种两阶段的文档筛选方法。第一阶段通过对文档进行评分且设置较小的阈值来获取尽可能多的与问题相关文档,保证文档的高召回率;第二阶段对问题答案的推理路径进行建模,在第一阶段的基础上再次提取文档,保证文档的高精确率。此外,针对由文档构成的多粒度图,提出一种新颖的异步更新机制来进行答案预测以及支撑事实预测。提出的异步更新机制将多粒度图分为异质图和同质图来进行异步更新以更好地进行多跳推理。该方法在性能上优于目前主流的多跳问答方法,验证了该方法的有效性。

多光源照射下目标图像实时生成方法

由于地理位置、太阳、大气环境等因素限制,无法获取空间目标在各种姿态、光照条件、特别是激光、太阳和背景光共同作用下的实际成像。提出一种多光源照射下目标图像实时生成方法。该方法基于计算机图形学中纹理映射思想,采用现代图形显卡编程技术和帧缓存对象特性,在GPU(Graphics Processing Unit)端采用着色器语言实现多光源作用下目标亮度值高效计算和真实感增强;采用开源三维图形引擎OSG(Open SceneGraph)支持多种格式三维模型文件,提高与国产麒麟操作系统及常用战场态势显示软件的兼容性。仿真实验验证了该方法的有效性和优越性。

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。