基于多视图关注网络的图文多模态情感分析模型

针对现有多模态情感分类模型无法全面、准确地捕获复杂的情感信息,以及融合过程中没有充分挖掘两者之间的潜在关联,导致模型结构冗余复杂、计算效率低下的问题,提出一种多视图关注网络(MPF-Net)模型。该模型通过引入多维感知特征捕获机制,全面而精确地获取图像和文本中蕴含的情感信息;其次,采用增强的记忆互动学习机制,使模型能够更加有效地提取和融合单模态特征,并在多轮迭代中不断更新和优化这些特征,从而捕捉到更深层次的情感细节;再构建一个高级深度学习框架,该框架采用生成对抗网络(GAN)与池化技术的深度融合单元,以实现复杂数据特征的高效提取与整合;最后,在保留原有特征信息的基础上进行特征整合,同时通过降维技术降低模型的复杂性,提高计算效率。在公开数据集MVSA-Single和MVSA-Multiple以及自建数据集上通过实验验证所提模型的准确性,结果表明,与多个基线模型对比,所提模型的准确率和F1值均有所提高。

自适应多视图融合图神经网络地铁客流预测模型

针对传统方法对地铁车站的多视角空间交互建模不足的问题,本文提出自适应多视图融合图神经网络模型(Adaptive Multi-view Fusion Graph Neural Network Model, AMFGNN)进行地铁车站短时客流预测。在空间维度,模型包括了物理拓扑图、线路可达性图、空间距离图等多个局部视图,并使用图注意力网络(Graph Attention Networks, GAT)学习每个视图内车站间的动态空间交互;以单视图车站为中心节点,结合其他视图中该车站作为邻居节点构建融合视图,并使用GAT学习多视图间动态交互;在时间维度,使用门控循环单元神经网络学习车站客流的时变特征。以重庆市地铁网络为例,全网出站客流的预测实验结果表明:相较于基线中的物理虚拟结合图网络模型(PVCGN),AMFGNN的平均绝对误差和均方根误差分别降低3.06%和2.49%。多视图内节点间注意力分数可视化结果表明,基于GAT的多视图建模思路能够自适应地融合不同视图中提取到的车站空间信息。此外,AMFGNN模型性能影响因素分析结果表明,以物理拓扑、线路可达性等结构稳定的视图作为中心节点构建融合视图能够获得更准确、稳定的预测模型。

基于概率穿越可视图的时间序列网络多重分形研究与应用

对有限穿越可视图进行改进,提出了概率穿越可视图.首先,将间接可视的节点之间的关联处理为穿越距离的函数,而且节点之间的关联随穿越距离的增加而减小,从而将无权图形式的时间序列网络推广到带权图;其次,采用复杂网络中的网络维数计算方法处理所得到的时间序列网络的分形维数,从而对其自相似特性进行分析;最后,通过划分不同的时间粒度得到多个不同的时间序列网络,对应有多个不同的分形维数,进而分析了所得到的时间序列网络的多重分形特性.在与经典的可视图法、水平可视图法及有限穿越可视图法的对比中论证了所提出的概率穿越可视图的优势.

融合图神经网络与多视图学习的社区问答专家推荐方法研究

互联网高速发展背景下,社区问答网站提问者有着更强烈的求知需求,海量数据为提问者识别有效信息带来困难,为提问者推荐更专业的专家用户对问题进行回答显得尤为重要。针对传统社区问答专家推荐方法难以准确计算出提问者提出的目标问题和候选专家之间的相关性等问题,为了提高社区问答网站中专家推荐的效率,构建问题节点关系无向图,利用图神经网络GraphSAGE提取节点的二阶邻居信息,并使用多视图学习方法学习不同视图间的互补信息,最终获取目标问题文本和候选专家历史问题集丰富的向量表示,用来计算出目标问题与候选专家之间的匹配度,进而推荐出最适合回答目标问题的专家用户。实验结果表明,在不同的社区问答专家推荐方法上,文中方法在评价指标MRR、NDCG@10上均取得了更优的推荐效果。

融合知识的多视图属性网络异常检测模型

属性网络异常检测在网络安全、电子商务和金融交易等领域中具有重要的理论与现实意义,近年来受到了越来越多的关注.大多数异常检测方法凭借网络有限的属性或结构信息进行决策生成,往往难以对异常模式做出可靠的描述.此外,网络节点对应的实体往往关联着丰富的领域知识,这些知识对于异常的识别具有重要的潜在价值.针对上述情况,提出一种融合知识的多视图网络异常检测模型,在多视图学习模式下通过数据与知识的互补融合实现了对异常节点的有效识别.首先,使用TransR模型由领域知识图谱抽取知识向量表示,并借助输入网络的拓扑关系构造其孪生网络.接着,在多视图学习框架下构建属性编码器和知识编码器,分别将属性网络及其孪生网络嵌入到各自的表示空间,并聚合为统一网络表示.最后,综合不同维度上的重构误差进行节点异常分数评价,从而识别网络中的异常节点.在真实网络数据集上的对比实验表明,提出的模型能够实现对领域知识的有效融合,并获得优于基线方法的异常检测性能.

时间序列复杂网络分析中的可视图方法研究综述

可视图是将时间序列转换成复杂网络的重要方法之一,也是连接非线性信号分析和复杂网络之间的全新视角,在经济金融、生物医学、工业工程等领域均应用广泛.可视图的拓扑结构继承了原始时间序列的重要性质,稳定且易于实现,通过可视图网络的相关统计特性,可区分特定时间序列数据下的特定行为.首先本文介绍了可视图方法在时间序列复杂网络分析中的相关研究,并通过必要性与可行性分析,充分说明可视图方法的优势所在.然后本文阐述了经典可视图和水平可视图方法的具体步骤及主要性质,从算法的过程改进、效率提升和可视图应用几个方面对现阶段可视图相关研究进行综述,介绍了众多可视图方法的基本过程,分析了可视图算法的识别抗噪能力和建网效率,并归纳整理了这些可视图方法的主要特性与适用范围.另外,本文复现了目前几种主流可视图算法,并公开相关的算法代码以供参考使用.通过对可视图相关研究的综述分析,可了解现阶段可视图的主要研究方向,为未来相关研究提供思路,并为时间序列复杂网络分析奠定基础.

基于多视图表征的虚假新闻检测

社交网络已经成为人们日常生活中获取和分享信息的主要渠道,同时也为虚假新闻的传播提供了捷径。如今,针对网络虚假新闻的检测问题受到学术界的广泛关注,但目前的检测方法缺乏基于新闻多个视角的深度探索或忽视了新闻中不同信息传播方向不同的问题,有待改进。文章提出一种基于新闻内容、用户信息和新闻传播3种视角的多视图表征和检测的模型MVRFD(Multi-View Representations for Fake News Detection),为虚假新闻检测任务提供更全面的视角。首先,利用协同注意力机制表征新闻内容中的多模态信息,使用具有不同方向的图神经网络聚合新闻传播过程中的用户信息和观点信息;然后,利用双协同注意力机制实现多个视角间的信息交互;最后,将新闻内容特征和新闻上下文特征进行融合。在公开数据集上的实验结果表明,文章所提出的模型实现了96.7%的准确率和96.8%的F1值,优于主流的文本处理模型以及基于单视角的检测模型。

注意力机制与神经渲染的多视图三维重建算法

针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。

基于自适应聚合循环递归的稠密点云重建网络

为了解决弱纹理重建难、资源消耗大和重建时间长等问题,提出了一种基于自适应聚合循环递归卷积的多阶段稠密点云重建网络,即A2R2-MVSNet(adaptive aggregation recurrent recursive multi view stereo net)。该方法首先引入一种基于多尺度循环递归残差的特征提取模块,聚合上下文语义信息,以解决弱纹理或无纹理区域特征提取难的问题。在代价体正则化部分,提出一种残差正则化模块,该模块在略微增加内存消耗的前提下,提高了3D CNN提取和聚合上下文语意的能力。实验结果表明,提出的方法在DTU数据集上的综合指标排名靠前,在重建细节上有着更好的体现,且在BlendedMVS数据集上生成了不错的深度图和点云结果,此外网络还在自采集的大规模高分辨率数据集上进行了泛化测试。归功于由粗到细的多阶段思想和我们提出的模块,网络在生成高准确性和完整性深度图的同时,还能进行高分辨率重建以适用于实际问题。

基于AISI网络的虚拟场景多视图三维重建模型研究

传统的深度神经网络数据处理方法计算复杂,多视图模型建立过程中会重复提取虚拟场景数据特征,增大了计算难度和计算量,并对虚拟场景多视图三维重建模型的空间构造造成波动影响。为了缩短模型与设计理念之间的差距,基于美国钢铁学会标准(AISI)网络的数据分析方法,建立代价体和代价体正则化回归网络。通过获取、初始化、并行匹配空间三维数据,分别将目标的虚拟场景进行逆推,构建三维模型,充分考虑场景的多个应用角度,提高场景建设的价值。实验结果表明:对于目标建筑模型,该模型比传统模型完整性误差低16%,准确性误差低4%,重建整体度提高2%,解决空间设计与实施之间冲突的问题,促进建筑建模领域的发展。

基于自适应空间特征增强的多视图深度估计

为了提高多视图深度估计结果精度,提出一种基于自适应空间特征增强的多视图深度估计算法。设计了由改进后的特征金字塔网络(feature pyramid network,FPN)和自适应空间特征增强(adaptive space feature enhancement,ASFE)组成的多尺度特征提取模块,获取到具有全局上下文信息和位置信息的多尺度特征图像。通过残差学习网络对深度图进行优化,防止多次卷积操作出现重建边缘模糊的问题。通过分类的思想构建focal loss函数增强网络模型的判断能力。由实验结果可知,该算法在DTU(technical university of denmark)数据集上和CasMVSNet(Cascade MVSNet)算法相比,在整体精度误差、运行时间、显存资源占用上分别降低了14.08%、72.15%、4.62%。在Tanks and Temples数据集整体评价指标Mean上该模型优于其他算法,证明提出的基于自适应空间特征增强的多视图深度估计算法的有效性。

基于多视图知识表示和神经网络的旅游领域实体对齐方法

针对目前旅游领域实体对齐任务中的长尾实体过多和现有知识以及标注数据稀缺的问题,提出一种基于多视图知识表示和神经网络相结合的实体对齐方法。采用预训练模型完成多视图的知识表示学习,获得了实体的结构嵌入、关系嵌入和描述信息嵌入,然后利用卷积神经网络对结合了三种视图嵌入的实体综合嵌入进行相似度计算。实验精准率达到91.4%、召回率达到87.9%、综合指标F1值达到89.6%。结果表明,该方法有效地完成了旅游领域的实体对齐任务。

面向多跳问答的多视图语义推理网络

由于多跳知识图谱问答任务的复杂性,现有研究大多通过堆叠多层图神经网络以捕捉更大范围的高阶邻居信息。这种做法将多阶信息融合在一起,以损失节点判别性为代价获取更全局的信息,存在过平滑问题;并且,由于离节点越近的邻居置信度越高,将多阶邻居信息融合在一起的做法会忽略邻居的置信度。此外,多跳知识图谱问答存在许多数据集通常没有给定中间路径的监督信息的弱监督问题,会使模型在进行路径推理时缺乏有效的指导信息,导致模型推理能力降低。为了解决以上问题,论文提出了一种多视图语义推理网络,该网络利用全局和局部两种视图的信息共同进行推理。全局视图信息是指节点的多阶邻居信息,能够为推理提供更丰富的证据;局部视图信息则只关注节点的1阶邻居信息,更具有判别性,能够缓解全局视图信息存在的过平滑问题。同时,该网络将问题分解为多个子问题作为中间路径推理的指导信息,并从问题语义构成的均匀性和一致性出发,设计了一种新颖的损失函数以提升问题分解的质量,以提高模型中间路径推理的能力。论文方法在3个真实数据集上进行了大量实验,实验结果表明,多视图的语义信息能够为推理提供更加全面的证据,将问题分解为子问题的做法能够提高中间路径推理的准确性,证明了论文方法的有效性。

基于脑电多视图混合神经网络的时空半监督睡眠分期

睡眠分期是评价睡眠质量的必要基础,现阶段的工作大部分采用全监督学习和单一维度视图信息进行,这不仅需要技师进行大量的睡眠数据标注,还可能因特征提取不充分而导致分期准确率受限的问题.利用半监督学习策略,实现对脑电无标注数据的学习.提出一种多视图混合神经网络,首先用多通道视图时频域机制分别提取时域信号特征和空域信号特征,实现多视图特征提取;再通过注意力机制加强对显著性特征的提取;最后将上述混合特征融合并分类.在三个公开数据集和一个私有数据集中与全监督学习进行了对比评估,半监督学习取得平均准确率为81.0%,卡帕值为73.2%.结果表明,本文模型可以与全监督学习的睡眠分期模型相媲美,同时显著减少技师标注数据的工作量.

面向方面级情感分析的多视图表示模型

面向特定方面的用户评论细粒度情感分析是当前自然语言处理领域一个热门的研究话题,针对评论语句在内容表达和句法结构上的灵活性,综合运用词性、句法、语义等知识增强评论语句的特征表示是当前一种主要的研究思路。基于此,提出一种多视图融合表示的图卷积网络模型。该模型通过自注意力和特定方面注意力,学习得到评论语句基于上下文的增强表示;分别利用句法依赖信息和词共现信息,通过图卷积操作得到评论语句基于句法和基于语义的两种不同表示;在获得三种不同视图表示的基础上设计了一种分层融合方式,通过对三种表示的不同组合与卷积操作实现不同视图表示间的信息共享与互补。五个公开数据集上的实验结果表明该模型较现有模型取得了更好的性能。

视图分支共享卷积神经网络的多视图人群计数方法

多视图人群计数,指从多个视角的图片中估计当前场景的人数.大多数基于卷积神经网络的方法使用多个同构但独立的分支处理不同视图,在增加模型复杂性的同时,引入大量的冗余特征.针对此问题,本文提出一种基于视图分支共享的卷积神经网络模型,使用同一视图分支从不同视角的图片提取出多个尺度对齐的特征图.这些特征图被投影到同一个世界平面上进行融合,进而回归出当前场景人群分布密度图.在视图分支内部,该模型在保持一定的结构复杂性的同时,减少各卷积层的核数量,极大降低模型可学习的参数数量.本文在两个公开数据集(PETS2009、CityStreet)上测试了性能,与5种已有方法相比较,本文方法能达到更好的性能.

基于生成对抗网络的渐进式夜视图像彩色化算法

受限于夜景光照不足等影响,夜视成像中的部分内容极易缺失或模糊,导致这部分的彩色化效果不佳.为此,本文提出了一种基于生成对抗网络的夜视图像彩色化算法,通过对纹理细节的修复来提升图像模糊区域的彩色化效果.首先,在模糊区域修复中,利用下采样操作减少模糊图像块的比例,并用梯度调节预测器对模糊图像块周围的像素值进行预测,以此来不断增强和修复模糊的纹理细节.其次,在彩色化过程中,依托于生成的超分辨率图像和已有的先进对抗网络着色模型,通过最小化亮度和纹理等失真,来生成较为清晰的彩色图像.实验结果表明,经过模糊区域恢复和增强之后,灰度图像的PSNR平均提升0.33 dB.相比之前的夜视图像彩色化方法,本文方法可以赋予灰度夜视图像更丰富、自然的色调,更清楚地表达图像的细节,从而提高目标探测和识别效率.

基于图注意力网络的风力发电机齿轮箱故障诊断

针对风力发电机齿轮箱故障振动信号的非平稳性、特征混叠和诊断正确率低等问题,提出一种基于图注意力网络(GAT)的风力发电机齿轮箱故障诊断方法。首先利用原始振动信号的频谱定义节点和边,将故障信号构造为可视图;然后将可视图数据作为输入,在GAT中嵌入邻居自注意力机制使其自适应提取可视图信号的节点特征和结构特征;最后使用分类器对提取的节点特征进行分类识别。通过行星齿轮箱数据集和风力发电机齿轮箱数据集的实验,结果表明与机器学习、深度学习以及其他图神经网络相比,所提方法准确率更高,鲁棒性和抗噪性更好,可有效实现端到端的智能故障诊断。

基于多视图融合跨层对比学习的推荐算法

现有基于图对比学习的推荐模型在图数据增强方面通常只采用一种视图增强方法,忽略了单一方法存在的局限性,在对比学习方面通常只对比同一节点的一对视图,未充分利用各个视图不同的层嵌入。为此,提出一种基于多视图融合跨层对比学习的推荐算法框架(MFCCL)。MFCCL分别使用随机边丢弃和随机添加噪声的增强方法构建2个全局视图,使用奇异值分解的方法构建局部视图,通过3种不同的视图增强方法构造全局和局部共3个视图,以实现有效的用户表示。同时,提出一种新的多视图融合跨层对比学习方法,该方法将2个全局视图不同的层嵌入通过平行和交叉2种方式进行融合后作对比,以获取更多的特征信息。将多视图融合跨层对比学习与全局-局部视图对比学习相结合,联合优化模型,从而提升推荐性能。在Yelp、Tmall和Amazon-book这3个公开数据集上进行实验,结果表明,MFCCL在推荐任务中具有有效性和可行性,相较于对比模型中性能最优的基线模型SimGCL,MFCCL在3个数据集中的Recall@20增益分别达到15.0%、13.3%和28.7%,NDCG@20值分别提升14.3%、13.2%和29.6%。

基于深度学习的多视图火焰面三维重建

针对火焰面三维重建时存在背景噪点的问题,提出了一种基于MVSNet多视图三维重构网络的IM-MVSNet网络用于重构层流火焰的火焰面。该网络通过对输入采样图像的参考帧以及邻域帧进行图像分割,去除采样时的背景噪声,得到高质量分割图像,然后将多视图图像进行三维重建,构建层流火焰面三维点云,进而得到重构的层流火焰面。通过不同重构模型火焰面重构效果对比,本文提出的三维重构网络能够有效减少重构火焰面的点云噪点,提高火焰面重构精度,为燃烧研究提供了一种新的方法。