基于多元语义特征和图卷积神经网络的短文本分类模型

在互联网和社交媒体迅猛发展的背景下,网络中出现了大量的短文本数据,这些数据在舆情监控、情感分析和新闻分类等自然语言处理领域展现出了非常高的经济和学术价值.但短文本数据固有的特征给短文本分类带来了不小的挑战,如文本稀疏和缺乏丰富的上下文语义等.针对这些问题,提出了一种结合多元语义特征和图卷积神经网络(GCN)的短文本分类模型,该模型通过哈尔滨工业大学的语言技术平台获取短文本的多种语义特征,并将这些语义特征同短文本一起构建一个多元异构图,然后将其作为GCN的输入,利用GCN学习短文本更深层特征,最后通过Softmax函数获取每个类别的概率分布,进而实现短文本分类.试验结果表明,本模型在短文本分类的F1评分上比传统单一模型提高了4%.

图卷积神经网络综述

图卷积神经网络是图论与深度学习的交叉,已成为机器学习领域的研究热点。基于此,介绍了图卷积神经网络的形成,梳理了两大类经典的图卷积神经网络:谱方法和空间方法,详细介绍了这两类图卷积神经网络模型,分析了图卷积操作的核心理论基础,介绍了图卷积神经网络在各领域的应用,总结了图卷积神经网络面临的主要挑战,展望了图卷积神经网络的发展趋势,并分析了图卷积神经网络在野外环境下蝴蝶识别任务中的潜在应用。

面向去中心化双重差分隐私的谱图卷积神经网络

图卷积神经网络是一种面向多任务且应用广泛的深度学习模型。文章研究了去中心化场景中谱域图卷积神经网络节点关系信息和节点特征信息的保护问题,提出双重差分隐私保护机制下的谱图卷积神经网络DDPSGCN。在给定隐私预算总额的条件下对拉普拉斯机制和高斯机制进行隐私预算分配,并通过隐私损失和Chernoff界理论进行参数估计。在两大分布噪声扰动作用基于不同图数据信息的隐私保护下,文章提出基于区块链去中心化差分隐私处理机制的图卷积神经网络训练算法。实验表明文章采用的去中心化双重差分隐私机制,能够在半监督节点分类任务准确率下降1%以内的前提下确保原始数据隐私不泄露,相较于单隐私保护机制有着更高的隐私保护效率和更强的对抗攻击鲁棒性。

基于图卷积神经网络的数据中心冷却模型预测控制优化方法研究

在大型数据中心末端冷却系统中,由于系统复杂、真实系统运行历史数据有限,导致节能优化困难的问题。本文提出了一种基于图卷积神经网络(Graph Convolutional Neural Networks,GCNNs)的数据中心冷却模型预测控制(Model Predictive Control,MPC)优化方法。通过对末端冷却系统中房间级组件(如冷却单元、传感器)之间的空间关系及相互作用进行抽象,建立与之对应的图卷积神经网络模型和末端控制算法。结果表明:该方法在大型数据中心的场景下,与基于比例-积分-微分(Proportional-Integral-Derivative,PID)的传统控制方法相比,末端冷却系统的控制节能效率提升了5%~15%。

基于谱图论和图卷积神经网络的直流电网节点电压估计研究

深度学习在电力系统领域应用已非常广泛,潮流计算是电力系统重要的基础性任务之一,传统算法依赖于迭代求解,不适用于快速估计场合。直流电网的潮流求解实质上是节点电压求解问题,为此,提出了一种基于谱图论和图卷积神经网络(graph convolution neural network,GCN)的直流电网电压估计模型。通过网络拓扑拉普拉斯矩阵的特征向量实现时域直流电网到谱域直流电网的空间正交变换,从而完成时域电气量信息与网络结构信息之间的数据融合,并配合图卷积网络实现对数据特征的有效提取,进而完成从初始谱域电气量到稳态时域电气量之间的映射。仿真结果表明,所提模型能够较好地实现从初始电气量到稳态节点电压的映射,具有较高的电压估计准确度。

时空注意力图卷积神经网络水下节点时钟同步算法

时钟同步是水下无线传感器网络工作的核心机制.实时、准确的节点移动速度是构建高精度时钟同步算法的重要保障,针对同步过程由于节点移动速度难以估算导致同步精度低和能耗高等问题,提出一种基于注意力机制和图卷积神经网络相结合的时钟同步算法.首先,利用深海拉格朗日洋流模型模拟节点的运动轨迹,由洋流模型粗略估计出节点的速度;对节点速度、水下环境信息集和时间占比进行融合处理,来作为图神经网络输入特征;其次使用注意力机制结合输入特征构建时空注意力权重矩阵,并根据特征数据自适应地调整权重矩阵;再联合图卷积神经网络捕捉节点速度之间、位移之间的空间性特征;在此基础上再堆叠标准卷积层进一步合并相邻时间的节点信息以获取时间相关性,然后构造节点移动模型进而实时有效地预测出节点移动速度,最后快速计算出节点动态的传播时延完成时钟同步.实验结果表明,本文算法在精度上分别比TSHL算法、D-sync算法、K-sync算法提升了26%、20%和11%,在能耗上也优于现有的时钟同步算法.

基于图卷积神经网络的织物分类研究

织物的分类研究在织物生产、服装设计等领域有着广泛应用。提出织物力模型,结合多帧时序信息和图卷积神经网络,给出一种用图来描述织物运动的新方法,通过分析和提取织物视频中的运动特征,实现织物的分类。该方法使用30种不同织物在风力吹动下的视频作为实验数据集,将视频每一帧作为一个图节点,然后根据视频时序性连接同类织物节点的边。此外结合织物力模型对原视频图像作预处理以提取力流特征作为视觉单词存储,再依据视觉单词探索同类与不同类织物间的潜在联系,由此将欧氏织物视频数据转换为非欧氏织物图数据,最后使用图卷积神经网络进行分类处理。该方法避免了传统织物分类过程中织物纹理、颜色、外部光照等因素的影响,突破了传统分类方法只能对少数织物进行分类的限制,有较好的分类效果。

基于图卷积神经网络的主题模型文本分类探究

现阶段,人们的大量生活信息多以社交媒体、新闻报道等方式记录存储。而在文本分类中融入图卷积神经网络主题模型算法,可将各类信息数据通过分类控制,全面应用到国民经济、社会管理及网络安全当中。基于此,该文简单分析融合主题模型的卷积神经网络分类,并深入探讨文本分类系统实践,以供参考。

基于时空图卷积神经网络的蛋白质复合物识别方法

目的探讨利用时空图卷积神经网络在动态蛋白质网络中挖掘复合物的新方法。方法文中首先定义了边强度、节点强度和边存在概率等指标对动态蛋白质网络进行建模,然后结合图上的时间序列信息和结构信息,基于希尔伯特-黄变换、注意力机制和残差连接等技术设计了2种卷积算子来对网络中蛋白质的特征进行表示学习,构建得到动态蛋白质网络特征图。最后采用谱聚类来识别复合物。结果在多个公开生物数据集上的仿真实验结果表明,所提算法在DIP数据集和MIPS数据集上的F值都达到了90%以上,相比于DPCMNE、GE-CFI、VGAE和NOCD等4种识别算法而言,识别效率分别平均提高了约34.5%、28.7%、25.4%和17.6%。结论运用深度学习技术来处理动态蛋白质网络的性能表现良好,具有普适意义。

融合实体信息的图卷积神经网络的短文本分类模型分析

基于融合实体信息,建立图卷积神经网络模型,该模型结构分别由类别输出、特征学习、嵌入输入以及实体链接四个模块构成,将其应用于短文本分类,在实际操作中,可以利用实体链接工具对短文本中实体进行抽取,并在图卷积神经网络支持下,进行建模、拼接以及融合处理,最后完成短文本分类。相较于传统文本分类方法,前者不仅可以保证极高的分类准确率,其分类性能也明显优于目前文本分类领域中现有主流方法,对后续自然语言处理更进一步研究有着重要现实意义。

基于图卷积神经网络的专利语义模型构建研究

使用专利语义模型为设计人员提供合适的专利查询是一项重要工作。目前,大部分专利语义分析主要通过词频方式进行,存在具有相似关键词的专利无法被检索到的问题。对此,基于字与词的语义差异性,构建基于专利-单字符和专利-主题词两种异构图的图卷积神经网络模型,进行语义模型研究及语义模型检索应用分析。基于自行车专利数据进行试验验证,结果表明,基于专利-单字符图卷积神经网络的专利语义模型更加准确,应用这一模型结合设计方法学中的功能-原理-结构检索式,能够达到较佳的检索效果。

注意力机制和图卷积神经网络引导的谱聚类方法

经典的谱聚类算法需要计算图拉普拉斯矩阵的特征分解,代价昂贵,学者们将深度学习模型引入谱聚类算法。然而,现有的方法存在一定的局限性。针对现有聚类模型忽略了节点间的关联度信息,导致聚类结果不准确;当图神经网络中的节点数目发生变化时,需要更新整张图,耗费大量存储空间的问题,本文将注意力机制与改进的图卷积神经网络架构相结合,提出了一种基于注意力和图卷积神经网络的谱聚类方法。该方法主要利用注意力机制引导节点聚类,然后建立相应的目标,通过训练神经网络计算出目标最优时对应的聚类分配,并在图重构过程中利用注意力信息和拓扑信息双重引导,从而提升重构的精确度。实验结果显示,本文提出的方法在图分类、图聚类及图重构中具有良好性能。

基于图神经网络模型的股市风险预警研究

股票市场的风险预警是维护国家经济体系安全稳定的基础,准确的股市风险预警对于股民、有关监管部门以及企业都有重要意义。提出了一种新的以股票关系网络为基础的图神经网络(GNNs)预警模型,与现有基于预警指标体系和传统机器学习模型的方法有所不同。构建了基于Spearman相关系数的股票关系网络,并运用了图卷积神经网络与多层感知机模型(GCN-MLP),建立以股票关系网络和股票特征为输入变量的股市风险预警模型。实验分析表明,在公共数据集上,GCN-MLP预警模型相较于其他经典和先进的方法,具有更具竞争力的预警性能。

基于图卷积神经网络的压缩机组风险预警模型

在压缩机组运行过程中,针对多个监测信号量发生微小故障作用下的隐含特征对机组运行的影响,提出了基于图卷积神经网络(Graph Convolutional Neural Network,GCNN)的压缩机组风险预警模型。将时序的压缩机组运行数据转化为基于时间点的信号网络,依据改进的密度峰值聚类(An Improved Density Peak Fast Search Algorithm,AIDP)算法对机组运行数据进行故障粗分类,获得标签样本;再通过GCNN训练标签数据的隐含特征,实现机组风险预警;在真实数据集中进行预警分析。实验结果表明,所提出的模型极大增强了压缩机组风险预警的识别能力,为保证整个压缩机组的安全平稳运行提供了理论与实践依据。

基于图卷积神经网络的充电量预测模型

针对现有的电动汽车充电量负荷预测模型准确性低、稳定性差等问题,提出了一种基于图卷积神经网络(GCN)和小生境免疫—狮子算法(NILA)改进的预测模型,实现电动汽车充电量的准确预测。同时,本研究还设计三相交流充电桩控制系统,其中包括了三相交流充电桩与控制状态检测的硬件电路。实验结果表明,本研究NILA-GCN模型在电动汽车充电量负荷预测中具有较好的准确性,预测误差范围控制在[0.23%,2.86%]。

基于图卷积神经网络的古汉语分词研究

古汉语的语法有省略、语序倒置的特点,词法有词类活用、代词名词丰富的特点,这些特点增加了古汉语分词的难度,并带来严重的out-of-vocabulary(OOV)问题。目前,深度学习方法已被广泛地应用在古汉语分词任务中并取得了成功,但是这些研究更关注的是如何提高分词效果,忽视了分词任务中的一大挑战,即OOV问题。因此,本文提出了一种基于图卷积神经网络的古汉语分词框架,通过结合预训练语言模型和图卷积神经网络,将外部知识融合到神经网络模型中来提高分词性能并缓解OOV问题。在《左传》《战国策》和《儒林外史》3个古汉语分词数据集上的研究结果显示,本文模型提高了3个数据集的分词表现。进一步的研究分析证明,本文模型能够有效地融合词典和N-gram信息;特别是N-gram有助于缓解OOV问题。

高斯混合模型与文本图卷积网络结合的虚假评论识别算法

针对文本图卷积网络(Text GCN)窗口边权阈值策略不足的问题,为了更精准地挖掘相关的词关联结构、提高预测精度,提出一种高斯混合模型(GMM)与Text GCN结合的虚假评论识别算法F-Text GCN。首先,利用GMM分离噪声边权分布的特性,提高虚假评论在训练数据上相对正常评论数不足的边信号强度;然后,考虑到信源的多样性,综合文档、词汇和评论以及非文本特征构造邻接矩阵;最后,通过Text GCN的谱分解提取邻接矩阵的虚假评论关联结构实施预测。根据国内某大型电商平台采集的126086条实际中文评论数据开展实证研究,实验结果表明,F-Text GCN识别虚假评论的F1值达到82.92%,与预训练表征模型BERT和文本卷积神经网络相比分别提升了10.46%和11.60%,相较于只使用评论文本信源的Text GCN模型F1值提升了2.94%;研究了高仿虚假评论的预测错误率,在支持向量机(SVM)作用后难识别的评论样本上尝试二次识别,F-Text GCN整体预测准确率可达94.71%,相较于Text GCN和SVM,在识别准确率上分别提升了2.91%和14.54%。研究发现,虚假评论的二阶图邻居结构显示出较强的干预消费者决策的词汇,这表明所提算法特别适用于提取用于虚假评论检测的长程词语搭配结构和全局句子特征模式变化的场景。

基于图卷积神经网络的脑力负荷识别

针对生理信号特征提取过程依赖于先验知识,且传统深度学习算法不考虑通道间耦合关系的问题,构建了基于图卷积神经网络的脑力负荷识别模型。数据集包含多通道连续采集的近红外光谱,分别计算基于互信息、锁相值和皮尔森相关系数的连通性矩阵来反映通道间的内在联系,并将近红外光谱和连通性矩阵组成图结构输入到图卷积神经网络。实验结果表明,该模型具有良好的抽象特征提取能力,在输入中融合通道间相关性系数有助于提升脑力负荷的识别精度,且连通性矩阵的可视化结果表明大脑额叶区对脑力负荷变化较敏感。

基于节点采样的子结构代表层次池化图卷积网络模型

为解决目前基于节点采样的图池化方法中所存在的评估节点重要性的策略过于简单以及子结构特征信息大量丢失等问题,提出了基于节点采样的子结构代表层次池化模型(sub-structure representative hierarchical pooling model based on node sampling,SsrPool)。该模型主要包括子结构代表节点选择模块和子结构代表节点特征生成模块2个部分。首先,子结构代表节点选择模块同时考虑了节点特征信息以及结构信息,利用不同方法评估节点重要性并通过不同重要性分数协作产生鲁棒的节点排名以指导节点选择。其次,子结构代表节点特征生成模块通过特征融合保留局部子结构特征信息。通过将SsrPool与现有神经网络相结合,在不同规模公共数据集上的图分类实验结果证明了SsrPool的有效性。

基于图卷积神经网络和RoBERTa的物流订单分类

订单信息贯穿于物流供应链的所有环节,高效的订单处理是保障物流服务质量和运营效率的关键。面对日益增长的差异化客户物流订单,人工对订单分类费时、低效,难以满足现代物流要求的效率标准。为了提升物流订单分类的性能,该文提出了一种基于图卷积神经网络(graph convolution network,GCN)和RoBERTa预训练语言模型的订单分类方法。首先,基于物流订单文本的抽象语义表示(abstract meaning representation,AMR)结果和关键词构建全局AMR图,并使用图卷积神经网络对全局AMR图进行特征提取,获取订单文本的全局AMR图表示向量;其次,基于AMR算法构建物流订单文本分句的局部AMR图集合,然后使用堆叠GCN处理图集合得到订单文本局部AMR图表示向量;再次,使用RoBERTa模型处理物流订单文本,得到文本语义表示向量;最后,融合三种类型的文本表示向量完成物流订单分类。实验结果表明:该方法在多项评价指标上优于其他基线方法。消融实验结果也验证了该分类方法各模块的有效性。