基于有监督Kohonen神经网络的步态识别

表面肌电信号随着时间的变化而改变,这将影响运动模式的分类精度.传统人体下肢假肢运动模式的识别算法不能保证在整个肌电控制时间内达到对运动模式的有效识别.为了解决这些问题,本文提取步态初期200 ms的信号的特征值,将无监督和有监督的Kohonen神经网络算法应用到大腿截肢者残肢侧的步态识别中,并与传统BP神经网络进行了对比.结果表明,有监督的Kohonen神经网络算法将五种路况下步态的平均识别率提高到88.4%,优于无监督的Kohonen神经网络算法和BP神经网络.

基于自训练半监督神经网络的结构损伤识别

为解决结构损伤识别中标签样本不足的问题,提出一种基于自训练半监督神经网络(self-training semi-supervised neural networks,SSNN)的结构损伤识别框架,该框架利用自训练半监督方法对多层感知机(multilayer perceptron,MLP)神经网络进行训练,从无标签样本中挑选置信度高的样本标注伪标签,扩大样本训练集,并采用归一化频率变化率和损伤特征指数作为输入特征,用于识别结构损伤。首先,介绍自训练半监督学习的基本理论和方法;其次,从神经网络构建、损伤特征提取、分类器评估等方面,给出结构损伤识别流程;最后,通过空间桁架的数值案例及3层框架的试验数据,验证所提出的损伤识别方法。结果表明:自训练半监督学习能够从无标签样本中选取置信度较高的样本,为损伤识别提供更充足的有标签样本;在标记样本不足的条件下,SSNN比MLP神经网络的损伤识别效果更好;相较于MLP神经网络,SSNN在单一位置损伤工况下,识别准确率提升约4%,2个位置损伤识别准确率提升约9%。

基于改进图卷积神经网络的半监督分类

图卷积神经网络(GCN)是一种用于处理图数据的深度学习模型.在经典的GCN中节点之间的聚合,未考虑节点间相似度的特征信息,影响了分类模型的准确性和模型训练的收敛速度.本文提出了一种改进聚合权重的图卷积神经网络IAW-GCN,通过利用描述节点相似度的曼哈顿距离度量设计了节点聚合权重函数,并用节点距离度量矩阵改进了GCN模型中的特征矩阵,使得IAW-GCN模型在消息传递聚合过程中根据相似度调节节点聚合权重.实验结果表明,在Cora、Citeseer和Pubmed标准引文数据集条件下,IAW-GCN在半监督分类任务中的分类准确率和模型训练收敛速度均优于经典GCN,为解决半监督分类问题提供了一种新方法.

一种风向监督双流神经网络--以一维Burgers方程求解为例

针对一维Burgers方程下单一建模方式难以充分考虑不同阶段风向对系数的影响比重,无法有效获得各节点间的关联信息的问题,本文提出了一种风向监督双流神经网络分别预测上下风向的有限差分系数。同时设计了一种风向判断模块,实现了对预测得到有限差分系数的权重融合。通过风向监督双流神经网络,并结合先验知识对学得的系数分配一定的权重,以突出上下风向对预测结果的不同影响,可以有效实现对不同风向上的点分别进行预测,使得空间结构特征信息挖掘更加充分,从而提高差分系数预测的精度。在比传统数值求解方法网格分辨率粗4~8倍的同时,提高了谷歌团队工作的精度,以此提高了计算的速度。

基于异构图神经网络的半监督网站主题分类

互联网网站数量快速增长使现有方法难以准确分类特定网站主题,如基于URL的方法无法处理未反映在URL中的主题信息,基于网页内容的方法受到数据稀疏性和语义关系捕捉的限制。为此,提出一种基于异构图神经网络的半监督网站主题分类方法HGNN-SWT。该方法不仅利用网站文本特征来弥补仅使用URL特征的不足,还利用异构图对网站文本和词语的稀疏关系进行建模,通过处理图中的节点和边关系来提高分类性能。同时引入基于随机游走的邻居节点采样方法,考虑节点的局部特征和全局图结构,并提出特征融合策略,捕捉网站文本数据的上下文关系和特征交互。通过在自制的Chinaz Website数据集上的实验,证明了HGNN-SWT方法在网站主题分类任务中相较于现有方法具有更高的准确率。

卷积神经网络的半监督层位追踪方法

层位追踪是地震资料解释的关键步骤,通常由解释人员以人机交互方式进行,效率较低。卷积神经网络可以构建地震数据和训练标签的非线性映射关系从而完成层位追踪,由于人工解释结果获取困难,仅由少量标签训练的模型泛化能力较差。为此,提出一种基于卷积神经网络的半监督层位追踪方法,将层位追踪转化为层位断层间区域的图像分割。首先使用自编码器对无标签数据进行训练,之后将部分参数迁移至有监督学习网络后使用少量标签数据进行有监督学习,最后对整个工区的地震数据进行预测,提取分割结果边缘作为层位追踪结果。合成数据和实际数据的测试结果均表明,相较于有监督学习层位追踪方法,该方法具有较少的错误分割,由分割边界提取的层位与人工层位解释结果的误差较小,具有更好的泛化能力。

在线深度神经网络的弱监督概念漂移检测方法

流数据作为大数据的重要形式广泛存在于实际问题中,由于流数据中数据分布变化产生概念漂移,容易导致模型的泛化性能下降,且在实际应用问题中,数据标记成本较高,难以获得强监督的信息.针对以上问题,本文提出一种基于在线深度神经网络的弱监督概念漂移检测(Weakly supervised conceptual drift detection method based on online deep neural network,WSCDD)方法.该方法设计了一种在线深度神经网络模型,采用Hedge反向传播方法在线学习网络深度,并通过设计Dropout层在模型预测时引入随机性,利用蒙特卡罗方法量化深度神经网络模型的预测不确定性,通过自适应滑动窗口技术检测弱监督环境下概念漂移的发生,并使模型适应新的概念.实验结果表明,该方法可以准确检测数据流中概念漂移的发生,在漂移发生后能够快速收敛到新的数据分布,提高了学习模型的泛化性能.

半监督场景下多视角信息交互的图卷积神经网络

在当前数据来源多样化且人工标记难度大的现实生活中,半监督场景下多视角数据的分类算法在各个领域中都具有重要的研究意义.近年来,基于图神经网络的半监督多视角分类算法研究已经取得了很大的进展.但是现有的图神经网络算法大多是在分类阶段进行多视角互补信息的融合,反而忽略了训练阶段同一样本不同视角间互补信息的交互.针对上述问题,提出半监督场景下多视角信息交互的图卷积神经网络算法MIGCN(multi-view interaction graph convolutional network).该方法通过在不同视角上训练的图卷积层之间引入Transformer Encoder模块,使得同一样本在训练阶段都可以通过注意力机制自适应的在不同视角间获取互补性信息,进而加强自身的训练;除此之外,还通过引入一致性约束损失让不同视角最终特征表达的相似关系尽可能一样,促使图卷积神经网络在分类阶段更加合理的利用多视角特征之间的一致性和互补性信息,进一步提升多视角融合特征的鲁棒性.最后,在多个真实世界多视角数据集上的实验表明,相比于基于图的半监督多视角分类模型,MIGCN可以更好地学习到多视角数据的本质特征,进而提升半监督多视角分类的准确性.

基于自监督异质图神经网络的图分类框架

图数据以各种各样的形式广泛存在着,图分类任务对于许多问题有重要指导意义。然而图分类任务依然面临很多挑战,包括如何充分利用图结构蕴含的语义信息、进一步降低计算复杂度及获取标签的成本。提出一种超节点异质网络的构建方法,并由此提出可应用于图分类问题的新型框架GChgnn。该框架通过引入双视角的图表示机制以及自监督的对比学习,实现了:1)对大规模图分类任务目标间的相似性进行度量;2)借鉴图匹配方法,通过跨图思想提高相似性度量的准确度,并弥补其无法给出图嵌入显式表达式的不足;3)规避了在网络中设计复杂的卷积与池化算子。通过在一些公开数据集上的测试证明,该框架的综合效果优于现有的解决图分类问题的其他方法。

自监督混合图神经网络的会话推荐模型

基于会话的推荐旨在利用匿名会话预测用户行为。现有基于图神经网络(GNN)的会话推荐算法大多仅针对当前会话提取用户偏好,却忽略了来自其他会话的高阶多元关系从而影响推荐精度。此外,由于会话推荐所采用的短时交互序列包含的信息非常有限,使其更容易受到数据稀疏性的影响。针对上述问题,提出了自监督混合图神经网络会话推荐模型(SHGN)。该模型首先通过将原始数据构建为三个视图来描述会话与物品关系,然后通过多头图注意力网络捕获会话内部物品的低阶转换信息,提出了残差图卷积网络捕获物品和会话的高阶转换信息;最后融合自监督学习(SSL)作为辅助任务,通过最大化不同通道学习到的会话嵌入的互信息,对原始数据进行数据增强从而提升推荐性能。为了验证该方法的有效性,在Tmall、Diginetica、Nowplaying、Yoochoose四个基准数据集上与SR-GNN、GCE-GNN、DHCN等主流基线模型进行了对比实验,实验结果在P@20、MRR@20等性能指标上均取得了一定提升。

基于无监督神经网络匹配算法的叠前表面多次波压制方法

为了有效地压制海上地震勘探数据中的表面多次波,实现勘探目标的正确成像,提出一种基于无监督神经网络的叠前表面多次波匹配算法,将神经网络方法与表面相关多次波压制方法相结合,通过设定学习率不断下降,用无监督神经网络取代匹配滤波算子,对叠前地震数据进行表面多次波的压制,既不需要传统的匹配算法,也不需要在标签数据集上进行训练。在简单合成数据、Sigsbee模型数据和实际数据上的应用结果验证了该方法对表面多次波压制的有效性。

基于自监督神经网络在企业Web应用中的事件预测与异常检测

针对企业Web应用提出一种新的事件预测方法DeepEvent,以更好地检测异常事件。DeepEvent包括三个关键特性:特定于Web应用而设计的神经网络结构以充分考虑连续事件之间的特征,克服标注数据稀缺的自监督学习技术,以及集成上下文事件和捕获事件之间依赖关系的序列嵌入技术。在从六个真实世界的企业Web应用程序中收集到的事件上来对DeepEvent进行评估。实验结果表明,DeepEvent在预测连续事件和检测Web异常方面是有效的。

基于自监督图神经网络和混合神经网络的入侵检测

为了解决现有网络入侵检测方法在特征提取单一、数据依赖强以及模型泛化能力差等方面的问题,提出了一种基于自监督图神经网络和混合神经网络的入侵检测方法。首先,通过自监督学习策略,利用图卷积网络提取网络流量数据中的结构特征,增强模型在无标签数据上的特征学习能力,从而降低对标注数据的依赖并提升泛化能力。其次,使用卷积神经网络提取网络流量中时间序列的空间特征,并通过长短时记忆网络建模时间依赖性,进行多视角特征提取,提高检测的全面性。最后,设计了一种特征融合策略,丰富模型特征表示,提升模型鲁棒性。在公开数据集上的实验结果表明,所提方法具有更高的准确率和F 1值。

在线优化参数的神经网络预测监督控制

使用具有辅助变量的全格式动态线性化方法逼近系统,构建了神经网络监督控制预测模型。利用线性跟踪-微分器建立过渡过程,应用线性扩张状态观测器估计输出预测值及其微分,给出了线性PID控制算法。根据对角回归神经网络构成直接逆控制,提出了改进的控制目标函数。依据非线性递推最小二乘法在线优化了PID控制参数和对角回归神经网络的连接权。当系统控制误差大于一定值时,重置PID控制参数。最后提出了在线优化参数的神经网络预测监督控制,克服了已有的神经网络监督控制存在建模难的问题。仿真研究结果表明控制算法的响应具有理想性能。

基于自监督图神经网络的传感器数据监测

物联网环境监测是当今世界最为重要且核心的技术之一,而物联网感知世界的能力是通过传感器获得的,传感器数据预警是智能物联网的基础。文章利用端到端图神经网络技术,为传感器数据建立传感器知识图谱,在编码端,通过传感器属性注意力图神经网络和传感器关系注意力图神经网络,构建传感器属性图谱和传感器关系图谱;在解码端,用图卷积神经网络对传感器数据解码,通过余铉交叉损失函数对编码端与解码端数据训练。依据训练好的模型,以传感器属性分类作为下游任务,实时监测传感器数据。在真实数据下实验,以多种基线为目标,该方法均表现优良。

对抗神经网络在轴承故障诊断中的应用

针对条件对抗神经网络(CGAN)只能进行真假不能进行分类判别和半监督对抗神经网络(SGAN)需要同时进行分类和真假判别的缺点,提出了一种改进对抗神经网络CSGAN模型,并给出了具体设计。该对抗网络的生成器G以CGAN为基础,由多层感知机(MLP)构成;判别器D以SGAN为基础,由卷积神经网络(CNN)构成。基于CSGAN,还提出了一种二维对抗神经网络轴承故障诊断方法,该方法首先将原始故障信号归一化到[-1,1]区间,然后利用一个滑窗从归一化数据中截取1024长度的数据,并转换构成32×32尺寸的二维矩阵作为CSGAN的输入。经多个公开数据集验证表明,这一诊断方法在不同样本比例的情况下都能有效提高判别器的诊断精度,具有良好的适用性。

变工况下动态卷积域对抗图神经网络故障诊断

针对基于无监督域自适应故障诊断方法忽略了域间数据结构信息、传统域对齐平均最大差异法全局泛化能力差等问题,本文提出一种基于无监督域自适应理论的动态卷积域对抗图神经网络故障诊断模型,分别通过对数据的类别标签、域标签和数据结构信息进行建模。通过分类器和域鉴别器分别建模类别标签和域标签,通过图神经网络将数据结构信息嵌入到实例图节点中,利用高斯Wasserstein距离来度量不同领域的实例图之间的差异。本文对比了不同工况下共14种迁移任务在各模型下故障识别的准确率。实验结果表明:基于动态卷积的域对抗图神经网络模型在变工况下的故障诊断效果均优于其他对比模型,且模型性能稳定。

基于脉冲序列标识的深度脉冲神经网络时空反向传播算法

尖峰放电的脉冲神经网络(SNN)具有接近大脑皮层的信号处理模式,被认为是实现大脑启发计算的重要途径。但是,目前对于深度脉冲神经网络的学习仍缺乏有效的监督学习算法。受尖峰放电速率标识的时空反向传播算法的启发,该文提出一种面向深度脉冲神经网络训练的基于时间脉冲序列标识的监督学习算法,通过定义突触后电位和膜电位反传迭代因子分别分析脉冲神经元的空间和时间依赖关系,使用替代梯度的方法解决反传过程中不连续可微的问题。不同于现有基于尖峰放电速率标识的学习算法,该算法能够充分反映脉冲神经网络输出的时间脉冲序列的动态特性。因此,所提算法非常适合应用于需要较长时间序列标识的计算任务,例如行为的时间脉冲序列控制。该文在静态图像数据集CIFAR10和神经形态数据集NMNIST上验证了所提算法的有效性,在所有这些数据集上都显示出良好的性能,这有助于进一步研究基于时间脉冲序列应用的大脑启发计算。

面向鲁棒图结构防御的过参数化图神经网络

图数据在现实应用中普遍存在,图神经网络(GNN)被广泛应用于分析图数据,然而GNN的性能会被图结构上的对抗攻击剧烈影响.应对图结构上的对抗攻击,现有的防御方法一般基于图内聚先验进行低秩图结构重构.但是现有的图结构对抗防御方法无法自适应秩真值进行低秩图结构重构,同时低秩图结构与下游任务语义存在错配.为了解决以上问题,基于过参数化的隐式正则效应提出过参数化图神经网络(OPGNN)方法,并形式化证明所提方法可以自适应求解低秩图结构,同时证明节点深层表征上的过参数化残差链接可以有效解决语义错配.在真实数据集上的实验结果表明,OPGNN方法相对于现有基线方法具有更好的鲁棒性,同时,OPGNN方法框架在不同的图神经网络骨干上如GCN、APPNP和GPRGNN上显著有效.

结合自监督学习的图神经网络会话推荐

基于会话的推荐方法由于短期用户交互数据有限,与传统推荐方法相比,其性能更容易受到数据稀疏性问题的影响。为增强会话数据以缓解数据稀疏对会话推荐性能的影响,提出一种结合自监督学习的图神经网络会话推荐(Ss-GNN)模型。构建会话图并建立基于图注意力网络的会话推荐任务来获取项目级表示和会话级表示;从会话级表示的角度出发,利用用户的一般兴趣和当前兴趣来构建辅助任务获取自监督信号;利用自监督学习实现推荐任务和辅助任务之间的互信息最大化,以增强会话数据,从而提升推荐性能。在Yoochoose和Tmall两个公开数据集上进行实验,与基线模型相比,提出的模型在Yoochoose上P@20和MRR@20至少提升了0.94%和0.79%,在Tmall上P@20和MRR@20至少提升了9.61%和4.67%,证明了Ss-GNN模型的有效性。