基于图半监督与多任务学习的配电网故障区段与类型统一辨识

为解决深度学习类配电网故障辨识方法在量测不足和标记率低时准确率不高的问题,提出了基于图半监督与多任务学习的故障区段与类型统一辨识方法。首先,设计了故障区段与类型统一辨识的图神经网络架构,在图嵌入层中融入网络拓扑和线路参数信息,以充分挖掘不同位置、类型的故障特征。其次,采用多任务注意力网络构建了故障区段定位和类型辨识两个任务,以提取故障的多重信息,实现不同任务间知识转移。再次,将图嵌入特征与无标签样本的编码压缩特征进行融合,得到新的多任务共享特征,以充分利用未标记数据,增强模型泛化能力。最后,通过算例测试表明,所提方法的故障辨识精度优于传统神经网络,且在实时量测少、标签率低及不同量测噪声条件下具有更好的鲁棒性。

一种深度神经网络的分布式训练方法

深度神经网络在高维数据的分类和预测中取得了巨大成功。训练深度神经网络是数据密集型的任务,需从多个数据源收集大规模的数据。这些数据中通常包含敏感信息时,使得深度神经网络的训练过程容易泄露数据隐私。针对训练过程中的数据隐私和通信代价问题,提出了一种深度神经网络的分布式训练方法,允许基于多个数据源共同训练深度神经网络。首先,提出了分布式训练架构,由1个计算中心和多个代理组成。其次,提出了基于多代理的分布式训练算法,允许代理在数据不出本地和减少通信代价的情况下,通过切割深度神经网络,实现分布式地共同训练模型。然后,分析了算法的正确性。最后,实验结果表明该方法是有效的。

基于自监督学习的多密度图会话推荐

基于会话的推荐系统旨在根据匿名用户短时间内的历史行为序列预测下一个可能的项目,会话中的项目来自用户的反馈数据。然而,在海量的候选项目集中,用户倾向于反馈其中的小部分项目,除了少部分热门项目外,大量长尾项目的反馈数据非常稀疏。现有的会话推荐方法大多集中在对会话的序列模式以及项目之间的复杂关联关系进行建模,忽略了会话推荐中的长尾分布现象。针对这一问题,提出一种基于多任务自监督学习的会话推荐模型。在原始推荐任务基础上,使用基于项目频率的逆采样器建立自监督学习任务,以增强对长尾项目嵌入的学习,同时缓解数据稀疏性。此外,构建一个多密度会话图,并通过统一的图神经网络以可解释的方式学习会话的嵌入,以更准确地捕捉用户意图。为了避免过拟合,采用带有标签平滑正则化的交叉熵作为目标函数。实验结果表明,与GCE-GNN、COTREC、MSGIFSR等先进的基线方法相比,该方法在Diginetica、Tmall、Gowalla和Last.FM这4个真实数据集上的命中率与宏命中率显著提升,其中,在top-20推荐结果上,命中率分别提升了1.37%、5.88%、0.30%和2.16%,宏命中率分别提升了2.49%、12.86%、1.97%和10.19%。

焦炉立火道温度的智能集成软测量方法及其应用

在分析焦炉立火道温度特性的基础上,提出了一种基于线性回归(LR)和监督式分布神经网络(SDNN)的立火道温度智能集成软测量方法。通过特性分析提出了典型蓄热室的选取原则,并利用级数验证了选取的有效性。为反映蓄顶温度与立火道温度的关系,首先分别建立了一元、二元和十二元LR模型,并通过智能集成将3个模型的输出进行有机融合;然后在对样本监督式聚类后,利用SDNN获得各个子网的综合输出;最后由专家协调器协调LR和SDNN的输出,得到立火道温度的软测量值。实际运行结果验证了该方法的有效性。

基于综合建模方法的铅锌烧结块成分预测

针对铅锌烧结过程异常复杂的实际情况,提出了一种既可保证预测精度又满足配料计算对数据完备性要求的铅锌烧结块成分预测智能集成模型。该模型综合了机理与多种智能建模方法的优点,对于正常生产情况(即数据完备区),通过模糊分类/组合以及神经网络NN分段描述方法建立了成分预测的监督式分布神经网络模型;对于异常或不常用工况(即数据不完备区),通过专家经验规则修正部分假定或统计参数方式建立经验机理模型;采用串、并联形式将2种模型有机结合,并通过专家推理进行集成协调与更新修正,形成智能集成模型,实现成分可靠、准确的在线预测。在实际生产中运用该模型,烧结块铅、锌成分预测的相对误差分别为1.51%和0.41%。

模拟电路故障的分布式诊断算法

提出一种模拟电路故障的分布式诊断算法,用以解决大数据量故障样本集所带来的网络规模过大,训练时间过长等问题。该算法采用有监督Hebb学习规则,在训练学习过程中添加类别标识,避免了因数据分割而产生的部分知识的丢失。分别用提出的分布式算法和传统的BP算法对实例电路进行故障诊断,实验结果表明,提出的分布式算法不仅和BP算法的诊断正确率相当,而且有效地提高了训练学习的速度。

基于协同训练的分布式深度协同过滤模型

为解决数据分布式存储下实现较高精度和安全性的个性化推荐,提出了一种全新的分布式半监督推荐系统框架。尝试将半监督学习方法中的协同训练(Co-training)与基于深度学习的深度协同过滤模型结合为Co-NCF模型,并使用基于consensus算法的分布式梯度下降法来训练Co-NCF模型,以此构建了Co-NCF模型的分布式版本。该模型在MovieLens数据集上的测试中,表现显著强于现有的分布式NCF模型。

基于人工神经网络的音乐和弦感知

和弦的感知是音乐自动标注的基础,对于音乐结构分析及旋律分析等任务有重要的作用,因此成为音乐信息检索(M IR)领域的热点之一。本文根据音乐认知心理学原理,提出一种基于人工神经网络(ANN)的和弦实时感知方法:首先利用常数Q变换(CQT)对音乐信号进行时频变换,并在所得到的谱上实施音符起始点检测、音高校准及基频分析等技术以增强系统的鲁棒性,之后定义了一种全新的音级分布矩阵(PCDM)特征,最后利用ANN模拟人脑认知过程并通过半监督学习方法对和弦进行感知。在多种风格音乐上进行的初步实验表明,所提出的方法以可以接受的计算时间消耗取得接近60%的识别率,与本领域先进方法的效果不相上下。