基于对抗变分自动编码器的风电机组传动链故障预警

利用状态监测与故障诊断能够确保风电机组运行的可靠性与安全性。为了解决风电机组故障诊断适用性差、精度低的问题,针对风电机组早期故障预警及定位工作,在传动链故障诊断中引入深度学习算法,基于监控数据采集系统提供的数据基础,结合稀疏字典对对抗变分自动编码器(AVAE)进行改进,引入非线性深度表示,以降低数据维数,进而实现对原始数据内在特征的多样化、有效提取。同时,提出了一种AVAE-SDL故障诊断模型,可以有效排除训练过程中随机噪声造成的影响,有利于从高维数据中进一步提取内在特征。案例分析结果证明,AVAE-SDL故障诊断模型能够准确检测出机组故障,不存在误报情况,可作为风电机组传动链故障诊断的可靠工具。

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明:预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。

风电和光伏随机场景生成的条件变分自动编码器方法

随着风电、光伏等可再生能源渗透率的不断提高,其运行波动性及随机性对电网稳定运行、经济调度等方面带来不良影响,对可再生能源的不确定性进行建模愈加重要。随机场景分析法是解决该问题的主要方法之一,现有随机场景生成方法基于历史数据对风电、光伏出力进行概率建模,进而进行抽样生成场景,模型准确性差、计算复杂度高。为简化随机场景生成步骤,提高生成效率及精度,提出了一种基于条件变分自动编码器（variational autoencoder,VAE）的风电光伏出力随机场景生成方法,较已有概率方法,所提方法可无监督地学习风电、光伏训练数据的时间、空间及波动性特点,并按条件高效地生成符合观测特点的数据,无需场景约简。通过在单一发电单元、多发电单元、指定标签场景3个场景的成功应用,验证了所提算法的有效性。

稀疏平衡变分自动编码器的文本特征提取

针对文本特征提取方面的高维数据特征区分度较低、基于规则的特征学习的自学习性能差、变分自动编码器存在过度剪枝等问题,提出稀疏平衡变分自动编码器(Sparse Balanced Variational AutoEncoder,SBVAE)的文本特征提取模型。为消除噪声干扰,提高文本特征提取模型的鲁棒性,在文本特征提取的输入层采用双向降噪处理机制。提出一种稀疏平衡性处理,结合KL(Kullback-Leibler)项权重的模拟退火算法以缓解KL散度引发的过度剪枝的影响,强制解码器更充分地利用潜变量。此模型提高了高维数据特征的区分度。从对比分析文本特征提取模型、稀疏性能、稀疏平衡处理对隐藏空间变分下界的影响等方面深入开展实验,验证了该模型具有较好的性能。该模型在复旦数据集和Reuters数据集上的最高准确率相较于主成分分析分别提升了12.36%、8.06%。

基于变分自动编码器的动态主题模型

传统动态主题模型的后验分布推断需要复杂的推理过程,仅模型假设的细微变化就需要重新进行推断,时间成本较高,制约了模型的可变性和通用性。为了提高动态主题模型的性能,提出了基于变分自动编码器融合动态因子图进行推断的动态主题模型。该模型对变分下界进行再参数化,生成一个下界估计器,将隐变量转换为一组辅助参数,使得新的参数不依赖于变分参数,用标准随机梯度下降法直接优化变分目标,同时融合动态因子图对状态空间模型进行建模,弱化推断的概率特性,简化优化过程,实现有效的推断。结果表明,提出的模型不仅保证了准确性,而且其简化模型有效降低了推断的时间成本,从而为动态主题模型能有效应用于复杂的时间场景提供更多可能。

基于位移流U-Net和变分自动编码器的心脏电影磁共振图像左心肌运动追踪

心血管疾病(cardiovascular diseases,CVDs)的高发病率和高死亡率已经严重影响了人类的生存质量.如何评估心脏功能、辅助临床CVDs诊疗和预后评估,是一个迫切需要解决的问题.针对这个问题,本文在前期心脏电影磁共振(cardiac cine magnetic resonance,CCMR)图像左心肌分割的基础上,提出一种基于位移流U-Net(DispFlow_UNet)和生物力学变分自动编码器(variational autoencoder,VAE)的左心肌运动追踪方法:DispFlow_UNet_VAE.主要研究内容有:1)搭建压缩激励残差U-net网络精准分割左心肌,根据分割结果计算心室体积、心肌质量等,评估心脏整体功能;2)根据DispFlow_UNet_VAE估计CCMR图像连续帧之间的左心室运动,结合左心肌分割掩膜得到左心肌密集位移场;3)利用模拟数据真实位移场、临床数据集对追踪结果进行对比和评估.结果表明,本文追踪算法具有较高的精度和泛化能力.

基于词向量和变分自动编码器的短文本主题模型

为了解决短文本稀疏性问题,提高主题模型的性能,提出了一种词向量嵌入的主题模型。首先,假设一篇文档只包含一个主题;其次,利用词向量对每一轮迭代的主题进行扩充与调整,即对每一个主题,利用一种非参数化的概率采样方法得到一些词,再用词向量找出相似词,提升该主题下相似词的权重;最后,用拉普拉斯近似主题分布,使其更好地运用在变分自动编码器训练中,从而加快训练速度。实验结果表明,本文模型训练出的主题具有较好的解释性,并优于其他主流的模型,可为短文本的主题提取提供更多的可能。在主题模型训练的过程中,利用词向量干预主题词分布可以得到较好的主题质量,并可以通过变分自动编码器加快训练速度,对自然语言处理问题的研究具有一定的创新性和参考价值。

基于代价敏感堆叠变分自动编码器的暂态稳定评估方法

机器学习算法在训练过程中,难免会遇到样本不平衡的情况,同时,对于电力系统来说稳定样本与不稳定样本的误分类代价是不同的,因此提出一种基于代价敏感堆叠变分自动编码器(stacked variational auto-encoder,SVAE)的电力系统暂态稳定评估方法。在模型训练过程中,通过改变误分类结果对模型参数调整的权重系数,修正了判别模型在不平衡样本训练过程中的倾向性,并提高了模型全局准确率。在此基础上,进一步提高不稳定样本的权重系数,有效加强了模型对不稳定样本的拟合程度,降低了不稳定样本的误判情况。在IEEE-39节点系统下的仿真结果说明,在不平衡样本情况下,所提方法可以改善判别结果的倾向性;在平衡样本情况下,通过误分类代价的设定可以有效降低不稳定样本的误判情况。

基于堆叠变分自动编码器的电力系统暂态稳定评估方法

通过模型的构建和特征量的提取2个方面,提出了一种具有较好抗噪能力的暂态稳定性判别模型。模型的构建采用堆叠变分自动编码器,并在训练过程中引入L2正则化,加强了稳定性判别模型的泛化能力。同时,特征量的提取时刻与传统方法不同,通过设定所有发电机最大功角差值的阈值,当系统发展至该阈值时,进行特征量的提取。在IEEE 39节点系统中进行仿真验证,仿真结果表明,采用上述特征量提取方法,大幅降低了稳定性判别模型的误判率,同时设定合理的阈值并不会影响实时控制措施的启动,加强了模型的抗噪能力。

变分自动编码器的潜变量空间解耦方法

针对潜变量空间解耦具有可选择性地调整数据属性,实现更可控的数据生成的特性,提出一种提高解耦任务度量指标的方法.该方法在编码器阶段,运用自注意力机制和残差网络,使模型更有效地捕捉长期依赖关系,增强模型的维度适应性.在训练阶段,提出新颖损失函数使潜变量空间编码维度与属性值趋向单调关系,从而更好地调节损失函数所处区间范围,达到优化目的.通过对比实验表明,本模型和方法在图像的潜变量空间解耦生成上优于变分自编码机(variational auto encoder,VAE)及属性正则化(AR-VAE)模型模型,且具有更为轻量级的网络架构.

融合复杂先验与注意力机制的变分自动编码器

传统变分自动编码器模型通常使用标准正态分布作为隐向量先验,当应用于推荐系统等复杂任务时容易导致模型过度正则化和隐向量解耦表现不佳。融合复杂隐向量先验与注意力机制,建立变分自动编码器模型。使用多层神经网络生成的隐向量先验分布替代标准正态分布作为假设先验分布,使得模型能根据数据学习先验分布并获得更多的潜在表征。在单层隐向量的基础上添加辅助隐向量,联合辅助隐向量与数据特征向量再生成隐向量,增强了隐向量的低维表现能力和解耦性。借助注意力机制的特征信息选择特点,对隐向量中重要节点赋予更大的权重值,使其能传递更重要的信息。在数据集Movielens-1M、Movielens-Latest-Small、Movielens-20M和Netflix上的实验结果表明,该模型的Recall@20、Recall@50、NDCG@100相较于基线模型平均提升了12.95%、10.80%、10.48%,具有更高的推荐精确度。

基于改进变分自动编码器的入侵检测模型构建及仿真

针对现有网络流量入侵检测查准率低的问题,提出了一种基于改进变分自动编码器的入侵检测方法,先在变分自动编码器上增加判别器实现网络流量的入侵检测,之后在CICIDS2017数据集上对所提方法进行验证。结果表明,所提方法对正常流量与异常流量检测的平均查准率、召回率、F1值均达到87%以上,且平均AUC值达90%。相较于CE-SAE模型和传统变分自动编码器,所提方法在各项指标上的表现更好,具有明显优势。

基于变分图自动编码器与K均值聚类的虚拟网络嵌入算法应用

将虚拟网络映射到物理网络是网络功能虚拟化中一项重要的任务.为了有效地分配虚拟网络请求,需要将虚拟网络嵌入到物理网络拓扑中.然而,由于虚拟网络的复杂性和物理网络的限制,这一任务变得非常具有挑战性.鉴于此,研究在现有虚拟网络嵌入算法(Virtual Network Embedding, VNE)模型基础上进行改进,融入了变分图自动编码器(Variational Graph Auto-Encoders, VGAE),提出了一种新型虚拟网络嵌入算法模型.通过编码器对虚拟网络的嵌入特征进行提取,随后利用K-means聚类算法对所得到的嵌入特征进行分类,最终得到合适的嵌入分配方法.实验结果表明,该新模型相较于其他同类型的嵌入算法性能表现最佳,稳定性最好,其平均嵌入请求接受率为60%,长期平均CPU资源利用率最高达97%.综上所述,研究提出的新型虚拟网络嵌入算法在资源利用率和嵌入质量方面表现出色,能够有效应对复杂的网络环境和大规模的虚拟网络请求.

基于变分循环自动编码器的协同推荐方法

基于概率矩阵分解的协同过滤是推荐系统中应用最广泛的方法。它通过学习用户-商品评分矩阵的两个低维近似矩阵来做推荐。但是在评分矩阵极其稀疏的情况下,概率矩阵分解的推荐准确性就会下降。为了缓解这个问题,提出一种基于变分循环自动编码器的概率矩阵分解方法,该方法综合考虑商品描述文本和评分矩阵,先将商品的描述文本编码成一个特征向量,然后将该特征向量融合到概率矩阵分解模型中来缓解稀疏问题。该方法在编码商品特征向量时,考虑了商品内容的上下文信息和语义信息,并且该特征向量服从高斯分布。在两个真实数据集上的验证结果表明:我们的模型与其他模型相比较,在评分矩阵极其稀疏的情况下,能更有效地预测用户感兴趣的商品列表,提高推荐准确性。

基于变分自动编码器的探地雷达噪声压制及双曲线识别

受仪器设备和环境的影响,使用探地雷达(GPR)进行数据采集的过程中会引入各种不同的噪声,从而干扰目标体反射信号,对数据处理及解释造成困难.由此,本文提出了一种能够同时实现GPR剖面数据噪声压制及双曲线异常识别的变分自动编码器(VAE)神经网络结构.首先,详细阐述了模型结构、数据集建立及网络参数选择;然后,通过合成数据实验验证该算法的有效性及模型的泛化能力,相比于深度卷积自动编码器(CDAE),本文算法在噪声压制能力和双曲线识别能力上均表现更优;最后,通过对隧道衬砌和管线的实测数据进行处理,验证了本文算法的实用性.

面向异质变分超图自动编码器的超边链接预测模型

如何采用超边建模网络数据中的多元关联关系,实现潜在超边链接关系的预测具有重要的现实意义。现有方法主要集中于研究具有成对关系的网络数据,然而,直接将现有的链接预测方法用于超图网络中的超边链接预测具有一定的局限性。因此,提出基于异质变分超图自动编码器的超边链接预测模型(heterogeneous variational hypergraph autoencoder,HVGAE)。首先,利用超图卷积实现变分超图自动编码器,将超图网络数据转换成一种低维空间表示;其次,加入节点近邻度函数,最大程度地保留其结构信息,从而构建异质超图网络超边链接预测模型。针对三种不同类型的超图网络进行实验,结果表明相比其他的基准方法,HVGAE模型获得了较好的预测结果,说明其能够较好地解决超图网络中的超边链接预测问题。

一种基于条件变分自编码器的加密流量识别方法

传统模型在识别加密流量方面通常存在特征提取困难和没有考虑到样本类别不平衡的问题,针对此问题,提出了一种在类别不平衡条件下的基于条件变分自编码器的加密流量识别模型。首先,通过SMOTE算法平衡原始数据集,解决了由于样本类别不平衡造成模型欠拟合或过拟合的问题。其次,提取数据流前n个字节,并使用条件变分自动编码器模型自动提取分类特征隐层变量Z。最后,把m维的隐层变量Z输入基于遗传算法改进的随机森林分类器进行分类评估。实验表明,较现有的加密识别模型,所提方法不仅具有较快的收敛速度,而且在精确率、召回率和F1-measure评价指标上分别有较大的提高。

基于变分自编码器的多隐变量双向推理模型

开放域对话系统的关键任务之一是生成丰富多样且连贯的对话回复,但是仅从上文信息进行单向推理无法达到这一目标。针对该问题,提出了基于多隐变量的双向推理模型MLVBI(Multiple Latent Variables Bidirectional Inference)。首先,在语言模型中结合变分自动编码器并将单向推理扩充到双向推理,将语料分割为上文、查询与回复后,使用正向推理从查询中推理出回复用于学习正常语序信息,同时使用反向推理从回复中推理出查询用于学习额外主题信息,最后融合成双向推理,使得模型生成更连贯的回复。其次,针对双向推理过程中单个隐变量解释能力不足的问题,引入多个隐变量进一步提高生成对话的多样性。实验结果表明,MLVBI在两个开放域数据集DailyDialog和PersonalChat上的准确性和多样性都达到了当前最佳的效果,并且消融实验也证明了双向推理和多隐变量的有效性。

基于自动编码器隐空间分类的建模侧信道分析

侧信道分析是现实世界密码系统的主要威胁之一,建模侧信道分析是一类重要的侧信道分析方法,深度学习技术的引入可拓宽建模侧信道分析的应用场景、提升分析效率.自动编码器(auto-encoder,AE)与变分自动编码器(variational AE,VAE)是被广泛研究的深度学习模型,本文将它们引入建模侧信道分析,提出了基于AE与基于VAE隐空间分类的建模侧信道分析方法,并从生成模型的角度对这两种方法的可行性进行了分析.AE和VAE中间产生的隐空间特征可视为侧信道曲线的低维生成特征,提出的两种方法通过训练相应的AE和VAE来提取出能表征原始侧信道曲线的隐空间特征,并通过VAE探讨了隐空间分布为高斯分布时对建模分析效率的影响.随后提出了三种隐空间特征分类策略:基于欧氏距离的分类策略、基于KL散度的分类策略以及基于支持向量机的分类策略,这些策略可对提取出的隐空间特征进行分类,从而完成建模侧信道分析.在DPAv4.1与增加了高斯噪音的ASCAD数据集上的实验结果表明,基于AE和VAE的建模侧信道分析方法使用三种分类策略的攻击效果均大幅度优于池化模板.从猜测熵的角度看,基于VAE的方法仅需10条DPAv4.1的曲线与1660条加了噪音的ASCAD曲线即可使得两者猜测熵为0,而模板攻击则分别分别需要84条和3899条曲线,效率提升分别达到了88.1%与54.7%.这说明在建模侧信道分析的场景下,VAE有着很好的应用潜能.

基于多特征融合自动编码器的增量式入侵检测

针对增量式入侵检测算法由于对旧知识产生灾难性遗忘而导致对旧类别数据分类准确率不高的问题,本文提出了一种基于非对称式多特征融合自动编码器(asymmetric multi-feature fusion auto-encoder, AMAE)和全连接分类神经网络(classification deep neural network, C-DNN)的增量式入侵检测算法(ImFace).在增量学习阶段, ImFace会为每一批新的数据集训练一个AMAE模型和C-DNN模型.同时,本文通过使用变分自动编码器(variational auto-encoder, VAE)对数据进行过采样的方式来改善由于数据集不平衡而导致C-DNN对某些类别数据的检测能力不足的问题.在检测阶段, ImFace将输入数据经过所有AMAE和C-DNN,然后将AMAE的结果作为置信度来选择某一个C-DNN的输出结果作为最终结果.本文使用CICIDS2017数据集来检验ImFace算法的有效性.实验结果表明, ImFace算法不仅能够保留对旧类别的分类能力,同时对新类别的数据也有很高的检测准确率.