基于混合变分自编码器回归模型的软测量建模方法

近年来,变分自编码器(Variational auto-encoder,VAE)模型由于在概率数据描述和特征提取能力等方面的优越性,受到了学术界和工业界的广泛关注,并被引入到工业过程监测、诊断和软测量建模等应用中.然而,传统基于VAE的软测量方法使用高斯分布作为潜在变量的分布,限制了其对复杂工业过程数据,尤其是多模态数据的建模能力.为了解决这一问题,本论文提出了一种混合变分自编码器回归模型(Mixture variational autoencoder regression,MVAER),并将其应用于复杂多模态工业过程的软测量建模.具体来说,该方法采用高斯混合模型来描述VAE的潜在变量分布,通过非线性映射将复杂多模态数据映射到潜在空间,学习各模态下的潜在变量,获取原始数据的有效特征表示.同时,建立潜在特征表示与关键质量变量之间的回归模型,实现软测量应用.通过一个数值例子和一个实际工业案例,对所提模型的性能进行了评估,验证了该模型的有效性和优越性.

基于混合高斯先验变分自编码器的深度多球支持向量数据描述

随着数据维度和规模的不断增加,基于深度学习的异常检测方法取得了优异的检测性能,其中深度支持向量数据描述(Deep SVDD)得到了广泛应用。然而,要缓解超球崩溃问题,就需要对Deep SVDD中映射网络的各种参数施加约束。为了进一步提高Deep SVDD中映射网络的特征学习能力,同时解决超球崩溃问题,提出了基于混合高斯先验变分自编码器的深度多球支持向量数据描述(Deep Multiple-Sphere Support Vector Data Description Based on Variational Autoencoder with Mixture-of-Gaussians Prior,DMSVDD-VAE-MoG)。首先,通过预训练初始化网络参数和多个超球中心;其次,利用映射网络获得训练数据的潜在特征,对VAE损失、多个超球的平均半径和潜在特征到所对应超球中心的平均距离进行联合优化,以获得最优网络连接权重和多个最小超球。实验结果表明,所提DMSVDD-VAE-MoG在MNIST,Fashion-MNIST和CIFAR-10上均取得了优于其他8种相关方法的检测性能。

基于改进变分模态分解和优化堆叠降噪自编码器的轴承故障诊断

针对滚动轴承在噪声干扰下故障特征难以提取的问题,提出一种改进变分模态分解(VMD)和复合缩放排列熵(CZPE)的特征提取新方法,并利用优化堆叠降噪自编码器(SDAE)进行故障分类。首先,提出由“余弦相似度—峭度—包络熵”新综合评价指标自适应优化分解参数的改进VMD方法,并通过该指标筛选分解后的本征模态函数(IMF)分量;然后,为提取更全面的故障特征,引入新的复合缩放排列熵对各有效IMF的故障特征进行量化;最后,提出一种基于鼠群优化算法(RSO)与麻雀搜索算法(SSA)的混合算法优化SDAE网络超参数,将故障特征输入优化后SDAE网络中得到分类结果。采用美国CWRU轴承数据集进行验证,实验结果表明该方法能全面稳定地提取背景噪声下的故障特征,且与其他方法相比具有更好的抗噪性能和更高的故障诊断准确率。

基于改进高斯混合变分自编码器的半监督情感音乐生成

音乐可以通过序列化的声音信息传递声音内容和情感。情感是音乐所表达的语义中的重要组成部分,因此,音乐生成技术不仅要考虑音乐的结构信息,还应融入情感元素。现有的情感音乐生成技术大多采用基于情感标注的完全监督方法,但音乐领域缺乏大量标准的情感标注数据集,且情感标签不足以表达音乐的情感特征。针对上述问题,提出了基于改进的高斯混合变分自编码器(Gaussian Mixture Variational Autoencoders,GMVAE)的半监督情感音乐生成方法(Semg-GMVAE),将音乐的节奏特征和调式特征与情感建立联系,同时向GMVAE中引入一种特征解纠缠机制来分别学习这两种特征的潜在变量表示,并对其进行半监督聚类推断。最后通过操纵音乐的特征表示,实现了针对快乐、紧张、悲伤、平静情感的音乐生成与情感转换。同时,针对GMVAE难以区分不同情感类别数据的问题,实验指出其关键原因是GMVAE证据下界中的方差正则项与互信息抑制项使得各类别的高斯分量分散性不足,从而影响学习表示的性能和生成的数据样本的情感质量。因此,Semg-GMVAE对这两项因子分别进行了惩罚和增强,并使用Transformer-XL作为编码器和解码器以提升在长序列音乐上的建模能力。基于真实数据集的实验结果表明,相比现有方法,Semg-GMVAE能够将不同情感的音乐在潜在空间中更好地分离,增强了音乐与情感的关联程度,并且能够有效对不同音乐特征进行解纠缠分离,最后通过改变特征表示更好地实现情感音乐生成或情感切换。

基于云模型的变分自编码器数据压缩方法

图像数据解压缩问题是一类重要的数据处理问题,数据特征学习在数据压缩研究中有重要的研究价值。提出了一种基于云模型的变分自编码器特征表征模型,将云模型作为变分自编码器的先验分布,解决变分自编码器在特征表征上的局限性。变分自编码器的编码器部分负责构建数据的特征空间,通过在该空间中采样获得隐变量,完成数据压缩;解码器部分完成从数据特征到原数据的生成,即数据的解压。在人脸数据集上与原方法作实验对比,验证了该方法的正确性和有效性。

基于变分自动编码器的动态主题模型

传统动态主题模型的后验分布推断需要复杂的推理过程,仅模型假设的细微变化就需要重新进行推断,时间成本较高,制约了模型的可变性和通用性。为了提高动态主题模型的性能,提出了基于变分自动编码器融合动态因子图进行推断的动态主题模型。该模型对变分下界进行再参数化,生成一个下界估计器,将隐变量转换为一组辅助参数,使得新的参数不依赖于变分参数,用标准随机梯度下降法直接优化变分目标,同时融合动态因子图对状态空间模型进行建模,弱化推断的概率特性,简化优化过程,实现有效的推断。结果表明,提出的模型不仅保证了准确性,而且其简化模型有效降低了推断的时间成本,从而为动态主题模型能有效应用于复杂的时间场景提供更多可能。

基于词向量和变分自动编码器的短文本主题模型

为了解决短文本稀疏性问题,提高主题模型的性能,提出了一种词向量嵌入的主题模型。首先,假设一篇文档只包含一个主题;其次,利用词向量对每一轮迭代的主题进行扩充与调整,即对每一个主题,利用一种非参数化的概率采样方法得到一些词,再用词向量找出相似词,提升该主题下相似词的权重;最后,用拉普拉斯近似主题分布,使其更好地运用在变分自动编码器训练中,从而加快训练速度。实验结果表明,本文模型训练出的主题具有较好的解释性,并优于其他主流的模型,可为短文本的主题提取提供更多的可能。在主题模型训练的过程中,利用词向量干预主题词分布可以得到较好的主题质量,并可以通过变分自动编码器加快训练速度,对自然语言处理问题的研究具有一定的创新性和参考价值。

变分自编码器模型综述

变分自编码器(VAE)作为深度隐空间生成模型的一种,近年来其表现性能取得了极大的成功,尤其是在图像生成方面。变分自编码器模型作为无监督式特征学习的重要工具之一,可以通过学习隐编码空间与数据生成空间的特征映射,进而在输出端重构生成输入数据。梳理了传统变分自编码器模型及其衍生变体模型的发展与研究现状,并就此做了总结和对比,最后分析了变分自编码器模型存在的问题与挑战,并就可能的发展趋势做了展望。

基于高斯混合-变分自编码器的轨迹预测算法

海面舰船的轨迹预测对预测精度和实时性具有较高要求,而舰船轨迹数据特征的高复杂度特性,导致传统预测算法精度低、耗时长,难以达到良好的预测效果。为此,提出一种基于变分自编码器的海面舰船轨迹预测算法。将轨迹坐标数据集转化为轨迹移动矢量集,使用变分自编码器完成轨迹运动特征的提取与生成预测。同时为提高轨迹预测精度,将变分自编码网络的隐空间分布设定为混合高斯分布,使其更符合真实的数据分布特征,并在隐空间完成轨迹特征的分类,实现端到端的轨迹预测。仿真结果表明,相较于传统预测算法GMMTP和VAETP,该算法的预测误差分别降低了85.48%和35.59%。

基于变分自编码器的情感回归半监督领域适应方法

提出一个新的情感回归半监督领域适应方法.首先使用长短期记忆网络(long short-term memory,LSTM)实现回归模型,其次使用变分自编码器(variational autoencoder,VAE)实现生成模型,最后联合学习LSTM回归模型和VAE生成模型,实现基于变分自编码器的情感回归半监督领域适应模型.实验结果表明,所提出的基于变分自编码器的情感回归半监督领域适应方法较其他基准方法能有效提高实验性能.

基于高斯混合变分自编码器的协同过滤

基于变分自编码器的协同推荐算法可以帮助解决推荐算法中的稀疏性问题,但是由于变分自编码器模型先验是单一的高斯分布,使得表达趋向简单和平均,存在拟合不足的问题.高斯混合变分自编码器模型拥有更加复杂的先验,相对于原本的变分自编码器模型,它对于非线性的任务有着更强的适应性和效果,已被广泛应用于无监督聚类和半监督学习.受此启发,本文研究基于高斯混合变分自编码器模型的协同过滤算法.本文基于Cornac推荐系统比较框架设计实验,将高斯混合变分自编码器改进后用于协同推荐任务中,利用生成模型重新生成的用户-物品矩阵进行推荐.在推理模型和生成模型中分别用一层隐藏层提取深层特征增加模型鲁棒性,并且使用提前停止的训练策略以减少过拟合.本文在多组公开数据集上进行实验,与其他推荐算法在NDCG和召回率指标上进行对比.实验证明,改进的基于高斯混合变分自编码器模型的协同过滤算法在推荐任务中表现优异.

基于信息最大化变分自编码器的孪生神经主题模型

基于变分自编码器的神经主题模型是一种典型的主题模型。由于该模型忽略了文档之间的相似性,可能导致语义相近的文档对应的隐变量之间距离较大。此外,在变分自编码器的训练过程中,还存在忽视隐变量的现象,导致模型不能很好地学习文档的向量表示。针对上述问题,提出孪生神经主题模型及其变种,通过孪生网络对神经主题模型进行扩展,引入了文档之间的相似度信息。网络的子结构采用信息最大化变分自编码器构建主题模型,提高了隐变量与文档的相关性。实验结果表明,该模型在文档检索任务中有较好的表现,并且提取的主题具有良好的解释性。

基于变分自编码器的人脸正面化产生式模型

在人脸识别中,人脸姿态差异处理始终是一个难点。人脸正面化中大体可以分为两类:一是通过图形学方法生成正脸,二是通过产生式模型生成正脸。然而,第一类方法生成的正脸畸变会比较大,第二类方法普遍采用GAN网络,但是训练过程不易收敛。为解决以上问题,设计基于变分自编码器的产生式模型,采用β-VAE模型,学习隐空间与真实图片空间关系,提高图片生成质量;使用模拟+无监督(S+U)学习方法,提高模型在训练过程的稳定性。通过在Multi-PIE数据集上进行实验,模型在定量打分中取得了不错效果,能够生成更加真实的图片。实验证明,该模型能够有效解决传统方法中生成图片不真实和训练不稳定的问题。

基于多维云概念嵌入的变分图自编码器研究

变分图自编码器是图嵌入研究中重要的深度学习模型,但存在着先验正态分布缺陷、训练过程中容易出现后验塌陷等问题.本文从建立云概念空间与隐空间的映射关系入手,引入云模型数字特征对网络中的节点进行不确定性概念表示,设计了一种基于多维云模型的变分图自编码器(Variational Graph Autoencoder based on Multidimensional Cloud Model,MCM-VGAE).该模型实现了隐空间的多维云概念嵌入及相应的漂移性损失度量,将先验分布扩展为泛正态分布,利用多维正向云发生器及云包络带修正采样算法实现了重参数化过程,有效缓解了后验塌陷现象.在应用效果上,模型在多类型数据集上的链路预测、节点聚类、图嵌入可视化实验表现均优于基准模型,进一步说明了方法的普适有效性.

基于变分自编码高斯混合模型的发电企业串谋智能预警

随着市场交易规模越来越大,交易数据量增加,结合数据进行串谋分析成为可能。为此,结合发电企业的串谋预警指标体系和无监督的变分自编码高斯混合模型(VAEGMM),实现了对发电企业串谋的智能预警。首先,提出了完善的串谋预警指标体系和详细的指标计算方法。其次,针对指标集具有高维且正负样本不均衡的数据特点,结合异常检测思想提出了VAEGMM。然后,详细阐述了VAEGMM的网络结构,并且重新构建了联合损失函数,使得该网络能够更好地学习得到原始数据的低维表达,从而有助于进行更准确的密度估计。最后,实例测算表明,与其他传统的无监督学习模型相比较,VAEGMM可以更加高效和准确地预警串谋风险。

基于变分自编码器和随机森林的混合式学习风险预警框架

教育信息化的快速发展,推动了在线学习和混合式学习的普及,学习风险预警研究受到越来越多的关注,然而传统的预警算法都是针对平衡数据集设计,而教育数据集属于高度不平衡数据集,使得这些算法识别风险学生的难度增加。为了解决这个问题,提出一种基于变分自编码器和随机森林的混合式学习风险预警框架(VRFRisk)。框架使用变分自编码器对不平衡数据进行数据平衡处理,利用随机森林算法进行分类。在给定的数据集上的实验结果表明,VRFRisk可以有效处理不平衡的教育数据集,并在召回率和F分数方面提供比基线方法更好、更稳定的预测结果。

基于生成对抗网络的变分自编码器解耦合

深度生成模型从观测数据中学习到潜在因素,然后通过潜在因素生成目标,在人工智能领域受到广泛关注。现有深度生成模型学习的潜在因素往往是耦合的,无法让潜在因素每一维控制所得数据的不同特征,即无法单独改变某一特征而不影响其他特征。为此,在β-变分自编码器(beta-variational autoencoder,β-VAE)的基础上,结合生成对抗网络(generative adversarial networks,GAN),提出基于生成对抗网络的变分自编码器(beta-variational autoencoder based on generative adversarial network,β-GVAE)模型。该模型是一种改进的β-VAE,通过引入生成对抗网络约束β-VAE中损失函数的KL项(Kullback-Leibler divergence),促进模型的解耦合。在数据集CelebA、3D Chairs和dSprites上进行对比实验,结果表明β-GVAE不仅具有更好的解耦合表示,同时生成的图像具有更好的视觉效果。

部分线性变系数模型的贝叶斯分位数回归

针对部分线性变系数模型的参数估计问题,采用B样条方法逼近非参数部分的未知光滑函数,进而利用非对称拉普拉斯分布实现贝叶斯分位数回归,并基于Gibbs抽样推导出所有未知参数的后验分布,通过数值模拟比较分析了贝叶斯分位数回归与分位数回归参数估计的优劣,结果表明,在均方误差准则下,贝叶斯分位数回归的估计效果更优。最后,通过实例分析说明了所提方法的有效性。

变系数部分非线性模型的分位数回归估计

研究纵向数据缺失下变系数部分非线性分位数回归模型的估计问题.利用逆概率加权法结合分位数回归给出参数估计和非参估计;在一定条件下,证明了所给估计量的渐近正态性;通过数值模拟,验证了所提方法的有效性.

基于加权复合分位数回归的变系数部分线性模型的稳健经验似然估计

研究了变系数部分线性模型的稳健经验似然推断问题。利用加权复合分位数回归以及经验似然方法,并结合基于矩阵QR分解的正交投影技术,对模型的参数分量提出了一种基于加权复合分数回归的经验似然估计方法。理论证明了提出的经验对数似然比函数渐近服从卡方分布,得到参数分量的置信区间。该估计方法中引入了基于矩阵QR分解的正交投影技术,保证对模型的参数分量进行估计时不会受到非参数分量估计精度的影响,因此具有较好的稳健性和有效性。