基于NVAE和OB-Mix的小样本数据增强方法

由于深度学习模型对海量标注数据的依赖性较高,导致目前许多前沿性目标检测理论难以适用于工业检测领域。为此,提出一种基于NVAE图像生成和OB-Mix数据增强的小样本数据扩充方法。具体方法是通过NVAE构建检测目标的数据分布模型,再通过采样潜变量的方式生成与真实目标图像属于同一分布的全新目标图像。在得到生成目标图像后,提出了OB-Mix数据增强策略,将生成目标图像与背景图像进行随机位置融合以构建出新的图像数据,从而提高网络的定位能力及泛化能力。方法在仅使用474张标注图像以及400张无检测目标的背景图像情况下,使YOLOv5的检测精确率达到95.86%,相比于不使用该方法的结果提高了17.60个百分点。

基于VAE-LSTM模型的无人机飞行数据异常检测

无人机飞行数据是反映其自身飞行安全的重要状态参数,通过对飞行数据进行异常检测,是提高无人机整体飞行安全性的关键举措。尽管基于数据驱动方法不需专家先验知识和精确的物理模型,但缺乏参数选择且检测网络结构模型单一,使得检测模型由于参数过多导致过拟合以及无法有效捕捉数据异常模式的问题。文中结合变分自编码器和长短期记忆网络的优势,提出了一种基于VAE-LSTM的无人机飞行数据异常检测模型方法。首先,引入肯德尔相关性分析方法用于选择相关依赖的飞行数据参数集;其次,将具有相关性的参数集对所设计的VAE-LSTM深度混合模型进行训练,学习不同数据特征之间的关系映射;最后,以无监督异常检测方式在真实多维无人机飞行数据进行验证。实验结果表明,VAE-LSTM的精密度、检测率、准确率、F1分数及误检率的各项平均性能指标分别达到95.24%、98.71%、98.8%、96.82%、1.31%,相比于KNN、OC-SVM、VAE、LSTM模型,整体上展现出较好异常检测性能。

利用多层次网眼特征和VAE-PNN模型识别城市道路格网模式

作为道路网中普遍存在的显式模式之一,格网模式蕴含了丰富的城市空间格局信息,识别道路格网模式是实现自动化、智能化地图综合的关键前提。针对现有格网模式识别方法较少考虑多层次网眼特征,存在训练样本多样性不足等问题,本文提出一种基于多层次网眼特征和VAE-PNN模型的城市道路格网模式识别方法。首先,对原始路网数据进行化简;然后,设计了内部正交函数、格网形态描述和邻域相关关系的多层次网眼特征,进而利用变分自编码器(VAE)增强训练样本多样性;最后,借助概率神经网络(PNN)模型实现道路格网模式分类识别。试验结果表明,综合考虑多层次网眼特征能够准确识别不同类型、不同形态的道路格网模式,通过VAE样本增强有效提升分类模型性能和格网模式识别精度。

基于改进LSTM-VAE的配电网异常负荷检测方法研究

针对目前配电网负荷数据异常检测方法准确率低的问题,提出将改进的长短期记忆网络和变分自编码器相结合用的配电网负荷异常检测方法。通过残差结构对长短期记忆网络进行优化,提高特征学习能力,并将优化后的长短期记忆网络替换变分自编码器的BP神经网络层(编码和解码),可以更好地获得负荷数据的时间相关性。通过与常规检测方法的试验对比,验证了所提检测方法的优越性。结果表明,相比于常规负荷数据异常检测方法,所提方法具有更好的检测准确率,异常检测准确率为97.30%,比未引入残差结构提高了1.70%,比LSTM模型提高了7.00%,比PSO-PFCM模型提高了4.80%。可为配电网自动化的发展提供一定的参考。

基于VAE-GAN和FLCNN的不均衡样本轴承故障诊断方法

针对滚动轴承故障诊断中样本分布不均衡引起的模型泛化能力差、诊断精度低的问题,从两个方面展开研究:(1)故障样本增广,提出结合变分自编码器(VAE)和生成对抗网络(GAN)的VAE-GAN样本增广模型;(2)改进分类算法,提出基于焦点损失(FL)和卷积神经网络(CNN)的FLCNN(focal loss and convolutional neural network)样本分类模型。在此基础上,将VAE-GAN和FLCNN融合,构建VAE-GAN+FLCNN轴承故障诊断模型。首先,将样本量少的故障类输入VAE-GAN模型,通过交替训练编码网络、生成网络和判别网络,学习出真实故障样本的数据分布,从而实现故障样本的增广;然后用增广后的数据样本训练FLCNN分类模型,完成轴承故障识别。试验对比结果表明,所提方法能够有效提升样本不均衡条件下的轴承故障诊断效果,拥有更高的Recall值和F1-score值。

深度概率优化的VAE轴承状态评估

基于振动信号的VAE(variational auto-encoder,VAE)轴承状态评估方法,由于VAE近似后验分布简化高斯假设,其隐变量低维空间表示过于简单,往往无法捕捉到振动信号真实的潜在故障特征,且利用变分证据下界评估运行状态,存在估计不准确以及受样本数目影响较大等问题。研究分布变换优化VAE近似后验分布,利用优化采样算法优化计算VAE边缘概率密度,建立一种基于深度概率优化的VAE轴承状态评估模型。通过标准化流(normalizing flows)实现VAE中的分布优化,构造复杂灵活的近似后验分布,自适应学习健康状态下轴承振动信号频谱概率分布;采用AIS(annealed importance sampling,AIS)算法,通过一系列中间分布,采样完成边缘概率密度的优化计算,建立评价指标。滚动轴承对比实验表明,所提方法对滚动轴承退化过程更为敏感,证明了该方法在轴承状态评估中的有效性。

基于Transformer和VAE的汽车新闻文本生成研究

针对汽车新闻领域的文本生成任务,对语料库存在的问题提出系统性的解决方法,并提出一个Transformer融合变分自编码器(variational auto-encoder, VAE)的文本生成模型。该模型采用基于Transformer的预训练-微调的方法,在解码阶段加入VAE辅助文本生成。与加入注意力(attention)机制的长短时记忆(long short-term memory, LSTM)网络模型以及Transformer模型的对比实验结果验证了方法的有效性,文本生成实例表明,通过该方法生成的句子表达更加丰富,更贴近人类的自然语言。

基于CVAE的时变工况轴承运行异常检测

数据驱动的异常检测技术被广泛应用于复杂机械设备状态监测中,工况(operating conditions,简称OCs)变化会导致监测数据的分布漂移,使传统数据驱动的异常检测方法的准确性受到极大干扰。为了解决时变工况下工况和健康状态之间的耦合问题,提出了一个新的特征解耦学习框架。首先,基于变分自动编码器(variation auto encoder,简称VAE)构建一个特征解耦条件变分自动编码器(conditional variation auto encoder,简称CVAE)网络,实现工况和健康状态的解耦;其次,对解耦后的健康状态相关特征进行降维处理,构建异常指标(anomaly indicator,简称ANI);然后,将ANI与统计异常阈值相结合,实现时变工况下轴承的异常检测;最后,通过基于时变转速退化的轴承加速疲劳退化实验,验证了该方法的有效性以及所构建的健康指标在消除时变工况干扰方面的优越性。

基于VAE-WGAN的多维时间序列异常检测方法

针对传统半监督深度异常检测模型对非平衡多维数据分布学习能力不足及模型训练困难等问题,提出一种基于VAE-WGAN架构的多维时间序列异常检测方法,利用VAE作为WGAN的生成器,使用Wasserstein距离作为模型拟合分布与待测数据真实分布之间的度量,学习复杂的高维数据分布。利用滑动窗口划分时间序列,使用正常序列数据训练模型;根据待测序列在训练好的模型中的异常得分,结合自适应阈值技术进行异常判定。实验表明,该方法具有模型容易训练且稳定性强的特点,并且在精确率、召回率､F1值等异常检测性能指标上,比现有的生成式异常检测模型有明显提升。

基于VAE-LSTM模型的航迹异常检测算法

为了检测出异常航迹数据从而提高航迹数据挖掘的精确性,将航迹异常检测转化为无监督学习问题,研究了基于VAE-LSTM的航迹异常检测算法。引入残差结构到LSTM中,建立残差门LSTM,通过将变分自编码器中的BP神经网络层替换为残差门LSTM层,实现对变分自编码器的改进,并构建了VAE-LSTM航迹异常检测模型。模型输入为航迹的速度、加速度、真航向和曲率半径运动特征,输出为航迹点特征的重建概率,重建概率小于概率阈值的航迹点为异常航迹点,包含异常航迹点的航迹判定为异常航迹。以长江水域内的航迹数据进行验证并与多种机器学习异常检测算法进行对比。VAE-LSTM航迹异常检测算法的召回率达到了0.935,F1值达到了0.940,各项指标均高于对比算法,验证了方法的有效性。

基于全卷积变分自编码网络FCVAE的轴承剩余寿命预测方法

由于制造工艺、运行环境等的影响,同型号轴承的使用寿命往往存在较大的个体差异性。在轴承剩余寿命预测中,如果从信号中提取的特征的泛化能力不足,将导致模型预测结果稳定性较差。为此,提出一种基于全卷积变分自编码网络(FCVAE)的轴承的剩余寿命预测方法。该方法用全卷积神经网络(FCNN)改进变分自编码器(VAE),在降低网络复杂度的同时强化所提取特征的泛化能力,并利用频域信号作为模型输入,以进一步降低特征学习的难度,同时设计加权平均方法平滑预测结果。通过试验数据集对所提方法进行验证,结果表明:该方法预测结果的平均误差相比于传统支持向量回归(SVR)降低了64%,比卷积神经网络(CNN)降低45.5%,比VAE降低47.5%。

不平衡样本下基于CVAE和CNN的结构损伤识别方法

为提高在不平衡样本下结构损伤识别的准确性,提出了一种基于条件变分自编码器(CVAE)数据增强和卷积神经网络(CNN)的结构损伤识别方法。首先,将损伤类别作为约束,构建起基于振动加速度数据的CVAE模型;然后生成损伤加速度数据对初始不平衡数据进行扩充;最后使用CNN对扩充数据集进行特征提取和损伤分类识别。通过对悬臂梁振动台实验与钢框架有限元模拟振动实验两类数据集设置不同不平衡比率,进行了CVAE数据增强的效果对比验证。结果表明:CVAE数据增强有助于CNN损伤识别模型对数据特征的提取,能够提高CNN模型的收敛速度,防止模型过拟合;相对于未经数据增强的数据集,所提方法提高了在极不平衡数据下的损伤分类识别准确率,在两类实验数据集上分别提高了15.10%和15.80%。

基于VAE预处理和RP-2D CNN的不平衡负荷数据类型辨识方法

针对负荷数据类型辨识中存在的类别不平衡及特征提取不足的问题,提出一种基于变分自编码器预处理和递归图-二维卷积神经网络的不平衡负荷数据类型辨识方法。首先,利用变分自编码器的过采样方法对少数类样本进行平衡化处理。然后,使用递归图算法将负荷曲线图像化。最后,根据二维卷积神经网络求取分类结果。算例分析表明,变分自编码器能有效地改善负荷数据中存在的类别不平衡问题,提高少数类的召回率;同时,相比于序列输入的分类器模型,经过递归图编码后,其图像输入的二维卷积神经网络模型有更高的分类准确度。

基于Transformer-CVAE的三维人体动画生成方法

三维人体动画生成技术是三维动画领域的核心技术。基于动作捕捉的人体动画生成方法通常制作流程较为繁琐、制作周期较长,无法快速生成人体动画,而现有数据驱动的方法生成的人体动画缺乏真实性,且生成人体运动的种类相对有限。基于此,提出了一种基于Transformer-CVAE的三维人体动画生成方法。首先,基于真实的人体运动构建人体运动数据集,并按照运动种类进行类别划分;其次,基于Transformer网络架构学习运动序列的时序依赖关系,进一步引入变分自编码器结构学习运动序列在隐空间上的概率分布;然后,在隐空间施加约束条件进而控制生成人体运动的效果;最后,在AMASS、HumanACT12、UESTC等数据集上进行实验,并从视觉效果与网络性能两方面对方法进行分析。实验结果表明,与现有方法相比,所提方法可生成种类丰富、真实细腻的人体动画,且在STED、RMSE等指标上具有明显的提升。

基于VAE-MSGAN网络的复杂细节图像生成方法

生成式对抗网络被广泛应用于图像生成领域,但其在图像生成时模型不易收敛,导致生成图像的局部细节易出现背景模糊问题。将变分自动编码器与生成式对抗网络相结合,在两者图像生成方面优势相结合的基础上,引入多尺度判别器,提出了VAE-MSGAN网络模型。通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合,提升了GAN模型的训练稳定性和图像的局部细节生成质量。对设计的图像生成算法基于Ubuntu16.04环境下利用Tensorflow深度学习框架进行了实现和仿真。对比在不同军事图像类别上的图像生成质量,通过交叉验证证明生成图像与真实图像在深度学习分类器下分类准确率基本一致,验证了所设计网络模型的有效性。

基于深度SSDAE网络的刀具磨损状态识别

针对刀具磨损状态识别过程中采集数据量大、干扰信号复杂且需人为选择特征参数的问题,为提高刀具磨损状态识别模型的鲁棒性与泛化性,提出了一种数据驱动下深度堆叠稀疏降噪自编码(stacking sparse denoising auto-encoder,简称SSDAE)网络的刀具磨损状态识别方法,实现隐藏在数据中深层次的数据特征自动挖掘。首先,将原始振动信号分解为一系列固有模态分量(intrinsic mode function,简称IMF),并采用皮尔逊相关系数法选取了最优固有模态来组合一个新的信号;其次,采用SSDAE网络自适应提取特征后对刀具磨损阶段进行了状态识别,识别精度达到98%;最后,对网络模型进行实验验证,并与最常用的刀具磨损状态识别方法进行了对比。实验结果表明,所提出的方法能够很好地处理非平稳振动信号,对不同刀具磨损阶段状态的识别效果良好,并具有较好的泛化性能和可靠性。

基于VAE-GAN算法的信用卡欺诈检测模型

信用卡欺诈检测数据集是典型的离群点分布极度不平衡的高维数据集,信用卡交易中被盗刷的交易占比非常小,但每一笔被盗刷的交易都影响重大。针对传统离群点检测算法难以学习到极度不平衡的高维数据集中离群点的分布模式,导致检测率低的问题,本文应用一种基于变分自编码器(Variational Auto-Encoder,VAE)和生成对抗网络(Generative Adversarial Network,GAN)相结合的VAE-GAN算法进行无监督学习,算法首先将数据集输入VAE型生成器中进行训练,生成大量潜在的离群点,然后令判别器学习正常点与离群点的分类边界,最后将测试数据输入训练后的模型中,将离群值高的测试数据判定为离群点。在信用卡欺诈检测数据集上与现有的无监督学习所得结果相比,VAE-GAN在尽可能更多地检测出离群值的同时,尽量减少误判,AUC达到0.9581,Recall达到0.9118,ACC为0.9468,优于目前的最优模型,证明VAE-GAN算法在信用卡欺诈检测中的优越性。

面向天文多普勒差分测速的太阳/行星光谱对生成方法

为了提供天文多普勒差分测速所需的同步太阳/行星光谱对,提出了一种变分自编码器(VAE)和对偶生成对抗网络(Dual GAN)相融合的VAE-Dual GAN。首先,实测太阳光谱经过VAE编码到隐空间,实现了光谱到光谱域的扩充;然后,由Dual GAN将隐空间映射到伪行星光谱;最后,利用伪行星光谱生成重构太阳光谱。此外,利用编码和生成重建损失加强对网络的约束。VAE-Dual GAN利用Dual GAN的转换学习能力完成了两个光谱域的转换,生成同步太阳/行星光谱对。实验结果表明,VAE-Dual GAN可生成高质量的太阳/行星光谱对,将天文多普勒差分测速精度提高60%以上。

基于深度学习的桡动脉脉搏波重构方法

目的:针对从指端脉搏波重构出桡动脉脉搏波的难题,提出一种基于深度学习的重构方法。方法:使用四通道数据采集系统PowerLab分别无创采集指端脉搏波和桡动脉脉搏波,对脉搏波信号噪声源进行分析,利用去基线算法、小波变换去噪算法、归一化预处理算法,得到稳定的信号波形。设计变分自编码器(VAE)网络模型结构参数,利用十折交叉验证法对744例受试者数据进行训练,建立桡动脉脉搏波预测模型。设置学习率、随机失活、正则化项共3项超参数,对VAE网络模型进行优化。结果:186例受试者桡动脉脉搏波重构和同步检测结果表明:低阻型和高阻型指端脉搏波经VAE网络模型建模后5%K差、20%K差、K差总方差、FIT分别为49.10%、96.70%、89.74和75.80%;低阻型和高阻型指端脉搏波经VAE网络优化模型建模后5%K差、20%K差、K差总方差、FIT分别为48.50%、94.50%、73.74和66.30%。结论:VAE网络模型建模及其优化方法可用于桡动脉脉搏波重构,重构精度较高,并具有较强的鲁棒性和泛化能力。

时空邻域感知的时序兴趣点推荐

如何捕捉用户行为的动态变化和依赖关系是当前兴趣点推荐的一个重要问题,主要面临着数据稀疏、时空序列特征提取难以及用户个性化差异不易捕捉等挑战。为了解决这些挑战,提出了一种基于时空邻域感知及隐含状态变化的时序兴趣点推荐方法。该方法将用户行为的学习转换成了潜在状态的学习,并以一种结合距离信息的方式引入空间信息,有效地捕捉了用户的移动特征。首先,利用变分自编码器表征用户的潜在状态,再通过图神经网络学习到潜在状态之间的依赖关系,从而捕捉到用户行为的时序依赖;然后,利用注意力机制和径向基函数来捕捉用户与地点候选集之间的空间依赖,进而评估用户访问每个地点的概率,实现兴趣点推荐。在三个真实数据集上进行了实验比较和分析,显示了该方法相比于现有的基准算法具有更好的时序推荐性能。