基于NVAE和OB-Mix的小样本数据增强方法

由于深度学习模型对海量标注数据的依赖性较高,导致目前许多前沿性目标检测理论难以适用于工业检测领域。为此,提出一种基于NVAE图像生成和OB-Mix数据增强的小样本数据扩充方法。具体方法是通过NVAE构建检测目标的数据分布模型,再通过采样潜变量的方式生成与真实目标图像属于同一分布的全新目标图像。在得到生成目标图像后,提出了OB-Mix数据增强策略,将生成目标图像与背景图像进行随机位置融合以构建出新的图像数据,从而提高网络的定位能力及泛化能力。方法在仅使用474张标注图像以及400张无检测目标的背景图像情况下,使YOLOv5的检测精确率达到95.86%,相比于不使用该方法的结果提高了17.60个百分点。

基于VAE-LSTM模型的无人机飞行数据异常检测

无人机飞行数据是反映其自身飞行安全的重要状态参数,通过对飞行数据进行异常检测,是提高无人机整体飞行安全性的关键举措。尽管基于数据驱动方法不需专家先验知识和精确的物理模型,但缺乏参数选择且检测网络结构模型单一,使得检测模型由于参数过多导致过拟合以及无法有效捕捉数据异常模式的问题。文中结合变分自编码器和长短期记忆网络的优势,提出了一种基于VAE-LSTM的无人机飞行数据异常检测模型方法。首先,引入肯德尔相关性分析方法用于选择相关依赖的飞行数据参数集;其次,将具有相关性的参数集对所设计的VAE-LSTM深度混合模型进行训练,学习不同数据特征之间的关系映射;最后,以无监督异常检测方式在真实多维无人机飞行数据进行验证。实验结果表明,VAE-LSTM的精密度、检测率、准确率、F1分数及误检率的各项平均性能指标分别达到95.24%、98.71%、98.8%、96.82%、1.31%,相比于KNN、OC-SVM、VAE、LSTM模型,整体上展现出较好异常检测性能。

利用多层次网眼特征和VAE-PNN模型识别城市道路格网模式

作为道路网中普遍存在的显式模式之一,格网模式蕴含了丰富的城市空间格局信息,识别道路格网模式是实现自动化、智能化地图综合的关键前提。针对现有格网模式识别方法较少考虑多层次网眼特征,存在训练样本多样性不足等问题,本文提出一种基于多层次网眼特征和VAE-PNN模型的城市道路格网模式识别方法。首先,对原始路网数据进行化简;然后,设计了内部正交函数、格网形态描述和邻域相关关系的多层次网眼特征,进而利用变分自编码器(VAE)增强训练样本多样性;最后,借助概率神经网络(PNN)模型实现道路格网模式分类识别。试验结果表明,综合考虑多层次网眼特征能够准确识别不同类型、不同形态的道路格网模式,通过VAE样本增强有效提升分类模型性能和格网模式识别精度。

基于Transformer和VAE的汽车新闻文本生成研究

针对汽车新闻领域的文本生成任务,对语料库存在的问题提出系统性的解决方法,并提出一个Transformer融合变分自编码器(variational auto-encoder, VAE)的文本生成模型。该模型采用基于Transformer的预训练-微调的方法,在解码阶段加入VAE辅助文本生成。与加入注意力(attention)机制的长短时记忆(long short-term memory, LSTM)网络模型以及Transformer模型的对比实验结果验证了方法的有效性,文本生成实例表明,通过该方法生成的句子表达更加丰富,更贴近人类的自然语言。

基于CVAE的时变工况轴承运行异常检测

数据驱动的异常检测技术被广泛应用于复杂机械设备状态监测中,工况(operating conditions,简称OCs)变化会导致监测数据的分布漂移,使传统数据驱动的异常检测方法的准确性受到极大干扰。为了解决时变工况下工况和健康状态之间的耦合问题,提出了一个新的特征解耦学习框架。首先,基于变分自动编码器(variation auto encoder,简称VAE)构建一个特征解耦条件变分自动编码器(conditional variation auto encoder,简称CVAE)网络,实现工况和健康状态的解耦;其次,对解耦后的健康状态相关特征进行降维处理,构建异常指标(anomaly indicator,简称ANI);然后,将ANI与统计异常阈值相结合,实现时变工况下轴承的异常检测;最后,通过基于时变转速退化的轴承加速疲劳退化实验,验证了该方法的有效性以及所构建的健康指标在消除时变工况干扰方面的优越性。

基于Transformer-CVAE的三维人体动画生成方法

三维人体动画生成技术是三维动画领域的核心技术。基于动作捕捉的人体动画生成方法通常制作流程较为繁琐、制作周期较长,无法快速生成人体动画,而现有数据驱动的方法生成的人体动画缺乏真实性,且生成人体运动的种类相对有限。基于此,提出了一种基于Transformer-CVAE的三维人体动画生成方法。首先,基于真实的人体运动构建人体运动数据集,并按照运动种类进行类别划分;其次,基于Transformer网络架构学习运动序列的时序依赖关系,进一步引入变分自编码器结构学习运动序列在隐空间上的概率分布;然后,在隐空间施加约束条件进而控制生成人体运动的效果;最后,在AMASS、HumanACT12、UESTC等数据集上进行实验,并从视觉效果与网络性能两方面对方法进行分析。实验结果表明,与现有方法相比,所提方法可生成种类丰富、真实细腻的人体动画,且在STED、RMSE等指标上具有明显的提升。

不平衡样本下基于CVAE和CNN的结构损伤识别方法

为提高在不平衡样本下结构损伤识别的准确性,提出了一种基于条件变分自编码器(CVAE)数据增强和卷积神经网络(CNN)的结构损伤识别方法。首先,将损伤类别作为约束,构建起基于振动加速度数据的CVAE模型;然后生成损伤加速度数据对初始不平衡数据进行扩充;最后使用CNN对扩充数据集进行特征提取和损伤分类识别。通过对悬臂梁振动台实验与钢框架有限元模拟振动实验两类数据集设置不同不平衡比率,进行了CVAE数据增强的效果对比验证。结果表明:CVAE数据增强有助于CNN损伤识别模型对数据特征的提取,能够提高CNN模型的收敛速度,防止模型过拟合;相对于未经数据增强的数据集,所提方法提高了在极不平衡数据下的损伤分类识别准确率,在两类实验数据集上分别提高了15.10%和15.80%。

面向天文多普勒差分测速的太阳/行星光谱对生成方法

为了提供天文多普勒差分测速所需的同步太阳/行星光谱对,提出了一种变分自编码器(VAE)和对偶生成对抗网络(Dual GAN)相融合的VAE-Dual GAN。首先,实测太阳光谱经过VAE编码到隐空间,实现了光谱到光谱域的扩充;然后,由Dual GAN将隐空间映射到伪行星光谱;最后,利用伪行星光谱生成重构太阳光谱。此外,利用编码和生成重建损失加强对网络的约束。VAE-Dual GAN利用Dual GAN的转换学习能力完成了两个光谱域的转换,生成同步太阳/行星光谱对。实验结果表明,VAE-Dual GAN可生成高质量的太阳/行星光谱对,将天文多普勒差分测速精度提高60%以上。

基于深度学习的桡动脉脉搏波重构方法

目的:针对从指端脉搏波重构出桡动脉脉搏波的难题,提出一种基于深度学习的重构方法。方法:使用四通道数据采集系统PowerLab分别无创采集指端脉搏波和桡动脉脉搏波,对脉搏波信号噪声源进行分析,利用去基线算法、小波变换去噪算法、归一化预处理算法,得到稳定的信号波形。设计变分自编码器(VAE)网络模型结构参数,利用十折交叉验证法对744例受试者数据进行训练,建立桡动脉脉搏波预测模型。设置学习率、随机失活、正则化项共3项超参数,对VAE网络模型进行优化。结果:186例受试者桡动脉脉搏波重构和同步检测结果表明:低阻型和高阻型指端脉搏波经VAE网络模型建模后5%K差、20%K差、K差总方差、FIT分别为49.10%、96.70%、89.74和75.80%;低阻型和高阻型指端脉搏波经VAE网络优化模型建模后5%K差、20%K差、K差总方差、FIT分别为48.50%、94.50%、73.74和66.30%。结论:VAE网络模型建模及其优化方法可用于桡动脉脉搏波重构,重构精度较高,并具有较强的鲁棒性和泛化能力。

面向短文本的增强上下文神经主题模型

目前的主题模型大多数基于自身文本的词共现信息进行建模,并没有引入主题的稀疏约束来提升模型的主题抽取能力,此外短文本本身存在词共现稀疏的问题,该问题严重影响了短文本主题建模的准确性。针对以上问题,提出了一种增强上下文神经主题模型(enhanced context neural topic model,ECNTM)。ECNTM基于主题控制器对主题进行稀疏性约束,过滤掉不相关的主题,同时模型的输入变成BOW向量和SBERT句子嵌入的拼接,在高斯解码器中,通过在嵌入空间中将单词上的主题分布处理为多元高斯分布或高斯混合分布,显式地丰富了短文本有限的上下文信息,解决了短文本词共现特征稀疏问题。在WS、Reuters、KOS、20 NewsGroups四个公开数据集上的实验结果表明,该模型在困惑度、主题一致性以及文本分类准确率上相较基准模型均有明显提升,证明了引入主题稀疏约束特性以及丰富的上下文信息到短文本主题建模的有效性。

基于深度SSDAE网络的刀具磨损状态识别

针对刀具磨损状态识别过程中采集数据量大、干扰信号复杂且需人为选择特征参数的问题,为提高刀具磨损状态识别模型的鲁棒性与泛化性,提出了一种数据驱动下深度堆叠稀疏降噪自编码(stacking sparse denoising auto-encoder,简称SSDAE)网络的刀具磨损状态识别方法,实现隐藏在数据中深层次的数据特征自动挖掘。首先,将原始振动信号分解为一系列固有模态分量(intrinsic mode function,简称IMF),并采用皮尔逊相关系数法选取了最优固有模态来组合一个新的信号;其次,采用SSDAE网络自适应提取特征后对刀具磨损阶段进行了状态识别,识别精度达到98%;最后,对网络模型进行实验验证,并与最常用的刀具磨损状态识别方法进行了对比。实验结果表明,所提出的方法能够很好地处理非平稳振动信号,对不同刀具磨损阶段状态的识别效果良好,并具有较好的泛化性能和可靠性。

基于VMD和时空网络变分自编码器的负荷聚类

为了解决用户用电负荷曲线数据维度高、特征提取困难以及序列存在信号模态混叠的问题,提出了使用变分模态分解(variational modal decomposition,VMD)和改进基于时空网络的变分自编码器(variational auto-encoder,VAE)对电力负荷曲线进行特征提取。通过模态分解得到信号的固有模态,对模态重构得到时序特征较明显的序列信号。再通过长短期记忆网络(long short-term memory network,LSTM)和卷积网络(convolutional neural network,CNN)组成的时空变分自编码器进行潜在特征提取,并构建网络分类器来联合损失优化自编码器模型。最后使用Minibatchkmeans算法聚类并计算聚类中心。使用UCI数据集中葡萄牙居民用电量作为实验数据,通过实验结果表明经模态分解后通过降维再聚类的算法在戴维斯丁堡指数(Davies-Bouldin index,DBI)和轮廓系数(silhouette coefficient,SC)上表现出较好效果。

跳连接变分自编码器与CNN相结合的滚动轴承故障诊断方法

针对滚动轴承故障率小、不易收集故障数据的问题,提出基于跳跃连接变分自编码器与宽核深度卷积神经网络相结合的小样本故障诊断方法。该方法首先在变分自编码器的编码和解码之间引入跳跃连接结构,并将Tanh作为网络的激活函数,进而提高生成样本的特征多样性;其次,构建宽核深度卷积网络诊断模型,该模型可以提高从振动信号中提取故障特征的能力;最后,经生成样本扩充的数据集作为模型输入,提高训练集包含的特征信息量,实现小样本下的故障诊断。实验分析表明,所提方法在小样本情形下能生成有效的伪样本并具有较高的诊断精度。

基于动态规整与改进变分自编码器的异常电池在线检测方法

针对电池生产成组过程中,传统异常检测方法对混入的容量及压差异常电池检测精度低及生产结束后离线异常检测方法效率低等问题,该文提出一种集合长短期记忆变分自编码器与动态时间规整评价的锂电池异常在线检测方法(VAE-LSTM-DTW),实现了异常电池的在线检测,避免了离线异常检测所造成的时间和能源的浪费。该方法首先将长短期记忆网络(LSTM)引入变分自编码器(VAE)模型,训练电池时序数据重构模型;其次,在电池异常检测的度量标准中引入动态时间规整值(DTW),并基于贝叶斯寻优获得最优检测阈值,对每个单体电池重构数据的动态规整值进行异常辨别。实验结果表明,相较该领域传统异常检测方法,VAE-LSTM-DTW模型性能优越,查准率和F1值都得到了较大的提升,具有较高的有效性和实用性。

基于特征解耦的少样本遥感飞机图像增广算法

基于深度学习的遥感飞机图像分类模型依赖多元化、均衡化的数据集进行训练,但由于飞机目标的高动态特性导致其大规模数据采集困难,现有的飞机细粒度数据集往往存在高质量数据有限、样本不均衡、难以覆盖全部场景的问题。图像生成技术作为数据增广的一种方式在提高数据规模方面发挥了重要作用,但传统的图像生成算法依赖大量样本训练,在少样本条件下的遥感细粒度图像生成问题亟待解决。因此,针对飞机目标图像类间相似度高、类内差异性大的特性提出了一种基于特征解耦的小样本图像生成方法FD-VAE,并在FAIR1M-Aircraft和MAR20两个细粒度遥感飞机数据集上进行测试,与多种先进的图像生成方法相比,FD-VAE的生成图像质量评价指标FID和LPIPS有明显改善。一系列定性和定量实验证明了FD-VAE在生成多样性、高质量的飞机细粒度图像方面具有强竞争力。并且,使用FD-VAE增广后数据集训练的ResNet-18分类网络,相比于传统训练方法精度提升2.3个百分点。FD-VAE有效缓解了细粒度飞机图像高质量数据采集困难的问题,并且有助于提升下游深度学习模型的性能上限。

基于VAE-GAN和FLCNN的不均衡样本轴承故障诊断方法

针对滚动轴承故障诊断中样本分布不均衡引起的模型泛化能力差、诊断精度低的问题,从两个方面展开研究:(1)故障样本增广,提出结合变分自编码器(VAE)和生成对抗网络(GAN)的VAE-GAN样本增广模型;(2)改进分类算法,提出基于焦点损失(FL)和卷积神经网络(CNN)的FLCNN(focal loss and convolutional neural network)样本分类模型。在此基础上,将VAE-GAN和FLCNN融合,构建VAE-GAN+FLCNN轴承故障诊断模型。首先,将样本量少的故障类输入VAE-GAN模型,通过交替训练编码网络、生成网络和判别网络,学习出真实故障样本的数据分布,从而实现故障样本的增广;然后用增广后的数据样本训练FLCNN分类模型,完成轴承故障识别。试验对比结果表明,所提方法能够有效提升样本不均衡条件下的轴承故障诊断效果,拥有更高的Recall值和F1-score值。

一种基于变分多跳图注意力编码器的深层协同真值发现

大数据时代,数据价值的释放经常需要融合多源数据,数据冲突成为这一过程中无法避免的关键问题。为了从冲突数据中筛选出真实声明以及可靠数据源,研究人员提出了真值发现方法。然而,现有的真值发现大多注重数据源与声明之间的直接协同信息,忽略了更深层的间接协同与对抗信息,导致不足以表达出数据源与声明的特征。针对此问题,提出了基于变分多跳图注意力编码器的真值发现方法(TD-VMGAE),基于数据源与声明之间的包含关系构建二分图网络,采用多跳图注意力层为每个节点表征汇聚间接协同信息以及对抗信息,并设计真值发现变分自编码器,抽取节点表征中所需的分类分布,对数据源和声明进行协同分类。实验结果表明,所提方法在3个不同尺度的数据集中均有不错的表现,消融实验和可视化也验证了所提方法的有效性和泛化能力。

基于分层潜在语义驱动网络的事件检测

事件检测旨在检测句子中的触发词并将其分类为预定义的事件类型.如何有效地表示触发词是实现该任务的核心要素.目前基于表示的方法通过复杂的深度神经网络来学习候选触发词的语义表示,以提升模型性能.然而,其忽略了2个问题:1)受句子语境的影响,同一个触发词会触发不同的事件类型;2)受自然语言表达多样性的影响,不同的触发词会触发同一个事件类型.受变分自编码器中隐变量及其他自然语言处理(natural language processing,NLP)任务中分层结构的启发,提出基于分层潜在语义驱动网络(hierarchical latent semantic-driven network,HLSD)的事件检测方法,通过句子和单词的潜在语义信息来辅助缓解以上2个问题.模型从文本表示空间中分层降维到新的潜在语义空间,探索事件宏微观语境中更本质的影响信息.首先,通过BERT对候选句子进行编码,得到句子的表示和句子中单词的表示;其次,设计一个双重的潜在语义机制,并采用VAE挖掘句子和单词级潜在语义;最后,从不同粒度的上下文角度,提出采用一个由粗到细的分层结构来充分使用句子和单词的潜在信息,从而提升模型的性能.ACE2005英文语料库上的实验结果表明,所提方法的F1值在事件检测任务上达到了77.9%.此外,在实验部分对以上2个问题进行了定量分析,证明了所提方法的有效性.

基于变分自编码器的近似聚合查询优化方法

针对偏态数据分布不平衡,传统近似聚合查询方法难以抽样生成偏态分布数据的问题,提出基于优化的变分自编码器的近似聚合查询方法,研究近似聚合查询方法对偏态分布数据的近似聚合查询准确率的影响.在预处理阶段对偏态分布数据进行分层分组,对变分自编码器生成模型的网络结构和损失函数进行优化,降低近似聚合查询相对误差.实验结果表明,与基准方法相比,近似聚合查询对偏态分布数据的查询相对误差更小,且随着偏态系数的提高,查询相对误差的上升趋势更平缓.

基于局部数据增强动态图的事件预测

事件指在真实世界中特定的时间和地点发生的与特定主题相关的活动,例如,社会动乱、暴恐袭击、自然灾害和传染病流行等事件会对国家安全和人民群众的生活产生重大威胁。如果能对此类事件的发生进行有效预测,将最大程度地减少负面事件带来的影响或最大化正面事件带来的利益。关于事件的研究中,准确预测事件仍然是一个非常具有挑战性的任务。文中提出了一种基于图注意力网络的事件预测方法LAT-GAT(Local Augmented Temporal-GAT),该方法使用条件变分编码器,在所构建的事件图中对目标节点的邻居节点生成新的特征样本,与节点原有特征进行拼合,形成新的节点特征,实现了对事件的传播结构的利用;另外,LAT-GAT还考虑了历史事件发生的时间先后顺序,将网络在上一时间点的输出结果集成到当前时间的特征中,从而实现了对事件传播时间特性的利用。最后,在泰国、印度、埃及和俄罗斯这4个国家真实事件数据集上,与多种代表性基线方法进行了对比实验。实验结果表明,LAT-GAT在4个国家数据上的F1评分都优于基线方法;在泰国、俄罗斯和印度数据集上召回率优于基线方法;在泰国、埃及和印度数据集上也获得了最高的准确率。还通过消融实验考察了模型参数对最终结果的影响。