重加权的对抗变分自编码器及其在工业因果效应估计中的应用

反事实预测和选择偏差是因果效应估计中的重大挑战。为对潜在协变量的复杂混杂分布进行有效表征,同时增强反事实预测泛化能力,提出一种面向工业因果效应估计应用的重加权对抗变分自编码器网络(RVAENet)模型。针对混杂分布去偏问题,借鉴域适应思想,采用对抗学习机制对由变分自编码器(VAE)获得的隐含变量进行表示学习的分布平衡;在此基础上,通过学习样本倾向性权重对样本进行重加权,进一步缩小实验组(Treatment)与对照组(Control)样本间的分布差异。实验结果表明,在工业真实场景数据集的两个场景下,所提模型的提升曲线下的面积(AUUC)比TEDVAE(Treatment Effect with Disentangled VAE)分别提升了15.02%、16.02%;在公开数据集上,所提模型的平均干预效果(ATE)和异构估计精度(PEHE)普遍取得最优结果。

适用于稀疏隐式反馈数据的双重去偏协同过滤推荐算法

隐式反馈数据是推荐系统的重要数据来源,但通常是稀疏的,并且存在曝光偏差和从众偏差.已知的去偏方法往往只针对其中一种偏差,影响个性化推荐的效果,或者需要一个昂贵的无偏数据集作为多重去偏的辅助信息.为此,本文提出了一个适用于稀疏隐式反馈数据,同时对曝光偏差和从众偏差去偏的协同过滤推荐算法.该算法通过我们提出的双重逆倾向加权方法和对比学习辅助任务去除输入双塔自编码器的隐式反馈数据中包含的两种偏差,估计用户对物品的偏好概率.实验结果显示,本文的算法在公开无偏数据集Coat、Yahoo!R3上,归一化折扣累积增益NDCG@K、均值平均精度MAP@K和召回率Recall@K优于对比的算法.

跨类别样本迁移框架下的不平衡分类方法

对于不平衡分类问题,实现类别交叠区域中样本数目和分布的平衡是缓解后续决策偏移的关键,而现有的不平衡分类方法往往只从少数类样本生成新样本来达到样本数目的平衡,没有充分利用多数类样本丰富的信息。特别是在少数类样本绝对数量过少的情况下,仅利用原始少数类样本信息无法有效平衡交叠区域样本的分布。提出了一种跨类别样本迁移框架下的不平衡分类方法。在变分自编码器(variational autoencoder,VAE)隐编码采样过程中嵌入由全连接层构建的映射网络,在VAE充分学习不同类别样本的共性和特性的基础上,在隐编码先验约束和跨域一致性约束下对多数类样本的隐编码进行映射转换,使转换前后隐编码共享相同的分布空间,并通过VAE中解码器实现多数类样本向少数类样本的迁移。同时融入生成对抗机制,对原始样本和新样本以及转换前后的隐编码进行判别对抗,进一步提升迁移样本的可靠性。在此基础上,分别对新生成样本与原始不同类别样本的距离进行加权约束,并筛选得到更加靠近交叠区域的样本,使该区域不同类别样本的数目和分布更加平衡。在16个公共数据集上的实验结果表明,在F1测量值和G-均值上该方法显著优于10种典型的不平衡分类方法,特别是在11个不平衡比例较高、少数类样本绝对数量过少的公共数据集中,该方法性能提升更加显著。

基于改进AE-CM模型的未知应用层协议识别

现有的未知协议识别方法存在提取的特征不够充分、聚类分配不准确等问题,影响了协议识别结果的准确性。AE-CM(deep autoencoder with embedding clustering module)解决了当前深度聚类模型异步优化的问题,提高了聚类分配的精度。该文提出的DAEC-NM协议识别模型以AE-CM为基础,通过加入高维卷积、时序卷积网络以及调整多层感知机结构的方法,改进了AE-CM的特征提取部分。为了更全面地获取协议信息,DAEC-NM通过邻居分支采集邻居样本,并分析邻居样本间的局部关联特征,从而增强原样本特征中重要特征对聚类分配的指导能力。最后,采用了注意力机制来分析特征的重要性,以此为聚类模块设置有效的初始权重,解决了聚类模块在模型更新过程中权重特征更新较慢的问题。实验结果表明,DAEC-NM能够有效提高未知协议识别的准确性。

基于分布对齐变分自编码器的深度多视图聚类

多视图聚类(Multi-View Clustering,MVC)旨在利用不同视图间的一致性和互补性来高效处理多视图数据,是大数据分析中重要的研究方向之一.然而,现有方法无法有效学习到多视图信息间的潜在联系,且缺乏考虑视图重要性差异问题.针对上述这些问题,本文提出了一种基于分布对齐变分自编码器的深度多视图聚类方法(Deep Multi-View Clustering based on Distribution Aligned Variational Autoencoder,DMVCDA).首先,针对特定视图我们利用多个变分自编码器从不同视图中提取潜在特征,并对特征的分布进行对齐,以挖掘包含基本信息的潜在特征;然后,引入视图权重参数,获取共享的潜在特征;最后,在潜在特征上建立面向聚类的损失目标,使得学习到的潜在特征更适合聚类任务,从而提高聚类精度.在五个公共多视图数据集上的实验结果表明,我们的模型在精确度(ACC)、标准互信息(NMI)和纯度(Purity)等多个聚类评价指标上均表现出优异的性能.

基于IWAE的不平衡数据集下轴承故障诊断研究

针对目前现有轴承故障诊断方法对不平衡数据集中的少数类诊断准确率低的问题,提出了不平衡数据集下基于重要性加权自编码器(Importance Weighted Auto-encoder,IWAE)的轴承故障诊断方法。首先通过少数类的样本数据来训练IWAE网络,将生成的样本数据加入到原始数据集中,得到平衡后的数据集;然后引入深度学习方法作为诊断网络,将平衡后的数据集直接输入诊断网络中,自适应的学习故障特征,实现故障分类。为了增强诊断网络的准确率,使用一维多尺度卷积神经网络进行故障诊断。大量的定性定量实验表明,所提出的方法在不平衡比为1/7时,少数类诊断的准确率已经能够达到98.90%,均优于其他现有模型,并且拥有较好的收敛性和泛化性。

基于DS证据理论融合油液振动多参数的故障诊断方法研究

齿轮箱广泛应用于石油化工、船舶、电力与工程机械等领域,其故障监测诊断技术研究一直是热点问题。提出了一种基于DS证据理论融合油液与振动多参数的齿轮箱故障诊断方法,针对传统单一振动信号分析方法对齿轮磨损早期不敏感的问题,采用径向基神经网络建立振动时域特征与油液特征融合的分类模型,基于高维变分自编码器自适应提取振动频域特征并完成故障分类;将由径向基神经网络与高维变分自编码器分别得到的不同证据体通过加权DS证据理论进行融合,获得最终的诊断结果。与不同融合方法进行对比,验证了该方法对齿轮故障诊断的实际效果。

基于卷积变分自编码器的日负荷曲线聚类研究

用户日用电数据可以反映用户的用电行为特征,聚类任务能够从大量运行数据中提取典型用户日负荷曲线为电力系统的规划与调度等任务提供依据。针对传统聚类方法在数据量庞大、数据维度较高的日负荷数据场景中具有效率低下、提取潜在表征困难等问题,提出基于卷积变分自编码器(variational autoencoders,VAE)的聚类方法对负荷曲线进行聚类。该方法首先通过卷积变分自编码器降维提取日负荷数据的潜在特征,并配合K-means进行负荷聚类任务,最后基于各负荷曲线与聚类中心的距离通过加权修正每一类聚类中心以得到更具代表性的典型日负荷曲线。利用UCI数据集中的葡萄牙用户实际采集数据进行算例验证,结果显示该方法的戴维森堡丁指数(Davies-Bouldin Index,DBI)相较于传统聚类方法K-means、PCA+K-means等下降明显,说明类内更加紧密,类间更加远离,提高了聚类质量。然后利用高斯距离加权改进了聚类中心,提取到更加典型日负荷曲线,使得分析用户用电行为特征更为精确。验证了卷积变分自编码器聚类方法在日负荷曲线中的有效性。

基于QWDAE和HWMHGRU融合的电力系统短期负荷预测模型

为提升电力系统短期负荷预测精度,提出量子加权降噪自编码器和高速通道多层级门控循环单元神经网络融合的短期负荷预测模型。首先利用量子信息处理机制,采用量子加权神经元构建量子加权降噪自编码器,挖掘负荷序列中的有效信息作为输入特征;然后提出具有两级门控结构和高速通道结构的高速通道多层级门控循环单元,构成量子加权降噪自编码器和高速通道多层级门控循环单元融合的短期负荷预测模型。仿真结果表明,所提模型具有较好的预测精度和预测稳定性。

基于短波近红外高光谱和深度学习的籽棉地膜分选算法

采用膜下滴灌棉花种植模式,在机械采摘过程中地膜易混入籽棉,对后续棉花加工影响极大。地膜无色透明且无荧光效应,常规方法很难识别。为了解决地膜的分选问题,提出一种基于短波近红外高光谱和深度学习的籽棉地膜分选算法。首先,针对高光谱图像中地膜与非地膜像素点光谱特征区分不明显的问题,利用堆叠自适应加权自编码器逐层提取与输出相关的低维非线性高阶特征;然后,将此高阶特征作为分类器的输入,采用粒子群优化的极限学习机实现初步分类;最后,对分类结果进行类型合并,运用形态学方法以及连通域分析,剔除误识别区域,得到优化后的地膜分类结果。经仿真试验及现场测试,算法对地膜识别率达到95.5%,地膜选出率达95%,满足实际生产需求。

基于某组合模型的不平衡数据分类算法研究

针对传统分类算法在面对特征维度较高且极端不平衡的样本时分类性能下降、容易过拟合等问题,提出了一种改进的基于Bagging思想的RUSBoost组合模型:Bagging-RUSBoost。算法首先对RUSBoost的样本权重更新方式进行了改进,并增大了少数类的样本权重;其次在结合了KL散度的自编码器模型中提取降维后的隐含特征,输入到改进的加权Bagging组合分类器,得到最终的分类结果。在UCI和Fashion-MNIST数据集上进行验证,结果表明模型在召回率、F1 score、G-means、AUC等性能指标优于其它四种不平衡算法。实验证实了模型在面对高维度不平衡样本时具有良好的分类精度和泛化能力。

叠加去噪自动编码器结合深度神经网络的心电图信号分类方法

针对现有心电图信号分类方法精度较低,模型训练收敛速度较慢的缺点,提出一种基于叠加去噪自动编码器和深度神经网络方法的新型分类方法。该方法采用无监督学习方式,利用带有稀疏约束的叠加去噪自动编码器,实现心电图原始数据的特征学习。基于深度神经网络对信号进行分类,同时利用监督式自主学习微调方法对神经网络权重进行适时调整,从而保证信号分类的精度和质量。利用三个机构的经典数据库对该方法进行实验研究,并与目前两种最新的方法进行对比。实验结果证明,该方法在专家标记样本较少的情况下,仍能明显提高心电图数据分类的准确率,同时加快训练时的收敛速度。

融合自动权重学习的深度子空间聚类

子空间聚类算法是一种面向高维数据的聚类方法,具有独特的数据自表示方式和较高的聚类精度。传统子空间聚类算法聚焦于对输入数据构建最优相似图再进行分割,导致聚类效果高度依赖于相似图学习。自适应近邻聚类(CAN)算法改进了相似图学习过程,根据数据间的距离自适应地分配最优邻居以构建相似图和聚类结构。然而,现有CAN算法在进行高维数据非线性聚类时,难以很好地捕获局部数据结构,从而导致聚类准确性及算法泛化能力有限。提出一种融合自动权重学习与结构化信息的深度子空间聚类算法。通过自编码器将数据映射到非线性潜在空间并降维,自适应地赋予潜在特征不同的权重从而处理噪声特征,最小化自编码器的重构误差以保留数据的局部结构信息。通过CAN方法学习相似图,在潜在表示下迭代地增强各特征间的相关性,从而保留数据的全局结构信息。实验结果表明,在ORL、COIL-20、UMIST数据集上该算法的准确率分别达到0.7801、0.8743、0.7421,聚类性能优于LRR、LRSC、SSC、KSSC等算法。

基于差异性汉明距离的变分推荐算法

目前基于哈希技术的推荐算法常用汉明距离表示用户和项目哈希码的相似性,但忽略了哈希码中每位的潜在区别信息,为此提出了一个差异性汉明距离,通过考虑哈希码之间的差异性为哈希码赋予位权重;为差异性汉明距离设计了一个变分推荐模型,该模型分为用户哈希组件和项目哈希组件两部分,以变分自编码器结构连接。首先,模型利用编码器为用户和项目生成哈希码,为提高哈希码的鲁棒性,在哈希码中加入高斯噪声。其次,通过差异性汉明距离优化用户和项目哈希码,以最大限度地提高模型重构用户-项目评分的能力。在两个公开的数据集上的实验结果表明,在计算开销不变的前提下与最先进的哈希推荐算法相比,所提模型在NDCG上提高了3.9%,在MRR上提高了4.7%。

基于深度卷积神经网络的羽绒图像识别

由于图像中羽绒形态及其多样性,传统的图像识别方法难以正确识别羽绒分拣图像中的羽绒类型,其识别精度也难以达到实际生产的要求.为解决上述问题,构造了一种用于羽绒类型识别的深度卷积神经网络,并对其权值初始化方法进行了改进.首先利用视觉显著性模型提取羽绒图像的显著部分,然后将图像的显著部分输入到稀疏自动编码器中进行训练,得到一组符合数据集统计特性的卷积核集合.最后采用Inception及其变种模块实现深度卷积神经网络的构造,通过增加网络深度来提高网络的识别精度.试验结果表明,用所构造的深度卷积神经网络对羽绒图像识别的精度较传统卷积神经网络的提高了2.7%,且改进的权值初始化方法使网络的收敛速度提高了25.5%.

VW-SAE:一种改进的光谱数据特征表示方法

针对高光谱图像维度高、目标特征提取不准确的问题,提出了一种可变加权堆叠式自编码器(variable-wise weighted stacked autoencoder,VW-SAE)的光谱数据特征表示方法。VW-SAE方法在堆叠式自编码器(SAE)的基础上,从每个AE的输入层中识别出重要的变量,通过对输出变量的相关性分析,将输出信息映射在AE目标函数的不同变量,引入不同的权值进行训练,逐层提取获得与输出相关的特征,并将其堆叠形成深网络。通过对每层网络权重的调控,在降低光谱数据维度的过程中,更好地提取光谱数据中的特征信息,进而提高了预测模型的精度。为验证方法的有效性,使用已采集的10248张水稻图像,在堆叠式自编码器结合全连接神经网络(SAE-FNN)的基础上,搭建了VW-SAE-FNN模型对水稻氮元素进行检测,实验结果表明该方法与SAE方法相比准确率明显提升。

加权PageRank改进地标表示的自编码谱聚类算法

针对传统谱聚类算法在处理大规模数据集时,聚类精度低并且存在相似度矩阵存储开销大和拉普拉斯矩阵特征分解计算复杂度高的问题。提出了一种加权PageRank改进地标表示的自编码谱聚类算法,首先选取数据亲和图中权重最高的节点作为地标点,以选定的地标点与其他数据点之间的相似关系来逼近相似度矩阵作为叠加自动编码器的输入。然后利用聚类损失同时更新自动编码器和聚类中心的参数,从而实现可扩展和精确的聚类。实验表明,在几种典型的数据集上,所提算法与地标点谱聚类算法和深度谱聚类算法相比具有更好的聚类性能。

基于增强型去噪自编码器与随机森林的电力系统扰动分类方法

实时准确的电力系统扰动分类有利于避免大规模停电事故的发生。然而同步相量测量单元的数据质量问题严重影响其在扰动分类上的应用。针对此问题,提出了一种基于增强型去噪自编码器与随机森林的扰动分类方法。首先,利用长短期记忆构造一种增强型去噪自编码器,建立不良数据与正常数据间的映射关系。进一步,根据不同量测的验证损失变化趋势,提出了一种自适应权重多任务去噪网络,能够自适应更新各量测对应的损失函数权重以降低重构误差。最后,利用随机森林对特征进行分类,并通过贝叶斯优化对其超参数调优。基于IEEE 39系统,在不同不良数据比例下对该方法测试,验证所提方法的准确性和快速性。最后,通过现场数据验证了所提方法具有较高的泛化性。

结合地标点与自编码的快速多视图聚类网络

针对目前存在的多视图聚类方法大多是对聚类准确性进行研究而未着重于提升算法效率,从而难以应用于大规模数据的现象,本文提出一种结合地标点和自编码的快速多视图聚类算法。利用加权PageRank排序算法选出每个视图中最具代表性的地标点。使用凸二次规划函数从数据中直接生成多个视图的相似度矩阵,求得多个视图的共识相似度矩阵以有效利用多个视图包含的具有一致性和互补性的聚类有效信息,将获得的具有低存储开销性能的共识相似度矩阵输入自编码器替代拉普拉斯矩阵特征分解,在联合学习框架下同时更新自编码器参数和聚类中心从而在降低计算复杂度的同时保证聚类精度。在5个多视图数据集上的实验证明了本文算法相对于其他多视图算法在运行时间上的优越性。

基于空谱多路自编码器的高光谱图像异常检测

高光谱图像异常检测作为一种无监督的目标检测,主要存在异常目标类型多样化、异常与背景不易区分、以及检测精度受场景影响大等难题。针对以上问题,本文提出了一种基于空谱多路自编码器的高光谱图像异常检测方法。首先,提出一种加权空谱Gabor滤波方法,提取高光谱图像的多尺度空谱特征;其次,采用多路自编码器降低多尺度空谱特征在光谱维的冗余度,提取空谱特征中的主要信息;最后,利用得到的主要空谱特征,结合形态学滤波与双曲正切函数进行特征增强,以提高异常与背景噪声的区分度。本文提出的方法是一种即插即用的异常检测方法,无需额外的参数输入;多路自编码器提取了多尺度主要空谱特征,以应对异常目标类型多样化的难题;通过特征增强提高了背景与异常的区分度。将本文提出的方法与9种流行的异常检测方法相比,在5个高光谱数据集上进行验证,通过对比异常检测结果图、接收机操作特性(Receiver Operating Characteristic,ROC)曲线、ROC曲线下覆盖的面积AUC(Area Under Curve)以及异常像元与背景像元的箱型图等评价指标,证明了本文方法优于其他9种方法。