利用深度去噪自编码器深度学习的指令意图理解方法

提出了一种利用深度去噪自编码器(SDAE)的自然语言指令意图理解方法.根据家庭服务机器人的使用环境和应用场景构建了一个自然语言文本指令语料库,并对语料库中各类指令进行意图标注,从而把文本指令理解问题转化为文本分类问题;在传统的文本向量空间模型的基础上,融合了文本指令的词性信息,定义了一种文本表示模型——词性向量空间模型;将SDAE应用于文本指令意图理解,提取指令的高阶特征;用高斯核支持向量机进行训练和预测,进而实现了自然语言指令的意图理解.在所建语料库上进行多折交叉验证,结果表明指令意图理解平均准确率达到96%以上.

基于深度自编码器的城市固废焚烧过程燃烧状态识别

国内城市固废(municipal solid waste,MSW)的组分复杂且多变,其焚烧过程的燃烧状态识别主要依靠人工判断,难以维持稳定的运行工况。针对上述问题,提出了一种基于深度自编码器的分区域燃烧状态识别方法。首先,依据炉排结构对燃烧段和燃烬段的分界线进行标定;然后,利用具有深层结构的卷积稀疏自编码器(convolutional sparse autoencoder,CSAE)提取两部分火焰图像的特征;最后,将特征分别输入到相应的最小二乘支持向量机进行状态识别。基于处理规模为750 t/d的焚烧炉的不同燃烧状态图像进行实验,实验结果表明,在有限的标记样本数量下,所提方法的平均识别准确率为98.04%,该方法能够实现MSW燃烧状态的实时监测。

基于深度卷积自编码器和多尺度残差收缩网络的滚动轴承寿命状态识别

针对滚动轴承早期故障识别困难、退化性能难以准确评估的问题,提出了基于深度卷积自编码器(DCAE)和多尺度残差收缩网络(MSRSN)的滚动轴承寿命状态识别方法。首先,为获得清晰的故障特征频率及倍频,将原始数据样本转换为包络谱输入深度卷积自编码器中,实现轴承寿命状态特征的自动提取与表达,并基于多维尺度分析(MDS)算法约简寿命状态特征获得低维特征,然后计算低维特征空间内样本间的欧几里得距离(ED),即为轴承性能衰退评估指标;其次,为全面提取轴承性能衰退特征,提出了改进的多尺度残差收缩网络识别模型,并开发了ReLU与DropBlock正则化相结合的新激活策略增强模型的抗噪性;最后,将所提方法及对比方法应用于轴承全寿命实验数据。实验结果表明:笔者提出的性能衰退评估指标能够精准地识别轴承性能退化起始点以及刻画轴承的退化趋势,所提出的改进的多尺度残差收缩网络识别模型在S SNR=-4~6 dB环境中平均识别正确率为91.75%,能够准确识别轴承寿命状态,验证了方法的实用性以及有效性。

基于深度自编码器的输电线路多特征数据融合

面对多特征数据融合消耗能量大、数据提取不完整的问题,提出了基于深度自编码器的输电线路多特征数据融合方法。构建深度自编码器,提取输电线路多特征数据。采用逐层训练法训练提取的数据,解决梯度消失问题。采用向前传播方式计算置信度,判断传感节点簇的稳定性。利用巴氏系数计算不同特征之间相似度,通过加权特征融合,获取不同数据间的相似度权值,实现多特征数据加权融合。结合LEACH协议进行分簇,避免信道拥挤,避免数据提取不完全而影响融合结果。由实验结果可知,该方法单元消耗能量最大值为145 kJ,小于数据融合消耗总能量,能够达到节省融合能量损耗目的;提取单元格数为100个,与实际单元格一致,能够达到精准提取数据的目的。

基于深度稀疏自编码器的电抗器机械故障振动诊断方法

为提高电抗器机械故障智能诊断的准确性,基于电抗器振动信号与机械状态之间的关联特性和规律,提出了一种基于深度稀疏自编码器(SAE)的电抗器机械故障振动诊断方法。首先,采用小波包分解算法对电抗器原始振动信号进行分解,提取信号的时频能量矩阵;然后,构建基于SAE网络的电抗器机械故障诊断模型,通过无监督自学习和有监督微调完成时频能量矩阵深层特征挖掘和电抗器机械故障识别分类;最后,以某10 kV油浸式电抗器为试验对象,使用不同机械状态下的振动数据对故障识别模型进行训练优化。算例结果表明,相比于传统振动诊断方法,所提方法能够更好地对电抗器机械故障进行识别分类,准确率可达98%。

散列记忆网络增强的自编码器异常检测方法

深度自编码器是异常检测的重要工具,通过异常样本由于分布的差异,无法在编码器中进行重构这一假设实现对异常的检测.而实际应用中,由于深度自编码器的泛化性较强,异常输入后也能实现较好重构,导致漏检情况发生.本文在改进注意力机制基础上,构建了一个散列记忆网络增强的自编码器异常检测方法,较好解决了这一问题.首先,模型将输入编码为编码信息,根据编码信息获取子查询向量,然后通过子查询向量获取子注意力权重及对应子索引,再将子权重交叉求和获得散列权重及索引并从记忆网络单元检索出解码信息,最后利用解码信息进行重构输出.重构的输出总是与正常数据相似,使得异常输入与重构输出之间的重构误差将被放大,从而让异常更容易被识别.仿真实验表明,本文提出方法在图像、视频监控、通用异常检测任务中,均取得了较好的检测效果.

基于深度自编码器的钻井工况智能识别研究

由于钻井作业和地层的复杂性,钻井工况识别是钻井智能化中极具挑战性的问题之一。结合深度学习和自编码器技术,建立了基于深度自编码器的钻井工况智能识别模型,对钻进、循环、起钻、下钻、倒划眼、接单根、钻水泥塞、短起下钻和复杂情况九种工况进行实时识别。采用南海四口高温高压井的钻井数据,合计1470803组,生成九种工况的训练集、验证集、测试集,占比分别为51.74%、12.94%、35.32%。采用滑动时间窗口算法和归一化方法对输入特征进行处理,分别建立自编码器模型,然后对模型的激活函数等参数进行分析优选。结果表明,基于深度自编码器的工况识别模型的各工况识别准确率均达到了90%以上,与基于普通自编码器的工况识别模型相比,准确率提高了3.8%至23%不等。同时每组数据的平均识别时间仅为1.28 ms,符合工况实时识别的要求。

融合BERT与改进深度自动编码器的专利聚类

针对传统的向量表示方法的多义词局限性以及深度聚类容易出现特征嵌入与聚类过程分离的问题,提出一种融合BERT与改进深度自动编码器的专利聚类方法。利用BERT对专利文本进行向量初始化,提出将高斯混合模型(GMM)与自动编码器相联系,构建一个单隐含层自编码器的聚类模块(CM),将其嵌入到深度自动编码器(DAE)中构成DAE-CM模型。实验结果表明,CM与GMM具有等效性,DAE-CM模型与现有深度聚类模型相比,精确度等都有所提高,所提专利聚类模型性能得到了很大的提升,F-means值达到了0.9224。

基于深度自编码器的分钟级负荷数据聚类分析

在数字化电网的全面建设和电力市场持续改革的背景下,电力服务商积极开展以负荷数据聚类分析为基础的用电行为分析。为了深入分析用户的用电行为模式,提出基于深度自编码器的分钟级负荷数据聚类分析方法。首先基于信息熵重构负荷数据,保留负荷数据的形态特征和提高数据的可区分性;接着提出深度自编码器的特征提取方法,同时利用边界少数样本过采样算法生成新的训练样本,对深度自编码器网络模型进行两阶段训练;最后基于欧式距离和动态时间扭曲距离的双尺度距离,计算负荷数据特征的相似性,以双尺度距离作为K-means算法的输入数据得到负荷聚类结果。基于南京市某台区的分钟级负荷数据的算例分析表明,所提方法提高了不同负荷数据分类的准确性。

基于温振融合与深度自编码器的高速动车组轴箱轴承故障诊断模型

因物理监测信息利用不足,动车组轴箱轴承故障诊断存在准确率较低问题。首先,利用高速动车组轴箱轴承试验台获取丰富数据,融合温度特征数据与振动特征数据,并使用主成分分析法进行融合与降维;然后,建立基于温振融合与DAE(深度自编码器)的轴箱轴承故障诊断模型,并通过深度自编码器进行模型训练;最后,用高速动车组轴箱轴承试验台测试集的数据进行模型验证。验证结果表明:与其他对比模型相比,基于温振融合与DAE的轴箱轴承故障诊断模型的诊断准确率更高。

基于EEMD和深度自编码器的变压器机械故障声学诊断方法

为提高电力变压器机械故障诊断的准确性,依据变压器声音信号与机械状态之间的关联特性,提出了一种基于集合经验模态分解(Ensemble Empirical Mode Decomposition,EEMD)和深度自编码器(Stacked Auto-Encoder,SAE)的变压器机械故障声学诊断方法。首先采用EEMD对变压器原始声音信号进行分解,提取信号的时频能量特征;然后构建基于SAE的变压器机械故障识别模型,通过无监督自学习和有监督微调完成深层特征挖掘和识别;最后以某10 kV变压器为试验对象,采用典型机械状态下的声音信号对故障识别模型进行训练优化。算例结果表明,与传统的故障诊断方法相比,所提方法能更好地对变压器机械故障进行识别。

深度自动编码器的研究与展望

深度学习是机器学习的一个分支,开创了神经网络发展的新纪元。作为深度学习结构的主要组成部分之一,深度自动编码器主要用于完成转换学习任务,同时在无监督学习及非线性特征提取过程中也扮演着至关重要的角色。首先介绍深度自动编码器的发展由来、基本概念及原理,然后介绍它的构建方法以及预训练和精雕的一般步骤,并对不同类型深度自动编码器进行总结,最后在深入分析深度自动编码器目前存在的问题的基础上,对其未来发展趋势进行展望。

基于改进深度稀疏自编码器及FOA-ELM的电力负荷预测

智能电网的发展使得电网获取的数据逐渐增多,为了从多维大数据中获取有用信息并对短期内电力负荷进行准确的预测,提出了一种基于改进的深度稀疏自编码器(IDSAE)降维及果蝇优化算法(FOA)优化极限学习机(ELM)的短期电力负荷预测方法。将L1正则化加入到深度稀疏自编码器(DSAE)中能够诱导出更好的稀疏性,用IDSAE对影响电力负荷预测精度的高维数据进行特征降维,消除了指标间的多重共线性,实现高维数据向低维空间的压缩编码。采用FOA优化算法优化ELM的权值和阈值,得到最优值,能够克服因极限学习机随机选择权值和阈值导致预测精度低的缺点。首先将气象因素通过IDSAE降维,得到稀疏后的综合气象因素特征指标,协同电力负荷数据作为FOA优化的ELM预测模型的输入向量进行电力负荷预测。通过与DSAE-FOAELM、DSAE-ELM和IDSAE-ELM等模型的对比实验,证明了提出的预测模型能有效提高预测精度,经计算得出预测精度提升大约8%。

基于深度自编码器的单样本人脸识别

由于每个目标仅有一幅已知样本,无法描述目标的类内变化,诸多人脸识别算法在解决单样本人脸识别问题时识别性能较低.因此文中提出基于深度自编码器的单样本人脸识别算法.算法首先采用所有已知样本训练深度自编码器,得到广义深度自编码器,然后使用每个单样本目标的单个样本微调广义深度自编码器,得到特定类别的深度自编码器.识别时,将识别图像输入每个特定类别的深度自编码器,得到包含与测试图像相同类内变化的该类别的重构图像,使用重构图像训练Softmax回归模型,分类测试图像.在公共测试库上进行测试,并与其它算法在相同环境下进行对比,结果表明文中算法在获得更优识别率的同时,识别一幅图像所需平均时间更少.

基于弹性网的深度去噪自编码器异常检测方法

针对传统异常检测方法在处理多元和高维数据时检测性能较差的问题,提出一种融合弹性网和深度去噪自编码器的网络异常检测方法。构建一种基于弹性网的深度去噪自编码器,利用部分正常数据对网络进行训练获得重构误差阈值,以自编码器和重构误差值检测异常行为。采用NSL-KDD数据集的实验结果表明,与AE、K-NN和SVM方法相比,该方法在保证较好的分类准确率和检测率的同时,召回率和F1值明显提高,误报率明显降低,对不同攻击类数据被分类为异常的准确率也优于其它方法。

基于深度自动编码器的机场安检人脸识别系统设计

由于现有的机场安检系统通常只针对行李和旅客携带的违禁物品进行检测,没有考虑到对于正在通缉的罪犯进行监控和核查,设计了一种基于Gabor小波滤波和深度自动编码器的机场安检人脸识别系统;首先,以ATmega128L为处理器核心,SA7111作为模数转换器,MAX7000作为全局逻辑控制单元设计了机场人脸识别系统硬件,然后采用Gabor小波函数作为卷积核函数,在对原始图像分块的基础上进行卷积,采用多个RBM堆叠组成的自动编码器,通过比较差异算法训练RBM从而自动提取人脸特征,最后构建一个三层的BP神经网络,将自动提取的人脸特征作为输入,将图像标签作为输出层,并通过反向传播算法训练网络进行人脸识别;通过部署仿真实验环境对文中方法进行验证,仿真结果表明:文中系统能较为精确地实现人脸识别,与其它方法相比,具有识别率高和收敛速度快的优点。

基于深度自动编码器与Q学习的移动机器人路径规划方法

针对移动机器人在静态未知环境中的路径规划问题,提出了一种将深度自动编码器(deep auto-encoder)与Q学习算法相结合的路径规划方法,即DAE-Q路径规划方法.利用深度自动编码器处理原始图像数据可得到移动机器人所处环境的特征信息;Q学习算法根据环境信息选择机器人要执行的动作,机器人移动到新的位置,改变其所处环境.机器人通过与环境的交互,实现自主学习.深度自动编码器与Q学习算法相结合,使系统可以处理原始图像数据并自主提取图像特征,提高了系统的自主性;同时,采用改进后的Q学习算法提高了系统收敛速度,缩短了学习时间.仿真实验验证了此方法的有效性.

基于深度自动编码器的托攻击集成检测方法

在采用协同过滤技术的推荐系统中,恶意用户通过注入大量虚假概貌使系统的推荐结果产生偏离,达到其攻击目的。为了检测托攻击,根据用户的评分值或基于攻击时间的集中性假设,从不同视角提取攻击概貌的特征。但是,这些基于人工特征的检测方法严重依赖于特征工程的质量,而且人工提取的检测特征多限于特定类型的攻击,提取特征也需要较高的知识成本。针对这些问题,从用户评分项目的时间偏好信息入手,提出一种利用深度稀疏自动编码器自动提取检测特征的托攻击集成检测方法。利用小波变换将项目在不同时间间隔内的流行度设定为多个等级,对用户的评分数据预处理得到用户-项目时间流行度等级矩阵。然后,采用深度稀疏自动编码器对用户-项目时间流行度等级矩阵自动进行特征提取,得到用户评分模式的低层特征表达,消除了传统的人工特征工程。以SVM作为基分类器,在深度稀疏自动编码器的每层提取特征并进行攻击检测,生成最终的集成检测结果。在Netflix数据集上的实验表明,提出的检测方法对均值攻击、AoP攻击、偏移攻击、高级项目攻击、高级用户攻击具有较好的检测效果。

融合文本信息的多模态深度自编码器推荐模型

针对以评分信息做辅助推荐时数据稀疏和深层次语义信息无法学习的问题,提出了一种新的推荐模型。以隐式反馈评分矩阵作为深度自编码器的原始输入,通过编码解码操作,实现评分信息的特征学习;用户电影类型矩阵为模型嵌入层的输入,经过平坦层和全连接层的操作,实现类型文本信息的特征学习;同时,使用BERT+BiLSTM结构对电影标题文本进行上下文信息的特征提取和特征学习。3种特征融合后,通过自编码器的处理得到预测评分。以Movielens 1M和Movielens 100k为数据集,平均绝对误差和均方误差为评价指标,SVD、PMF、PMMMF、SCC、RMbDn、Hern为对比模型。结果表明:本文模型在MAE上分别降低到0.0458和0.0460,在MSE上分别降低到0.0273和0.0390,优于对比算法,新的推荐模型性能提升效果较好。

基于Seq2Seq深度自编码器的时间序列异常检测方法研究

传统的时间序列异常检测方法大多以数据点作为检测单位,通过训练模型预测下一时刻数据,这类方法的缺点是没有考虑时间序列数据的特性,即序列模式的多样性。因此文中提出一种基于Seq2Seq深度自编码器的时间序列异常检测方法,以更好地挖掘时间序列数据中的异常序列模式。此方法使用Bi-LSTM网络作为深度自编码器,其输入输出均为序列,使用深度自编码器对时间序列进行编码压缩和解码重建。通过计算重建序列与原始序列之间的重建误差,并设置重建异常比率以获取误差阈值,将重建误差大于此阈值的时间序列视为异常序列。异常时间序列的发现取决于模型对原始序列的重建效果,通过在空气质量时间序列数据上的实验,模型初步达到了不错的检测效果,证明了所提方法的可行性。文中方法为时间序列异常检测提供了新的途径。