融合改进自编码器和残差网络的入侵检测模型

互联网中存在大量隐私数据,因此防止网络入侵成为保护网络安全的关键问题。为提高网络入侵检测的准确率并解决其收敛慢问题,设计一种改进的堆叠自动编码器和残差网络(ISAE-ResNet)入侵检测模型。融合栈式自编码器和残差网络,首先将预处理后的数据输入到改进的栈式自编码器中,该栈式自编码器由2个副编码器和1个主编码器组成,数据经过副编码器和主编码器训练后重构出新的特征来防止过拟合问题;然后将解码层的权重捆绑到编码层进行优化,使模型参数减半来进行降维,提高模型的收敛速度;最后将处理过的数据输入到改进的残差网络中,并基于改进的ResNet网络设计一种加入软阈值函数的残差模块,通过降低数据中的噪声来提高模型准确率。在CIC-IDS-2017数据集上的实验结果表明,该模型准确率为98.67%,真正例率为95.93%,误报率为0.37%,损失函数值快速收敛至0.042,在准确率、真正例率、误报率和收敛速度方面均超过对比入侵检测模型,具有较高的有效性和可行性。

基于栈式自编码器网络的岩质边坡失稳风险评估

边坡失稳风险评估是防范滑坡灾害发生的有效方式之一。为提升岩质边坡失稳风险评估的客观性、有效性和可靠性,基于深度学习栈式自编码网络,提出一种考虑岩体质量的岩质边坡失稳风险评估方法。该方法使用栈式自编码器网络自动计算出边坡岩体质量等级,再将岩体质量等级、坡高、坡角等8个指标作为输入参数,基于样本数据集构建岩质边坡失稳风险等级评估的栈式自编码器网络,并在基于误差反向传播算法的多代训练中形成最优、高精的风险评估网络。案例应用表明:提出的考虑岩体质量的岩质边坡失稳风险评估方法可准确地评估岩质边坡失稳风险等级,预测准确率达85%以上;该方法考虑了岩体质量等级、地形地貌、降雨等客观因素对岩质边坡稳定性的影响,实现了客观、科学、快捷的岩质边坡失稳风险评估。

基于栈式降噪编码器的跨语言多标签情感分类

多标签情感分类任务旨在处理一个实例可能与多个情感标签关联的问题。现有的大多数多标签情感分类模型都是基于完整的数据设计,模型性能和语义易受到数据本身存在的不完全性影响。针对此问题本文提出一种基于栈式降噪自编码器的跨语言多标签情感分类模型,引入标签感知损失函数弥补训练带来的损失。该模型通过栈式降噪自编码器对词向量去噪以构建原始数据的低维特征,降低特征空间的噪声干扰,为下游任务提供有效特征表示。在SemEval2018的3种语言数据集(即英语、阿拉伯语和西班牙语)多标签情感分类实验中,该模型在测试集上的micro_F1、macro_F1、jaccard这3个指标均得到提升,其中macro_F1分别提升了约0.82、1.45和1.83个百分点。

拉曼光谱结合改进稀疏编码器特征优选的成品油混合浓度预测方法

成品油混合浓度的预测对成品油顺序输送过程中的安全监控、混油段分割具有重要的意义。本研究配制92#汽油-3#航煤以及3#航煤-0#车柴两组包含不同浓度的混合样品,并对其进行拉曼光谱采集;依次采用归一化、多元散射校正、BaselineWavelet基线校正3种光谱预处理方法进行优化;之后采用改进的栈式稀疏自编码器(Stacked Sparse Autoencoder,SSAE)模型对预处理之后的拉曼光谱进行稀疏特征提取,并结合全连接层进行回归预测;最后根据均方根误差(Root Mean Square Error,RMSE)和决定系数(R^(2))两项评价指标,与偏最小二乘回归(Partial Least Square Regression,PLSR)、最小二乘支持向量回归(Least Square Support Vector Machine,LSSVR)以及SSAE 3种模型进行对比。结果表明:改进的SSAE-FC模型表现出更优的预测精度和稳定性,92#汽油-3#航煤混油测试集的R^(2)和RMSEC指标分别为0.9952和0.8932,3#航煤-0#车柴混油测试集的R^(2)和RMSEC指标分别为0.9837和1.1967,且学习得到的稀疏特征的可解释性强。

栈式降噪自编码器的标签协同过滤推荐算法

协同过滤推荐和基于内容的推荐是目前应用于推荐系统中的两种主流手段.传统的协同过滤模型存在着矩阵稀疏问题,基于内容的推荐又不能自动抽取深层特征,且两种推荐手段很难直接融合在一起,无法共同提升推荐系统的性能表现.充分利用了深度学习模型能够深度挖掘内容隐藏信息的特性,将栈式降噪自编码器(SDAE)运用于基于内容的推荐模型中,并将其与基于标签的协同过滤算法结合在一起,提出DLCF(Deep Learning for Collaborative Filtering)算法.经过真实数据集的验证,DLCF算法能够很大程度上克服矩阵稀疏问题,在性能上优于传统推荐算法.

基于栈式稀疏自编码器的低信噪比下低截获概率雷达信号调制类型识别

针对低截获概率(LPI)雷达信号识别率低且特征提取困难的问题,该文提出一种基于Choi-Williams分布(CWD)和栈式稀疏自编码器(sSAE)的自动分类识别系统。该系统从反映信号本质特征的时频图像入手,首先对LPI雷达信号进行CWD时频分析,获取2维时频图像;然后对得到的时频原始图像进行预处理,并把预处理后的图像送入多层稀疏自编码器(SAE)进行离线训练;最后把SAE自动提取的特征输入softmax分类器,实现雷达信号的在线分类识别。仿真结果表明,信噪比为-6 dB时,该系统对8种LPI雷达信号(LFM,BPSK,Costas,Frank和T1~T4)的整体平均识别率达到96.4%,在低信噪比条件下明显优于人工设计提取信号特征的识别方法。

基于栈式去噪自编码器的遥感图像分类

针对传统遥感图像分类方法难以取得更高精度的问题,提出一种根据深度学习思想的基于栈式去噪自编码器的遥感图象分类方法。首先,将多个去噪自编码器栈式叠加构成深度网络模型,用无监督的layer-wise方法由下至上训练每一层网络并在训练数据中加入噪声以得到更为稳健的特征表达;然后,通过反向传播(BP)神经网络对特征进行有监督学习并利用误差反向传播对整个网络参数进行进一步优化得到最终的模型;最后,利用国产高分一号遥感数据进行实验验证。基于栈式去噪自编码器的遥感图像分类方法的总体分类精度和kappa精度分别达到95.7%和95.5%,均高于传统的支持向量机(SVM)和BP神经网络的分类精度。实验结果表明,所提出的方法能有效提高遥感图像的分类精度。

基于栈式降噪稀疏自动编码器的雷达目标识别方法

雷达目标识别中特征提取是关键步骤,所提取特征的好坏决定着识别效果的优劣,但传统特征提取方法很难发掘目标数据深层次本质特征。深度学习理论中的自动编码器模型能够用数据去学习特征,获得数据不同层次的特征表达。同时为消除噪声影响,该文提出一种基于栈式降噪稀疏自动编码器的雷达目标识别方法,通过设置不同隐藏层数和迭代次数,从雷达数据中直接高效地提取识别所需的各层次特征。暗室仿真数据实验结果验证了该方法较K近邻分类方法及传统栈式自编码器有更好的识别效果。

基于栈式降噪自编码器的协同过滤算法

针对协同过滤推荐准确性的现状进行了研究,提出一种基于栈式降噪自编码器的协同过滤算法。栈式降噪自编码器是一种典型的深度学习网络模型,具有强大的特征提取能力。用户对项目的评分作为输入,训练网络,学习出项目的隐含特征编码,用PCA对项目属性降维并计算属性相似性,结合隐性编码计算的相似性作为最终结果,根据最终的项目相似性产生top-N推荐列表。Movie Lens数据集的实验表明,该算法能够有效提升推荐结果的召回率,一定程度上解决了评分矩阵稀疏与项目之间没有共同用户评分就不能计算相似性的问题。

标签约束的半监督栈式自编码器分类算法

栈式自编码器通过逐层无监督学习能够表达数据的语义特征,但面对具体领域问题时其特征训练缺乏针对性,所处理的数据用于分类领域时易导致分类准确度低,稳定性差等问题.针对这些问题,提出了一种标签约束的半监督栈式自编码器(LSSAE),结合无监督学习与监督学习的优势,在有效抽取样本内在特征的同时保证特征训练目标化.引入的标签约束项,以监督学习的方式逐层比对实际标签与期望标签,针对性地调整网络参数,进一步提高分类准确率.为验证所提方法的有效性,实验中对多个数据集进行广泛测试,其结果表明,相对自编码器(AE),稀疏自编码器(SAE),以及深度信念网络(DBN)等,LSSAE明显提高分类准确率和稳定性.

堆栈式混合自编码器的人脸表情识别方法

针对进一步提高人脸表情识别率的问题,采用了一种基于深度学习的堆栈式混合自编码器(Stacked HybridAuto-Encoder,SHAE)的人脸表情识别方法。该方法的结构是由去噪自编码器(Denoising Auto-Encoder,DAE)、稀疏自编码器(Sparse Auto-Encoder,SAE)以及自编码器(Auto-Encoder,AE)组合而成的5 层网络结构。为了增加网络的鲁棒性以及泛化能力,采用去噪自编码器对样本进行提取特征,为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征,采用稀疏自编码器进行级联,来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调,对整个结构的权重进行初始化和更新调整,然后使用有标签的数据进行测试训练。在JAFFE和CK+两个数据集上实验显示,相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码,该方法具有更好的识别效果。

融合知识图谱表示学习的栈式自编码器推荐算法

针对目前协同过滤推荐算法中数据稀疏和语义信息欠缺问题,提出一种融合知识图谱表示学习的栈式自编码器推荐算法(SAEKG-CF)。将评分矩阵作为栈式自编码器的输入,训练得到项目的隐性特征向量,并据此计算特征相似性矩阵;利用知识图谱表示学习算法将项目中的实体映射到低维向量空间,并计算出低维向量空间中实体间的语义相似性矩阵;将特征相似性矩阵与语义相似性矩阵相融合,得到融合相似性矩阵,进而依据最优融合相似性矩阵产生top-k推荐列表。实验结果表明,该算法能有效地同时解决数据稀疏与语义信息欠缺问题,提高推荐的准确率。

基于改进栈式降噪自编码器的控制系统故障诊断

为了提高控制系统故障检测和分类能力,提出核主成分分析(KPCA)与栈式降噪自编码(SDAE)神经网络相结合的控制系统故障诊断方法。利用KPCA对故障数据进行非线性数据处理,再把数据输入到SDAE神经网络中进行无监督训练,获取最优网络参数,以Softmax分类层作为输出层实现故障分类。该模型有效解决了控制系统中慢漂移故障特征不明显导致模型故障诊断准确率低的问题,提高了故障诊断精度。通过TE系统实验,验证了该算法的有效性和卓越性。

基于栈式降噪自编码器故障诊断方法研究

为了提高复杂工业系统故障诊断的正确性,提出将核主成分分析(KPCA)和栈式降噪自编码(SDAE)相结合的模型。为了进一步提高KPCA-SDAE模型的准确率及收敛速度,对模型超参数激活函数、优化算法进行了研究。通过比较不同超参数函数对模型的故障诊断效果和程序运行时间的影响,选取出合适的KPCA-SDAE算法设置参数,并通过TE过程实验验证了合适的激活函数和优化算法能够有效地提高神经网络模型的准确性和收敛速度。

基于栈式自编码器特征融合的SAR图像车辆目标识别

该文提出了一种基于栈式自编码器(Stacked Auto Encoder,SAE)特征融合的合成孔径雷达(Synthetic Aperture Rader,SAR)图像车辆目标识别算法。首先,该算法提取了SAR图像的25种基线特征(baseline features)和局部纹理特征(Three-Patch Local Binary Patterns,TPLBP)。然后将特征串联输入SAE网络中进行融合,采用逐层贪婪训练法对网络进行预训练。最后利用softmax分类器微调网络,提高网络融合性能。另外,该文提取了SAR图像的Gabor纹理特征,进行了不同特征之间的融合实验。结果表明基线特征与TPLBP特征冗余性小,互补性好,融合后的特征区分性大。与直接利用SAE,CNN(Convolutional Neural Network)进行目标识别的算法相比,基于SAE的特征融合算法简化了网络结构,提高了识别精度与识别效率。基于MSTAR数据集的10类目标分类精度达95.88%,验证了算法的有效性。

基于栈式降噪自编码器的输变电设备状态数据清洗方法

针对当前输变电设备状态监测数据清洗过程繁琐,易造成信息丢失等问题,利用栈式降噪自编码器对"脏"数据的还原解析能力及异常状态特征提取能力,提出了一种基于栈式降噪自编码器的数据清洗方法。对设备正常工况及异常运行状态数据分别利用栈式降噪自编码器进行训练学习,获取损失函数向量,形成奇异点、缺失数据修复模型和设备异常运行状态数据降噪模型。通过核密度估计确定训练样本损失函数上限和容限时窗,根据测试数据重构误差和异常数据时长与损失函数上限和容限时窗间的关系,对"脏"数据进行分类处理。对某变压器油色谱中总烃含量及某导线温度数据进行清洗,结果表明所提方法能有效辨识奇异点、缺失信息及异常运行状态数据,并对奇异点、缺失值进行修复重构。在设备异常运行时刻,可以有效过滤干扰数据。

面向可穿戴多模生物信息传感网络的栈式自编码器优化情绪识别

情绪识别是指采用无生命的传感器和计算机感知测量识别人类情绪状态,其主要环节包括情绪相关信号获取、特征提取以及分类识别.情绪识别可为人类情绪健康监测乃至情绪相关心理精神疾病的初筛提供科学依据.该文构建了多模可穿戴生物信息传感网络测量被测个体的多模情绪相关信号(脑电、脉搏以及血压),经由身体主站将信号传输至远程网络数据中心,并将情绪识别的结果进行网络发布,简化了测量结构,使得被测个体日常情绪监测和远程监控成为可能.由于信号测量和特征提取过程中存在不确定性,该文提出了栈式自编码器(基于深度学习理论)优化的情绪识别算法.71天时间跨度的实验结果表明,栈式自编码器预学习后的特征向量具有更高的一致性与可分性,情绪识别率较相关研究提高了约5%.

基于栈式自编码器的变压器机械故障诊断

为进一步提高变压器机械故障智能诊断的准确性,文中基于变压器振动信号时间序列符号化的模式表征,提出了一种基于栈式自编码器的变压器机械故障诊断模型。首先对振动信号时间序列进行符号化模式表征和构建复杂网络,提取了基于度分布的变压器振动信号特征向量,据此构建了基于栈式自编码器(stacked auto encoder,SAE)的变压器机械故障诊断模型。对某10 k V干式变压器正常与典型机械故障下振动信号的分析结果表明,变压器振动信号时间序列的符号化模式表征及度分布能较好地表征其动力学特征,所构建的基于SAE变压器机械故障模型具有较高的识别准确率,可达95%,研究结果可为变压器的机械故障诊断提供新思路。

基于栈式去噪自编码器的语音测谎算法

为了进一步提高谎言语音检测的准确率,提出了一种基于栈式去噪自编码器的语音测谎算法(SDA-SVM)。该算法首先采用OpenSMILE提取了384维语音特征;然后构建了两层去噪自编码网络对语音特征进行变换加工;最后,采用SVM分类器对语音是否为谎言进行分类识别。所用语音来源为CSC测谎语料库,实验结果显示:相比传统的SVM分类,所提算法的检测准确率至少提升1.85%。

基于栈式自动编码器的火箭总装完工时间预测

针对运载火箭总装过程中由于各种不确定因素和动态事件可能引发的火箭不能按时交付的问题,提出一种基于栈式自动编码器的火箭总装完工时间预测方法。通过逐层训练浅层自动编码器代替传统方法中的特征提取过程,利用无监督学习过程学习完工时间相关因素的非线性压缩特征;通过堆叠浅层自动编码器构成精调网络,利用监督学习过程及参数优化过程精确预测火箭完工时间。通过仿真数据以及上海某航天设备制造厂火箭总装实际数据中的测试数据集,验证了该方法比传统预测方法具有更优秀的泛化性能,能够提升预测精度。