基于深度去噪自编码器的智能内部审计预警研究

基于生成式人工智能技术的ChatGPT,依托其强大的数据分析与处理能力以及大型语言模型,为企业智能内部审计预警提供新思路、新路径。文章在探讨生成式人工智能与企业内部审计契合性的基础上,结合ChatGPT的关键技术架构,构建了一种以添加注意力机制和双向长短期记忆(Attention-Bi-LSTM)作为神经网络的深度去噪自编码器(DDAE)智能内部审计预警模型,并从基础设施层、数据层、服务层、平台层和应用层五个层次分析了该模型在应用实施中的关注点。期望本文可以为以ChatGPT为代表的生成式人工智能应用于企业内部审计预警提供新的方法,也为注册会计师从事社会审计提供借鉴。

基于堆叠稀疏去噪自编码器的混合入侵检测方法

针对高维数据场景下传统入侵检测方法特征提取困难、检测准确率低等问题,提出一种集成多种深度学习模型的混合入侵检测方法.该方法由特征降维算法和混合检测模型2部分组成.首先,利用堆叠稀疏去噪自编码器对原始数据进行特征降维,从而剔除可能存在的噪声干扰和冗余信息.然后,采用一维卷积神经网络和双向门控循环单元学习数据中的空间维度特征和时序维度特征,将融合后的空时特征通过注意力分配不同的权重系数,从而使有用的信息得到更好表达,再经由全连接层训练后进行分类.为检验方案的可行性,在UNSW-NB15数据集上进行验证.结果表明,该模型与其他同类型入侵检测算法相比,拥有更优秀的检测性能,其准确率达到99.57%,误报率仅为0.68%.

基于堆叠去噪自编码器的滚动轴承寿命预测

传统的滚动轴承剩余寿命预测建模方法需要具有丰富经验的专家挑选合适的单一或混合指标亦或模型来提取有效的特化特征曲线,随后采用合适的预测模型进行寿命预测。为解决滚动轴承寿命预测建模专家经验依赖性复杂问题,该文提出了一种基于堆叠去噪自编码器(SDAE)深度学习的滚动轴承寿命预测方法。该方法首先将原始数据经过傅立叶变换,然后计算多个时频与指标,其次直接作为堆叠去噪自编码器的输入,最后进行寿命预测。实验结果表明,该文提出的模型预测精准度整体上优于SAE、ELM与LSTM模型。

基于去噪自编码器生成对抗网络的网络流量异常检测

随着通信技术的迅速发展,网络流量识别技术逐渐成为关注焦点,其中异常流量检测尤为重要。然而,异常流量检测面临诸多挑战,例如,异常流量由于模式复杂导致低召回率。研究提出了一种基于去噪自编码器生成对抗网络的异常流量检测模型,通过有效数据增强技术训练鉴别器来提高其准确性。实验结果表明,该模型在NSL-KDD数据集上表现优异,能够以较高准确率检测异常流量,优于目前主流模型。

基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型

为了进一步提高低频居民负荷分解模型的分解精度与泛化能力,提出一种基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型,该模型能够深度解析单一电器的功率曲线。基于全卷积去噪自编码器分别构建主回归子任务网络和辅助分类子任务网络;在子任务网络中,通过引入卷积块注意力模块自适应分配特征注意力权重,以减小不重要因素在模型训练过程中的影响;将辅助分类子任务网络的输出作为主回归子任务网络输出的门控单元,实现最终的负荷分解。基于公开数据集的算例结果表明,所提负荷分解模型比现有负荷分解模型具有更优的分解精度和泛化能力。

基于栈式去噪自编码器的遥感图像分类

针对传统遥感图像分类方法难以取得更高精度的问题,提出一种根据深度学习思想的基于栈式去噪自编码器的遥感图象分类方法。首先,将多个去噪自编码器栈式叠加构成深度网络模型,用无监督的layer-wise方法由下至上训练每一层网络并在训练数据中加入噪声以得到更为稳健的特征表达;然后,通过反向传播(BP)神经网络对特征进行有监督学习并利用误差反向传播对整个网络参数进行进一步优化得到最终的模型;最后,利用国产高分一号遥感数据进行实验验证。基于栈式去噪自编码器的遥感图像分类方法的总体分类精度和kappa精度分别达到95.7%和95.5%,均高于传统的支持向量机(SVM)和BP神经网络的分类精度。实验结果表明,所提出的方法能有效提高遥感图像的分类精度。

堆叠去噪自编码器在垃圾邮件过滤中的应用

针对垃圾邮件数量日益攀升的问题,提出了将堆叠去噪自编码器应用到垃圾邮件分类中。首先,在无标签数据集上,使用无监督学习方法最小化重构误差,对堆叠去噪自编码器进行贪心逐层预训练,从而获得原始数据更加抽象和健壮的特征表示;然后,在堆叠去噪自编码器的最上层添加一个分类器后,在有标签数据集上,利用有监督学习方法最小化分类误差,对预训练获得的网络参数进行微调,获得最优化的模型;最后,利用训练完成的堆叠去噪编码器在6个不同的公开数据集上进行测试。将准确率、召回率、更具有平衡性的马修斯相关系数作为实验性能评价标准,实验结果表明,相比支持向量机算法、贝叶斯方法和深度置信网络的分类效果,基于堆叠去噪自编码器的垃圾邮件分类器的准确率都高于95%,马修斯相关系数都大于0.88,在应用中具有更高的准确率和更好的健壮性。

基于改进去噪自编码器的电力线信道传输特性识别实现

文章提出了一种改进的去噪自编码器,提高了带噪电力线信道传输特性样本的识别成功率。所提方案以一维时间序列代替二维图片作为输入,改进了传统自编码器的处理数据网络结构,引入z-score标准化及对应的反标准化对输入输出信号进行处理,在提高去噪能力的同时加快了收敛速度。选取包含2个隐含层的4层神经网络从软件模型及硬件实现2个方面验证了所提方法的有效性。

基于堆叠稀疏去噪自动编码网络与多隐层反向传播神经网络的铣刀磨损预测模型

刀具磨损状态是机械加工过程中需考虑的重要因素之一。针对铣刀磨损的在线预测问题,建立了一种基于深度学习的铣刀磨损预测模型。首先,将采集到的铣刀切削时的振动信号进行小波去噪后,利用快速傅里叶变换和小波包分解等技术提取时域、频域及时频域上的特征参数,并根据相关性分析从中筛选出合格的特征参数合并为特征向量,以此作为堆叠稀疏去噪自动编码网络(SSDAE)的含噪样本。其次,利用特征后处理的方式对已经筛选出的特征参数进行单调不递减及平滑处理,并将其作为SSDAE的无噪样本来训练该网络。然后,将经过SSDAE降维后的特征向量作为多隐层反向传播神经网络(BPNN)的输入,以这些特征对应的实际铣刀的磨损量作为标签对该网络进行拟合训练。最后,对训练好的模型进行实验验证,通过测试数据集和人为加入噪声的测试数据集的对比,结果显示所提模型不仅具有较高的预测精度,还具有较高的鲁棒性。

基于深度小波去噪自动编码器的轴承智能故障诊断方法

针对原始振动数据无监督特征学习问题,提出一种深度小波去噪自动编码器与鲁棒极限学习机相结合的滚动轴承的智能故障诊断方法。利用小波函数作为非线性激活函数设计小波去噪自动编码器,从而有效地捕获信号特征;利用多个小波去噪自动编码器构造一个深度小波去噪自动编码器来增强无监督特征学习能力;采用鲁棒极限学习机作为分类器,对不同的轴承故障进行分类识别。对实验所得的轴承振动信号进行对比分析,结果验证了该方法在原始振动数据无监督特征学习的条件下优于传统方法和标准深度学习方法。

基于卷积去噪自编码器的芯片表面弱缺陷检测方法

芯片表面缺陷会影响芯片的外观和性能,因此表面缺陷检测是芯片生产过程中的重要环节。具有缺陷与背景对比度低、缺陷较小等特点的弱缺陷给传统检测方法带来了挑战。因为近年来深度学习在机器视觉领域展现出了强大的能力,所以文中采用基于深度学习的方法来研究芯片表面弱缺陷的检测问题。该方法将芯片表面缺陷看作噪音,首先应用卷积去噪自编码器(Convolutional Denoising Auto-encoders,CDAE)重构无缺陷图像,然后用重构的无缺陷图像减去输入图像,获得包含缺陷信息的残差图。因为残差图中已经消除了背景的影响,所以最后可以基于残差图较容易地进行缺陷检测。由于基于CDAE重构芯片背景的无缺陷图像时存在随机噪音,导致弱缺陷可能会湮没在重构噪音中,为此,文中提出了重叠分块策略抑制重构噪音,以便更好地检测弱缺陷。因为CDAE是无监督学习网络,所以训练时无需进行大量的人工数据标注,这进一步增强了该方法的可应用性。通过对真实芯片表面数据进行测试,验证了所提方法在芯片表面检测上的有效性。

基于去噪自编码器和长短时记忆网络的语音测谎算法

为进一步提升语音测谎性能,提出了一种基于去噪自编码器(DAE)和长短时记忆(LSTM)网络的语音测谎算法。首先,该算法构建了优化后的DAE和LSTM的并行结构PDL;然后,提取出语音中的人工特征并输入DAE以获取更具鲁棒性的特征,同时,将语音加窗分帧后提取出的Mel谱逐帧输入到LSTM进行帧级深度特征的学习;最后,将这两种特征通过全连接层及批归一化处理后实现融合,使用softmax分类器进行谎言识别。CSC(Columbia-SRIColorado)库和自建语料库上的实验结果显示,融合特征分类的识别准确率分别为65.18%和68.04%,相比其他对比算法的识别准确率最高分别提升了5.56%和7.22%,表明所提算法可以有效提高谎言识别精度。

叠加去噪自动编码器结合深度神经网络的心电图信号分类方法

针对现有心电图信号分类方法精度较低,模型训练收敛速度较慢的缺点,提出一种基于叠加去噪自动编码器和深度神经网络方法的新型分类方法。该方法采用无监督学习方式,利用带有稀疏约束的叠加去噪自动编码器,实现心电图原始数据的特征学习。基于深度神经网络对信号进行分类,同时利用监督式自主学习微调方法对神经网络权重进行适时调整,从而保证信号分类的精度和质量。利用三个机构的经典数据库对该方法进行实验研究,并与目前两种最新的方法进行对比。实验结果证明,该方法在专家标记样本较少的情况下,仍能明显提高心电图数据分类的准确率,同时加快训练时的收敛速度。

基于堆叠去噪自编码器的桥梁损伤定位方法研究

现有的损伤识别方法面对大量的桥梁健康监测数据存在处理能力有限、提取的信息不能全面反应桥梁的健康状态的问题。利用深度学习在大数据方面的优势,提出一种基于堆叠去噪自编码器的桥梁损伤定位方法。以一简支梁桥有限元模型算例对该方法进行验证,提取该桥L/5,2L/5,3L/5,4L/5处的竖向加速度时程响应值,并针对每一个时刻建立上述节点的加速度矩阵(4×1),然后将经过预处理的矩阵送入堆叠去噪自编码器进行特征提取完成模型训练,最后将测试样本送入该模型进行分类,完成损伤定位任务。结果表明本文提出的方法相比于传统的机器学习方法具备定位准确率高和抗噪性能好的优势,在今后的桥梁结构损伤识别领域具有一定的参考价值。

融合深度去噪自编码器和注意力机制的推荐算法

传统推荐算法无论在特征提取还是相似度计算方面仍存在数据稀疏和大量噪声数据问题,导致推荐效率不高、用户满意度低等问题,由此提出一种融合深度去噪自编码器和注意力机制的推荐算法。将深度去噪自编码器融入到基于项目相似度的协同过滤推荐算法中,同时加入了注意力机制,以惩罚活跃用户对实验结果的影响,既可以挖掘到用户与项目的线性特征又可以学习到用户与项目非线性特征。实验选取了MovieLens和Pinterest两个公开数据集,与传统推荐算法和近些年较先进算法相比,该算法能够显著提升传统推荐算法的性能,并可以缓解传统推荐算法存在的数据稀疏和冷启动问题。

基于堆叠去噪自编码器算法的穿墙人体检测(英文)

超宽带雷达在穿墙人体检测中的应用已经越来越成熟,将堆叠去噪自编码器算法应用于穿墙人体状态的识别和分类中,首先使用无监督学习方法对自编码器网络进行训练,从而获得原始数据更加抽象的特征表示;然后在堆叠去噪自编码器网络的最后一层添加一个分类器.使用有监督的学习方法对网络进行微调,获得最优化的模型;最后,将测试集输入到已经训练好的网络模型上进行测试.实验结果表明,堆叠去噪自编码器深度网络可以对穿墙人体目标状态进行有效地分类识别.

利用深度去噪自编码器深度学习的指令意图理解方法

提出了一种利用深度去噪自编码器(SDAE)的自然语言指令意图理解方法.根据家庭服务机器人的使用环境和应用场景构建了一个自然语言文本指令语料库,并对语料库中各类指令进行意图标注,从而把文本指令理解问题转化为文本分类问题;在传统的文本向量空间模型的基础上,融合了文本指令的词性信息,定义了一种文本表示模型——词性向量空间模型;将SDAE应用于文本指令意图理解,提取指令的高阶特征;用高斯核支持向量机进行训练和预测,进而实现了自然语言指令的意图理解.在所建语料库上进行多折交叉验证,结果表明指令意图理解平均准确率达到96%以上.

基于栈式去噪自编码器的语音测谎算法

为了进一步提高谎言语音检测的准确率,提出了一种基于栈式去噪自编码器的语音测谎算法(SDA-SVM)。该算法首先采用OpenSMILE提取了384维语音特征;然后构建了两层去噪自编码网络对语音特征进行变换加工;最后,采用SVM分类器对语音是否为谎言进行分类识别。所用语音来源为CSC测谎语料库,实验结果显示:相比传统的SVM分类,所提算法的检测准确率至少提升1.85%。

基于去噪自编码器的极限学习机

针对极限学习机算法(ELM)参数随机赋值降低算法鲁棒性及性能受噪声影响显著的问题,将去噪自编码器(DAE)与ELM算法相结合,提出了基于去噪自编码器的极限学习机算法(DAE-ELM)。首先,通过去噪自编码器产生ELM的输入数据、输入权值与隐含层参数;然后,以ELM求得隐含层输出权值,完成对分类器的训练。该算法一方面继承了DAE的优点,自动提取的特征更具代表性与鲁棒性,对于噪声有较强的抑制作用;另一方面克服了ELM参数赋值的随机性,增强了算法鲁棒性。实验结果表明,在不含噪声影响下DAE-ELM相较于ELM、PCA-ELM、SAA-2算法,其分类错误率在MNIST数据集中至少下降了5.6%,在Fashion MNIST数据集中至少下降了3.0%,在Rectangles数据集中至少下降了2.0%,在Convex数据集中至少下降了12.7%。

基于栈式去噪自动编码器的边际Fisher分析算法

特征学习是模式识别领域的关键问题。基于自动编码器的深度神经网络通过无监督预训练与有监督微调能够有效地提取数据中关键信息,形成特征。提出一种基于栈式去噪自编码器的边际Fisher分析算法,该算法将边际Fisher分析运用于有监督微调阶段,进一步提升算法的特征学习能力。实验结果表明,该算法与标准的栈式去噪自编码器和基于受限玻尔兹曼机的深度信念网相比,具有更好的识别效果。