基于稀疏自编码器的细胞类型反卷积模型SMCTD设计与实现

单细胞RNA测序已成为研究生物学重要特征的强大高分辨率工具。然而,其测序条件苛刻,价格成本高昂。目前细胞类型反卷积能够很好地解决这些限制问题,SMCTD(Sparse Model Cell Type Deconvolution)使用稀疏自编码器优化TAPE(Tissue-AdaPtive autoEncoder),使其在直肠癌和PBMC模拟数据上预测细胞类型比列具有更高的灵敏度、准确性和整体性能,同时在预测细胞类型特异性基因表达上表现更优。

高光谱图像稀疏约束与自编码器特征提取相结合的异常检测方法

高光谱图像的异常检测在军事、农业、勘探、防火等领域具有重要的应用价值。传统的高光谱图像异常检测算法未能有效地挖掘图像光谱的深层特征,而深度学习方法具有良好的提取深层特征信息的能力。由于异常检测问题一般无法获取地物先验信息,因此无监督网络相比于监督网络要更为适用。而现有的基于自编码器的异常检测算法没有对局部信息进行有效利用,导致检测效果受限。针对这一问题,本文提出一种基于稀疏表示约束的自编码器深度特征提取方法。首先通过栈式自编码器得到深层次语义信息;然后利用稀疏表示作为约束与编码器进行有效结合,挖掘了潜在隐藏空间中的特征元素的局部表示特性;最后采用分数傅里叶变换,通过空间-频率表示获得原始光谱与其傅里叶变换的中间域中的特征,进一步增强了背景和异常的光谱区分度,且能有效去除噪声的影响。在Hymap、AVIRIS、ROSIS、HYDICE这4种光谱仪采集的5幅高光谱遥感影像上进行了性能验证,得到的曲线下覆盖面积(area under curve,AUC)分别为0.9905、0.9983、0.9990、0.9928和0.9110,相比于对比算法都有了不同程度的效果提升。结果表明本文方法具有更好的检测精度。

基于改进深度稀疏自编码器及FOA-ELM的电力负荷预测

智能电网的发展使得电网获取的数据逐渐增多,为了从多维大数据中获取有用信息并对短期内电力负荷进行准确的预测,提出了一种基于改进的深度稀疏自编码器(IDSAE)降维及果蝇优化算法(FOA)优化极限学习机(ELM)的短期电力负荷预测方法。将L1正则化加入到深度稀疏自编码器(DSAE)中能够诱导出更好的稀疏性,用IDSAE对影响电力负荷预测精度的高维数据进行特征降维,消除了指标间的多重共线性,实现高维数据向低维空间的压缩编码。采用FOA优化算法优化ELM的权值和阈值,得到最优值,能够克服因极限学习机随机选择权值和阈值导致预测精度低的缺点。首先将气象因素通过IDSAE降维,得到稀疏后的综合气象因素特征指标,协同电力负荷数据作为FOA优化的ELM预测模型的输入向量进行电力负荷预测。通过与DSAE-FOAELM、DSAE-ELM和IDSAE-ELM等模型的对比实验,证明了提出的预测模型能有效提高预测精度,经计算得出预测精度提升大约8%。

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络(DBN)采用随机初始化受限玻尔兹曼机(RBM)的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器(SDAE)的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。

基于稀疏自动编码器的深度神经网络实现

在神经网络的监督学习中,需要大量人工标识特征的训练样本集。学习系统的成功依赖于样本标识特征的准确性,但人工标识特征费时费力,人为因素决定的特征通用性较差。稀疏自编码器是一种无监督学习方法,可以通过对无标记样本的学习,自动提取样本特征。对稀疏自编码器进行仿真,证明它可以很好地提取输入的无标记样本的特征,这将极大地提高机器学习系统的应用范围和准确性。

基于深度稀疏自动编码器的社区发现算法

社区结构是复杂网络的重要特征之一,社区发现对研究网络结构有重要的应用价值.k-均值等经典聚类算法是解决社区发现问题的一类基本方法.然而,在处理网络的高维矩阵时,使用这些经典聚类方法得到的社区往往不够准确.提出一种基于深度稀疏自动编码器的社区发现算法CoDDA(a community detection algorithm based on deep sparse autoencoder),尝试提高使用这些经典方法处理高维邻接矩阵进行社区发现的准确性.首先,提出基于跳数的处理方法,对稀疏的邻接矩阵进行优化处理,得到的相似度矩阵不仅能够反映网络拓扑结构中相连节点间的相似关系,同时还反映了不相连节点间的相似关系.然后,基于无监督深度学习方法构建深度稀疏自动编码器,对相似度矩阵进行特征提取,得到低维的特征矩阵.与邻接矩阵相比,特征矩阵对网络拓扑结构有更强的特征表达能力.最后,使用k-均值算法对低维特征矩阵聚类得到社区结构.实验结果显示:与6种典型的社区发现算法相比,CoDDA算法能够发现更准确的社区结构.同时,参数实验结果显示,CoDDA算法发现的社区结构比直接使用高维邻接矩阵的基本k-均值算法发现的社区结构更为准确.

基于平滑l1范数的深度稀疏自动编码器社区识别算法

大数据时代,利用传统的社区发现算法对大规模复杂网络进行社区结构挖掘显得愈发困难,准确率也较低。因此,提出一种基于平滑l1范数的深度稀疏自编码器社区发现算法(l1-ECDA)。该算法首先采用基于s跳的方法对网络图的邻接矩阵进行预处理;然后构建基于平滑l 1范数的深度稀疏自编码器,并通过训练网络图相似度矩阵得到低维特征矩阵;最后采用K-means算法对低维特征矩阵进行聚类得到网络社区结构。通过在仿真网络与真实网络数据集上的实验表明,l1-ECDA有效提高了社区识别的准确率,且准确率比DBCS算法平均高4%,比DeepWalk和CoDDA算法平均高5.4%。

基于稀疏自动编码器深度神经网络的电能质量扰动分类方法

针对智能电网日益突出的电能质量扰动问题,提出了一种基于稀疏自动编码器(SAE)深度神经网络的电能质量扰动分类方法。利用SAE对电能质量扰动原始数据进行无监督特征学习,自动提取数据特征的稀疏特征表达;通过堆栈式稀疏自动编码器(SSAE)进行逐层学习,获得电能质量扰动数据的深层次特征;将其连接到softmax分类器进行微调训练,并输出电能质量扰动事件分类结果。利用已添加高斯白噪声的数据对SSAE进行训练,以提高其特征表达的抗噪声能力。仿真结果表明,所提方法能够准确地识别包含2种复合扰动在内的9种电能质量扰动信号,并且具有很好的鲁棒性。

基于堆叠稀疏自编码器和Softmax分类器的路面裂缝识别方法研究

为了提高路面裂缝识别的正确率和实时性,文章提出了一种基于堆叠稀疏自编码器和Softmax分类器的路面裂缝识别方法。利用图像处理算法从每张路面图像中提取低维特征,输入到稀疏自编码器进行特征优化并提取高维特征后,使用Softmax分类器来进行识别。利用本文方法进行交叉试验,准确率、精度、灵敏度、特异性和F1-score分别达到99.5%、99%、100%、100%和99.5%。因此,本文提出的方法能够有效地自动检测路面裂缝。

深度稀疏自编码器在ECG特征提取中的应用

针对心电(ECG)信号智能分析模型中,复杂波形的特征提取困难,人工设计特征造成源信号特征丢失,标签样本不足等问题,提出了一种基于深度稀疏自编码器(Deep Sparse Auto-Encoders,DSAEs)的ECG特征提取方法。该方法在DSAEs进行贪婪逐层训练时,采用适应性矩阵估计(Adaptive moment estimation,Adam)对网络权重进行寻优,以此获得最优参数组合,同时提取出高层隐含层的输出,并作为ECG高度抽象的低维特征。最后利用支持向量机(Support Vector Machines,SVM)构建分类模型,完成对ECG的特征分类。使用MIT-BIH心律失常数据库的ECG数据进行仿真实验,结果表明,提出的ECG特征提取方法能有效地分层抽取特征,提高分类识别准确率。

结合堆叠稀疏自编码器与改进深度森林的窃电检测方法

针对现有窃电检测方法提取的用电特征有效性低,分类算法未注重样本类分布不平衡而导致窃电用户检出率不高的问题,提出一种堆叠稀疏自编码器与改进深度森林结合的窃电检测模型。堆叠稀疏自编码器用于从原始用电数据中提取高度抽象潜在的特征,深度森林算法对所得到的特征进行分类学习。引入Hellinger distance作为深度森林决策树的分裂指标以改进样本类别不平衡问题。实例分析表明,在DR值上所提模型与Deep Forest、RF和ANN相比,分别提高12.96%、13.68%和17.7%,有效提高了少数类窃电用户的检出率。

基于深度稀疏自动编码器的中国省域智慧乡村发展潜力评价

基于深度稀疏自动编码器构建中国省域智慧乡村发展潜力评价模型,并运用泰尔指数分解、核密度估计、遗传算法等研究方法对智慧乡村发展潜力的时空格局、分布动态、影响因素进行分析。研究表明:①中国省域智慧乡村发展潜力整体处于中等(Ⅲ级)水平,且各省域智慧乡村发展潜力呈“橄榄型”分布。②中国省域智慧乡村发展潜力快速提升,部分起点低、增长快的省域实现“弯道超车”。③中国省域智慧乡村发展潜力呈东-中-西阶梯下降的空间特征,区域间差距是造成分异的关键。其中,东部地区已进入成熟阶段,各省域分布呈多极化趋势;东北地区、中部地区处于快速发展阶段,东北地区各省域分布相对均衡,中部地区头部省域表现突出而落后省域并未取得显著提升;西部地区处于早期发展阶段,各省域分布呈两极分化趋势。④农村电商产业发展、农村消费水平提升、农业现代化推进与农业技术创新是影响中国智慧乡村发展潜力省际差异的关键因素。

基于堆栈式稀疏自编码器的高光谱影像分类

为挖掘高光谱影像数据的内在光谱特征,该文基于深度学习理论,引用堆栈式稀疏自编码器构建原始数据的深层特征表达。首先通过稀疏自编码器,得到原始数据的稀疏特征表达。其次通过逐层学习稀疏自编码器构建深度神经网,输出原始数据的深度特征。最后将其连接到支持向量机分类器,完成模型的精调。实验结果分析表明:基于堆栈式稀疏自编码器的最优分类模型,总体精度可达87.82%,优于实验中的其他方法,证明了深度学习方法在高光谱影像处理中具有良好的分类性能。

基于栈式稀疏自编码器的低信噪比下低截获概率雷达信号调制类型识别

针对低截获概率(LPI)雷达信号识别率低且特征提取困难的问题,该文提出一种基于Choi-Williams分布(CWD)和栈式稀疏自编码器(sSAE)的自动分类识别系统。该系统从反映信号本质特征的时频图像入手,首先对LPI雷达信号进行CWD时频分析,获取2维时频图像;然后对得到的时频原始图像进行预处理,并把预处理后的图像送入多层稀疏自编码器(SAE)进行离线训练;最后把SAE自动提取的特征输入softmax分类器,实现雷达信号的在线分类识别。仿真结果表明,信噪比为-6 dB时,该系统对8种LPI雷达信号(LFM,BPSK,Costas,Frank和T1~T4)的整体平均识别率达到96.4%,在低信噪比条件下明显优于人工设计提取信号特征的识别方法。

基于自动编码器组合的深度学习优化方法

为了提高自动编码器算法的学习精度,更进一步降低分类任务的分类错误率,提出一种组合稀疏自动编码器(SAE)和边缘降噪自动编码器(m DAE)从而形成稀疏边缘降噪自动编码器(Sm DAE)的方法,将稀疏自动编码器和边缘降噪自动编码器的限制条件加载到一个自动编码器(AE)之上,使得这个自动编码器同时具有稀疏自动编码器的稀疏性约束条件和边缘降噪自动编码器的边缘降噪约束条件,提高自动编码器算法的学习能力。实验表明,稀疏边缘降噪自动编码器在多个分类任务上的学习精度都高于稀疏自动编码器和边缘降噪自动编码器的分类效果;与卷积神经网络(CNN)的对比实验也表明融入了边缘降噪限制条件,而且更加鲁棒的Sm DAE模型的分类精度比CNN还要好。

YUV空间中基于稀疏自动编码器的无监督特征学习

现有无监督特征学习算法通常在RGB色彩空间进行特征提取,而图像和视频压缩编码标准则广泛采用YUV色彩空间。为了利用人类视觉特性和避免色彩空间转换所消耗的计算量,该文提出一种基于稀疏自动编码器在YUV色彩空间进行无监督特征学习的方法。首先在YUV空间随机采集图像子块并进行白化处理,然后利用稀疏自动编码器进行无监督局部特征学习。在预处理阶段,针对YUV空间亮度和色度通道相互独立的特性,提出一种将亮度和色度进行分离的白化措施。最后用学习到的局部特征在大尺寸图像上进行卷积操作从而获得全局特征,并送入图像分类系统进行性能测试。实验结果表明:只要对亮度分量进行适当的白化处理,在YUV空间中的无监督特征学习就能够获得相当于甚至优于RGB空间的彩色图像分类性能。

基于栈式降噪稀疏自动编码器的雷达目标识别方法

雷达目标识别中特征提取是关键步骤,所提取特征的好坏决定着识别效果的优劣,但传统特征提取方法很难发掘目标数据深层次本质特征。深度学习理论中的自动编码器模型能够用数据去学习特征,获得数据不同层次的特征表达。同时为消除噪声影响,该文提出一种基于栈式降噪稀疏自动编码器的雷达目标识别方法,通过设置不同隐藏层数和迭代次数,从雷达数据中直接高效地提取识别所需的各层次特征。暗室仿真数据实验结果验证了该方法较K近邻分类方法及传统栈式自编码器有更好的识别效果。

稀疏自动编码器在文本分类中的应用研究

传统的文本分类算法都是采用期望交叉熵、信息增益和互信息等统计方法,通过设置阈值获取特征集。如果训练集的数据量较大,则容易出现特征项不明确、特征信息丢失等缺陷。为解决上述问题,提出运用"深度学习"中的稀疏自动编码器算法自动提取文本特征,然后结合深度置信网络形成SD算法进行文本分类。实验表明,在训练集较少的情况下,SD算法的分类性能低于传统的支持向量机;但是在处理高维数据时,SD算法则比支持向量机具有较高的准确率和召回率。

将稀疏自动编码器用于置换混叠图像盲分离

针对一类置换区域含噪声的置换混叠图像,提出一种基于稀疏自动编码器的算法来自动检测和分离含噪声的置换区域。对含噪声的置换混叠图像进行分块,获取输入数据集。构建稀疏自动编码器网络,通过数据集训练参数,获得解码后的置换混叠图像。将解码后图像与原置换混叠图像作差运算得到差图像,通过检测差图像来确定置换区域,采用自适应阈值化操作分离出含噪声的置换区域,实现对置换区域的自动检测和分离。实验结果表明,采用本算法在置换区域位置、大小、个数和所含噪声类型、大小均未知的情况下,能有效地分离出含噪声的置换区域。

基于深度自动编码器的托攻击集成检测方法

在采用协同过滤技术的推荐系统中,恶意用户通过注入大量虚假概貌使系统的推荐结果产生偏离,达到其攻击目的。为了检测托攻击,根据用户的评分值或基于攻击时间的集中性假设,从不同视角提取攻击概貌的特征。但是,这些基于人工特征的检测方法严重依赖于特征工程的质量,而且人工提取的检测特征多限于特定类型的攻击,提取特征也需要较高的知识成本。针对这些问题,从用户评分项目的时间偏好信息入手,提出一种利用深度稀疏自动编码器自动提取检测特征的托攻击集成检测方法。利用小波变换将项目在不同时间间隔内的流行度设定为多个等级,对用户的评分数据预处理得到用户-项目时间流行度等级矩阵。然后,采用深度稀疏自动编码器对用户-项目时间流行度等级矩阵自动进行特征提取,得到用户评分模式的低层特征表达,消除了传统的人工特征工程。以SVM作为基分类器,在深度稀疏自动编码器的每层提取特征并进行攻击检测,生成最终的集成检测结果。在Netflix数据集上的实验表明,提出的检测方法对均值攻击、AoP攻击、偏移攻击、高级项目攻击、高级用户攻击具有较好的检测效果。