基于典型相关自编码器的过敏性鼻炎用药推荐

过敏性鼻炎患者的电子病历中存在着大量文本类型的主诉症状信息,其中蕴含了医生为患者做出诊断和医嘱用药的关键信息,而现有的药品推荐算法大多数只限于对患者的数值型、结构化数据的使用。针对这一问题,提出了一种基于深度典型相关自编码器的过敏性鼻炎用药推荐算法。首先通过一种基于搜索引擎的主诉文本结构化表示方法,从主诉文本中抽取症状标准信息;然后考虑患者的症状和用药之间存在较强的相关关系,通过构建深度典型相关自编码器模型对数据进行特征提取并且建立起主诉症状和用药情况之间的关联关系;最后根据患者的症状表征和用药表征通过加权近邻搜索进行药品的Top-N推荐。在一个真实的来自三甲医院耳鼻喉科的电子病历数据集上进行实验,验证了算法的准确性和有效性。

自动编码器与典型相关分析方法联合驱动的工业过程质量监测

本文将自动编码器(AE)特征提取方法和典型相关分析方法(CCA)有机结合,提出了一种联合驱动的质量监测模型及其质量相关的故障检测方法.首先,利用AE算法对输入样本进行无监督自动学习和重构,实现数据的特征提取和降维;其次,利用CCA算法实现特征与质量变量关联最大化,建立质量变量与特征变量的关系模型;根据监测模型的潜结构投影,构建T2统计量和SPE统计量及其相应控制限.将提出的方法用于分析带钢热连轧过程现场实际数据,结果表明,基于自动编码器–典型相关分析方法(AE–CCA)的质量监测方法能够准确的检测出故障,并且检测效果优于传统的核典型相关分析(KCCA)算法.

基于深度主成分相关自编码器的多模态影像遗传数据研究

脑成像表型和基因变异已成为影响精神分裂症等复杂疾病的重要因素。研究人员根据以往在致病机理方面的深入研究,已经提出了很多基于深度神经网络或正则化的模型,这些模型通常包含某种形式的惩罚项或具有重建目标的自编码器结构,但其所使用的多模态数据的特征维数往往大于样本个数。为了应对高维数据分析的困难并突破深度典型关联分析的局限性,文中提出了一种由多模态线性特征学习的主成分分析和基于限制玻尔兹曼机的多模态非线性特征学习的多层信念网络组成的有效模型。该模型和先前的先进模型一起被应用在实际的多模态数据集上进行测试和分析。实验发现,与已有模型相比,深度主成分相关自编码器模型学习的特征具有更高的分类性能和更强的关联性。在分类精度方面,两类模态数据的分类精度均超过了90%,相比平均精度在65%左右的基于CCA的模型和平均精度在80%左右的基于DNN的模型,该模型的分类效果有了显著提高。在聚类性能评估的实验中,该模型以93.75%的平均归一化互信息指标和3.8%的平均分类错误率指标进一步验证了其优越的分类性能。在最大关联性分析方面,当顶层节点输出维度一致时,该模型以0.926的最大关联性胜于其他先进模型,在高维数据分析方面表现出了优异的性能。

基于典型相关稀疏自编码器的精神分裂症的分类

通过结合大脑核磁共振成像和基因组信息进行全面系统的分析,影像遗传学已被广泛用于帮助诊断和治疗精神疾病(例如精神分裂症)。本文采用单核苷酸多态性数据和功能性磁共振成像数据联合分析,提出深度典型相关稀疏自编码器模型,探索两类数据之间的非线性关联并进行降维,对精神分裂症患者和健康对照进行分类。最后,实验结果表明,使用深度典型相关稀疏自编码器模型比其他传统模型具有更高的分类准确性。

基于堆叠去相关自编码器和支持向量机的窃电检测

已有窃电检测模型的准确率尚无法满足应用需求,是因其均将建模重点放在了分类算法的选择或改进上,而相对地忽视了特征提取过程。因此,提出一种基于深度学习的特征提取方法,即堆叠去相关自编码器。得益于深层结构和高度非线性,其能够从用户用电数据中提取到高度抽象和简明的特征。随后支持向量机将这些特征映射到指示是否窃电的标签。基于真实数据的算例测试,验证了所提窃电检测模型具有较高的检出率和较低的虚警率,同时也验证了堆叠去相关自编码器能够提取到有效的特征。

基于稀疏自编码器的细胞类型反卷积模型SMCTD设计与实现

单细胞RNA测序已成为研究生物学重要特征的强大高分辨率工具。然而,其测序条件苛刻,价格成本高昂。目前细胞类型反卷积能够很好地解决这些限制问题,SMCTD(Sparse Model Cell Type Deconvolution)使用稀疏自编码器优化TAPE(Tissue-AdaPtive autoEncoder),使其在直肠癌和PBMC模拟数据上预测细胞类型比列具有更高的灵敏度、准确性和整体性能,同时在预测细胞类型特异性基因表达上表现更优。

利用深度玻尔兹曼机与典型相关分析的自动图像标注算法

提出一种基于深度玻尔兹曼机与典型相关分析的自动图像标注算法(DBM-CCA)。该算法利用深度玻尔兹曼机实现图像与文本的低层次特征向稀疏高层次抽象概念的转变,并通过典型相关分析建立子空间映射关系以实现标注词汇的生成。首先在深度玻尔兹曼机提取图像与文本高层特征过程中,选用伯努利分布和高斯分布分别拟合标注词汇和图像特征,然后在图像与标注词汇高层特征形成的典型变量空间内计算待标注图像与训练集图像的马氏距离并据此加权计算得到高层标注词汇特征,最后由平均场估计生成图像标注词汇。实验结果表明,所提算法对图像的标注准确率改善较好,与经典的基于监督的多类标签方法和多重伯努利相关模型相比,在Corel5K实验中平均查准率和查全查准均率分别提高了10%和5%。

基于改进型稀疏自动编码器的图像识别

传统的稀疏自动编码器不具备平移不变性,同时对非高斯噪声较为敏感。为增加网络平移不变的特性,借鉴卷积神经网络的相关理论,通过对原始的像素块进行卷积运算以达到上述目的;而为了提高对非高斯噪声的鲁棒性,自动编码器的代价函数由均方误差改为了最大相关熵准则。通过在MNIST和CIFAR-10数据集上进行试验,结果证明,改进后的方法较传统的自动编码器具有更好地识别效果,识别率提高了2%~6%。

基于深度学习和典型相关分析的渔情预测方法

为解决用传统方法进行渔场预测时存在的性能欠佳、特征转换困难、拟合程度不足等问题,提出了一种基于深度学习和典型相关分析的新型渔情预测方法——CNN-DNN-CCA(连接融合)-RBF模型,该方法首先在5°×5°渔业作业区域内将不同海洋环境因子按相对空间位置映射为三维矩阵,然后分别采用卷积神经网络(CNN)和深度神经网络(DNN)对海表温度(SST)、叶绿素a(Chl-a)浓度、海面高度(SSH)3种环境因子和渔场时空因子两种多源异构数据进行模态特征提取,得到两种不同模态的特征向量,并将两种特征向量通过典型相关分析(CCA)进行特征级融合,最后将融合后的特征输入到径向基函数网络(RBF)中进行分类。结果表明,通过试验验证,基于深度学习和典型相关分析的渔场预报模型CNN-DNN-CCA(连接融合)-RBF对南太平洋长鳍金枪鱼Thunnus alalonga中心渔场的召回率达到了90.3%,相较于随机森林(RF)、CNN和DNN模型提高了6.8%~21.8%。研究表明,CNN-DNN-CCA(连接融合)-RBF新型渔情预测模型通过深度学习和典型相关分析方法分别进行特征自动提取和特征融合,消除了冗余信息,简化了特征转换,提高了运算速度和预测精度。

一种基于深度玻尔兹曼机的半监督典型相关分析算法

从模式分类的角度出发,针对典型相关分析(canonical correlation analysis,CCA)算法不适应于高层次关联的缺陷,提出了改进算法。将深度学习理论与典型相关分析算法相结合,基于深度玻尔兹曼机理论提出了一种半监督典型相关分析算法。通过深度玻尔兹曼机提取出样本的显层特征与隐层特征,结合已标注样本的监督信息,构造出最有效的鉴别特征。依据ORL、Yale和AR人脸数据库进行仿真实验,实验结果表明:本文算法与其他的方法相比,具有更好的识别效果。

基于深度典型相关性分析的跨媒体语义检索

基于典型相关性分析的跨媒体检索是一种将不同媒体特征通过相关性分析映射到同构的最大相关子空间,并在子空间中完成跨媒体数据间的相似性比较和检索的方法.典型相关性分析(canonical correlation analysis,CCA)是一种线性模型,并不能很好地挖掘跨媒体数据中的复杂相关关系.为此针对深度典型相关性分析(deep CCA,DCCA)的结构进行改进,使用隐含狄利克雷分布(latent Dirichlet allocation,LDA)发现文本语义信息并学习语义映射,提出了跨媒体深度相关性学习模型(cross-media correlation learning with deep canonical correlation analysis,CMC-DCCA)以及跨媒体语义相关性检索方法(cross-media semantic correlation retrieval,CMSCR).在维基百科文本图像数据集上的实验证明,CMC-DCCA模型能够较好地挖掘跨媒体数据中的复杂相关关系,CMSCR在跨媒体检索中具有较好的性能.

基于深度学习的监督型典型相关分析

典型相关分析(CCA)是利用综合变量对之间的相关关系反映两组指标之间整体相关性的多元统计方法。传统的CCA方法无法有效利用样本的标签信息,导致准确率降低。将类信息融入到深度学习与CCA相结合的深度典型相关分析中,提出一种监督型降维方法DL-SCCA,用于处理带标签的非线性可分数据。在2个独立的深度神经网络(DNN)结构上,增加1个公共的输出维数与数据集类别数相同的全连接层,并且以softmax函数作为该层的激活函数,输出带有概率意义的编码向量。在此基础上,利用全连接输出与样本标签信息之间的交叉熵对DNN进行训练,获得分类性能较优的低维特征。实验结果表明,该方法采用最近邻分类器和网络本身结构得到的分类准确率分别为98.00%和97.82%,相比CCA、DisCCA、DCCA等方法,能够有效利用样本的标签信息,并且具有较优的分类性能。

基于NSSAE的批次发酵过程质量相关与质量无关故障检测与诊断

为了解决批次发酵过程中质量无关故障所可能引起的不必要停机,本文提出了噪声半监督堆叠自编码器(Noised semi-supervised stacked auto-encoder,NSSAE)算法以区分质量相关与质量无关故障。首先,基于互信息计算过程变量与质量变量间互信息,并对数据加入噪声以提高算法对质量相关信息挖掘能力。其次,构建NSSAE的过程监测模型,在模型的首层自编码器和最后一层自编码器中构建故障检测和质量相关检测指标,并利用核密度估计计算对应的控制极限。最后,利用深度重构贡献图(Deep reconstruction-based contribution,DRBC)定位故障根源。从数值仿真和乳酸菌批次发酵实验结果可知,本文提出的NSSAE算法能够准确区分质量相关与无关故障,首层的残差空间的检测指标的故障检测率接近100%,最后一层隐空间的检测指标能够准确识别质量相关故障和质量无关故障。基于DRBC诊断方法能在故障发生后准确识别发生故障的变量,该研究结果为批次发酵过程质量相关与质量无关故障监测问题提出了一种切实可行的过程监测方法。

融合深度典型相关分析和对抗学习的跨模态检索

文中提出一种融合深度典型相关分析和对抗学习的跨模态检索方法(DCCA-ACMR),该方法提高了无标签样本的利用率,能够学习到更有力的特征投影模型,进而提升了跨模态检索准确率。具体而言,在DCGAN框架下:1)在图像与文本两个单模态的表示层间增加深度典型相关分析约束,构建图文特征投影模型,充分挖掘样本对的语义关联性;2)以图文特征投影模型作为生成器,以模态特征分类模型作为判别器共同构成图文跨模态检索模型;3)利用有标签样本和无标签样本,在生成器和判别器的相互对抗中学习到样本的公共子空间表示。在Wikipedia和NUSWIDE-10k两个公开数据集上,采用平均准确率均值(mAP)作为评价指标对所提方法进行验证。图像检索文本和文本检索图像的平均mAP值在两个数据集上分别为0.556和0.563。实验结果表明,DCCA-ACMR优于现有的代表性方法。

一种深度偏最小二乘相关分析的多模态融合方法

典型相关分析是一种经典的线性多模态融合方法,但是难以有效解决高维非线性数据的多模态融合问题。结合典型相关分析、线性回归分析与深度神经网络,提出一种新颖的多模态融合方法,即深度偏最小二乘相关分析。该方法能够在最大化不同模态之间相关性的前提下学习具有强鉴别力的跨模态融合数据,并且能够有效解决典型相关分析面临的高维非线性困境。在真实图像数据集上的实验结果表明,提出的方法具有良好的融合鉴别力和相关收敛性,是一种有效的多模态融合方法。

基于深度自编码法和频域相关峭度的轴承故障诊断

在相同状态下各种故障刚出现时和大噪声环境下所收集的信号特征极其相似,导致诊断精准性下降。提出基于深度自编码法和频域相关峭度(FCKT)以实现对轴承运行状况的智能分类。在特征得到加强的前提下,使得数据长度大幅减小,并且在很大程度上增强了算法的识别效率及精准性。研究结果表明:在最大偏移点数取值范畴逐渐扩大的基础上,辨别精准性呈现出不断提高的态势,在该数值为340时,可实现100%的辨别,且有着较强的稳定性。与时域指标相比,频域指标有着更高的辨别精准性。在将FCKT指标当作样本的情况下,稳定性最强、精准性最高。在FCKT计算结束以后、再实施深度自编码智能区分,运行时间减少46.32%,能够在很大程度上减少运行时间。

基于VAE-OCCA的质量相关故障检测方法研究

由于闭环反馈系统的存在,并不是所有故障均会导致质量发生恶化。质量变量通常难以获得或具有一定的延迟,传统的无监督方法不能在检测过程是否正常的同时判断故障对质量的影响。典型相关分析(canonical correlation analysis,CCA)是一种经典的有监督方法,可以考虑输入输出间的关系,已被用于质量相关故障检测。然而,过程数据存在着维度高、非线性等问题,流程系统的复杂性使得CCA对于隐藏特征的捕获更具挑战性。提出了一种变分自编码器-正交典型相关分析(variational automatic encoder-orthogonal CCA,VAE-OCCA)方法。首先,利用变分自编码器对输入数据进行无监督自适应学习,实现对高维非线性过程变量的特征提取;进而,基于典型相关分析方法考虑输入输出关系,利用得到的相关系数矩阵进行奇异值分解建立质量相关和质量无关监测统计量;最后,通过工业案例测试说明提出方法的有效性及优越性。

基于Kinect的典型零部件识别与定位

针对自动化拆卸的零部件识别与定位问题,提出了一种结合深度信息的典型零部件图像识别与定位方法.利用Kinect传感器获取彩色图像与深度图像,提取出两者之间的仿射变换矩阵,实现彩色图像的矫正;根据相关系数匹配法实现矫正后的彩色图像零部件识别;利用彩色图像与深度图像的对应关系对零部件进行定位.针对典型零部件,对Kinect传感器获取的图像进行仿真实验与处理,结果表明,该方法能对目标进行识别与定位,验证了方法的有效性.

基于深度学习理论的刀具状态监测及剩余寿命预测方法

针对机械大数据的特点及深度学习的优势,提出了一种新的刀具磨损状态监测及剩余使用寿命预测方法。该方法首先利用稀疏自编码器及皮尔逊相关系数对原始切削力信号自适应提取敏感特征;之后将得到的显著性特征与其对应的刀具磨损值训练反向传播(BP)神经网络;最后使用预测的刀具磨损值作为观测值,利用指数平滑算法预测刀具剩余使用寿命。为了解决样本数量不足带来的过拟合问题,对原始样本进行加噪处理,同时在特征提取过程中引入dropout训练技巧。通过刀具全寿命周期实验实现了大量样本下刀具磨损特征自适应提取与剩余寿命预测,证明了所提方法的有效性。

基于KVAE-OCCA的质量相关故障检测方法及应用

为了解决非线性过程质量相关故障检测问题,提出了一种名为关键变量自编码器-正交典型相关分析(KVAE-OCCA)的方法。首先,为了挑选出与质量变量具有相关性的过程变量,计算过程变量和质量变量的互信息,选择具有较大互信息的过程变量。然后,利用自编码器对选择出的过程变量进行无监督学习,实现特征提取和降维。其次,利用正交典型相关分析方法建立质量相关故障检测模型,通过对系数矩阵奇异值分解得到质量相关和无关投影矩阵,构建统计量并估计控制限。最后,将提出的方法在典型测试案例上进行测试,以说明所提方法的有效性。