基于流形学习算法的降雨数据时空分布特征提取及重构

【目的】掌握精细化的降雨时空分布特征,对于城市洪涝风险管理水平的提高具有重要的意义。我国近十几年降雨监测站网密集且数据精细程度高,但时间序列较短;历史降雨资料时间序列长,但是精细程度低。【方法】为了更有效地利用历史降雨资料,将流形学习算法引入到历史降雨资料重构中,从高分辨率降雨资料中,提取降雨的时空分别特征,基于该特征,将历史逐6 h的降雨空间数据重构为逐1 h的降雨数据,以满足城市洪涝风险分析的要求。【结果】结果表明,该方法重构数据高值区与实测值的平均误差在15%以内,低值区在20%以内,比传统插值处理的数据高值区误差降低了45%~85%,低值区降低了10%~40%。【结论】利用流形学习算法重构的历史空间降雨数据符合各地区降雨时空分布特征,可提高降雨空间数据颗粒度,实现降雨时空分布精细化特征的有效、合理的提取和总结。

大坝安全监测数据降噪的流形学习方法

针对大坝变形、渗流、应力应变等安全监测数据难以避免受到噪声污染,且传统线性降噪方法去噪效果不佳的问题,提出了基于相空间重构与流形学习相组合的大坝安全监测数据非线性降噪方法。该方法在重构大坝安全监测数据时间序列相空间的基础上,通过交叉应用局部切空间排列方法与极大似然估计、自适应邻域等方法,以重构的相空间为桥梁,提取大坝安全监测数据序列深层次信息,得到降噪后的大坝安全监测数据。工程实测数据验证结果表明,相比小波软阈值法和固定邻域-LTSA法,本文提出的方法降噪效果更优,具有一定的工程应用价值。

基于深度流形学习的人脸年龄识别

现有的人脸年龄识别方法大多利用深度学习框架提取人脸特征来识别年龄,但深度学习方法提取的高维人脸特征往往包含大量的冗余信息,不利于人脸年龄的识别。为了提高人脸年龄识别算法的精度和鲁棒性,提出了一种基于深度流形学习(Deep Manifold Learning, DML)的算法,采用深度学习提取人脸特征,通过流形学习选择具有判别性的人脸特征,将深度学习提取的高维人脸特征嵌入到低维的判别子空间上识别年龄。在公开的人脸数据库MORPH和FG-NET上对DML算法进行了实验,结果表明DML方案平均绝对误差(Mean Absolute Error, MAE)大幅度降低,不同误差值下识别累积评分(Cumulative Score, CS)明显提高,显著优于当前流行的人脸年龄识别方法。

基于多样化流形学习的非线性矩阵分解数据聚类

为了捕获多方面数据中的局部几何结构,提升聚类性能,提出一种基于多样化流形学习的非线性矩阵分解数据聚类方法。为每一种相互关系构造一个P近邻图,以捕获两种不同类型的密切相关对象,从而准确地学习在数据的内部关系和内部关系上产生的多个流形,并在用非线性矩阵分解映射到新的低维数据空间时稳定地保持所学习的多样流形。多个数据集聚类结果表明该方法能够充分挖掘各种相关类型的部分表示,在精度和效率上均具备一定优势。

结合非负矩阵分解和流形学习的大数据聚类方法研究

数据规模扩大与数据关系复杂化给数据聚类带来了挑战,现有方法性能已无法满足求解具备多视图、多类型关系的多维数据聚类问题。提出了一种结合非负矩阵分解框架的流形学习方法,学习多维数据的准确低阶表示,该低阶表示可用于数据检索、分类和聚类等多种用途。还在非负矩阵分解框架中加入多样流形学习,利用不同数据类型数据点之间的距离信息来学习不同的流形以进行数据聚类。直接从输入数据矩阵中同时学习,而不是像现有聚类方法那样依靠重构一个大对称矩阵来求解多维数据聚类问题。对于新制定的目标函数,建立了一套更新规则,保证了所提出方法的正确性和收敛性。进行了严格的实验来测试所提出方法在多维数据上的聚类性能,并将其与基于非负矩阵分解的其他方法进行对比。实验结果表明,所提出方法能够更好地学习数据聚类结构,验证了其有效性。

增量与演化流形学习综述

流形学习的目标是发现观测数据嵌入在高维数据空间中的低维光滑流形.近年来,在线或增量地发现内在低维流形结构成为流形学习的研究热点.从增量学习和演化学习2个方面入手,对该领域已有研究进展进行综述.增量流形学习较之传统的批量流形学习方法具有动态增量的能力,而演化流形学习能够在线地发现海量动态数据的内在规律,有利于进行维数约简和数据分析.文中对主要的增量与演化流形学习算法的基本原理、特点进行了阐述,分析了各自的优点与不足,指出了该领域的开放问题,并对进一步的研究方向进行了展望.

流形学习样本外点问题解决方法的比较研究

流形学习作为一种非线性降维技术,近年来已经在降维、数据可视化、特征提取及数据重构方面取得了许多成功的应用,然而,流形学习用于监督分类时效果却不尽人意,这是因为流形学习用于监督分类时会碰到样本外点问题。该问题能否妥善解决对于流形学习用于监督分类来说至关重要。因此,文章侧重分析了非参数映射、核岭回归、广义回归神经网络这三种典型算法的主要步骤和各自的优缺点,并通过实验进行分析比较,为有监督分类提供有益借鉴。

粒子群算法优化的广义回归神经网络求解流形学习样本外点问题

目前流形学习已成功应用于降维和数据可视化领域,但在监督分类中的应用效果并不理想,解决好样本外点问题对其应用效果至关重要。基于此,采用粒子群算法优化广义回归神经网络计算测试样本的低维嵌入,获得的结果可直接用于分类。借助粒子群算法的全局搜索能力对处理样本外点问题具有较好的预测性能;在使用糖尿病、虹膜和声呐三个公开数据集的实验中,粒子群算法优化广义回归神经网络的分类总体精度分别为77.63%、100%和88.89%,优于其他8种分类方法,表明该算法可行、有效;同时,该算法能显著降低数据复杂度,提高了预测、模式分类和机器学习的准确性。

动态增殖流形学习算法

流形学习的主要目标是发现高维观测数据空间中的低维光滑流形.目前,流形学习已经成为机器学习和数据挖掘领域的研究热点.为了从高维数据流和大规模海量数据集中探索有价值的信息,迫切需要增殖地发现内在低维流形结构.但是,现有流形学习算法不具有增殖能力,并且不能有效处理海量数据集.针对这些问题,系统定义了增殖流形学习的概念,这有利于解释人脑中稳态感知流形的动态形成过程,且可以指导符合人脑增殖学习机理的流形学习算法的研究.以此为指导原则,提出了动态增殖流形学习算法,并在实验中验证了算法的有效性.

等谱流形学习算法

基于谱方法的流形学习算法的目标是发现嵌入在高维数据空间中的低维表示.近年来,该算法已得到广泛的应用.等谱流形学习是谱方法中的主要内容之一.等谱流形学习源于这样的结论:只要两个流形的谱相同,其内部结构就是相同的.而谱计算难以解决的问题是近邻参数的选择以及如何构造合理邻接权.为此,提出了等谱流形学习算法(isospectral manifold learning algorithm,简称IMLA).它通过直接修正稀疏重构权矩阵,将类内的判别监督信息和类间的判别监督信息同时融入邻接图,达到既能保持数据间稀疏重建关系,又能利用监督信息的目的,与PCA等算法相比具有明显的优势.该算法在3个常用人脸数据集(Yale,ORL,Extended Yale B)上得到了验证,这进一步说明了IMLA算法的有效性.

基于特征选择和流形学习的人脸年龄预测研究

近年来,人类外观年龄估计在个人安全和执法等方面的广泛应用,已成为一个热门的研究课题,并引起了学术界和市场的广泛关注。为了实现年龄估计的目标,大量学者提出了相关方法,其中,借助累积属性编码导出的模型通过保留年龄的邻近相似性来达到良好的性能。然而,上述方法忽略了提取的面部特征的几何结构。事实上,数据的几何结构会极大地影响预测的准确性。为此,该文提出一种通过联合特征选择和流形学习范式的年龄估计算法,称为特征选择和保持几何的最小二乘回归。与其他方法相比,该方法不仅保留了面部表征中的几何结构,还选择了有区别性的特征。最后,在Morph2数据集上进行了相关实验,结果证明该方法达到了最佳性能。

基于选择聚类集成的相似流形学习算法

流形学习是当今最重要的研究方向之一.约简维度的选择影响着流形学习方法的性能.当约简维度恰好是本征维度时,更容易发现原始数据的内在性质.然而,本征维度估计仍然是流形学习的一个研究难点.在此基础上,提出了一种新的无监督方法,即基于选择聚类集成的相似流形学习(SML-SCE)算法,避免了对本征维度的估计,并且性能表现良好.SML-SCE利用改进的层次平衡K-means(MBKHK)方法生成具有代表性的锚点,高效地构造相似度矩阵.随后计算得到了多个不同维度下的相似低维嵌入,这些低维嵌入是对原始数据的不同表示,而且不同低维嵌入之间的多样性有利于集成学习.因此,SML-SCE采用选择性聚类集成方法作为结合策略.对于通过K-means聚类得到的相似低维嵌入的聚类结果,采用聚类间的归一化互信息(NMI)作为权重的衡量标准.最后,舍弃权重较低的聚类,采用基于权重的选择性投票方案,得到最终的聚类结果.在多个数据集的大量实验结果表明了该方法的有效性.

基于流形学习算法的马铃薯机械损伤机器视觉检测方法

针对马铃薯表面芽眼和凹凸不平的影响,使之马铃薯机械损伤难以检测的问题,该文提出了一种基于流形学习算法的马铃薯机械损伤检测方法。首先利用马铃薯图像的显著图分割出马铃薯区域,然后利用主成分分析(principal component analysis,PCA)、等距映射(isometric mapping,Isomap)和局部线性嵌入(locally-linear embedding,LLE)3种流形学习方法提取马铃薯区域图像特征参数,然后分别建立基于3种流形特征的支持向量机(support vector machine,SVM)分类模型PCA-SVM、Isomap-SVM和LLE-SVM,利用网格搜索法(grid search)、遗传算法(genetic algorithm,GA)以及粒子群算法(particle swarm optimization,PSO)3种模型参数优化方法,优化支持向量机模型的惩罚参数c和RBF核参数g,以建立最优分类模型,最后比较3种分类模型的识别效果,确定最优分类模型。研究结果表明,PCA-SVM分类模型对训练集识别率为100%,测试集识别率为100%;Isomap-SVM分类模型对训练集识别率为100%,测试集识别率为91.7%;LLE-SVM分类模型对训练集识别率为100%,测试集识别率为91.7%,表明PCA、Isomap和LLE 3种流形学习方法用于马铃薯机械损伤检测是可行的,其中PCA-SVM分类模型检测效果最优。

基于流形学习算法的柑橘叶片氮含量光谱估测模型'

提出了一种基于流形学习算法的柑橘叶片氮含量光谱快速检测方法。分别在萌芽期、稳果期、壮果促梢期和采果期,使用ASD Field Spec 3光谱仪采集了柑橘叶片的反射光谱,并同步采用凯式定氮法测定叶片的氮含量。首先采用正交试验确定各个生长期小波去噪的最佳参数组合,然后分别采用主成分分析、多维尺度变换、局部线性嵌入、等距映射和拉普拉斯特征映射5种流形学习算法对原始光谱和经小波去噪后的光谱数据进行特征提取,将特征数据导入支持向量机回归建立柑橘叶片氮含量预测模型,4个生长期的最佳验证集模型决定系数依次为0.901 4、0.934 4、0.895 4和0.877 9。试验结果表明,这5种流形学习算法都能有效地用于柑橘叶片氮含量预测,为柑橘叶片氮含量快速无损检测、生长态势监测和变量施肥提供了理论依据。

基于变分模态分解与流形学习的滚动轴承故障特征提取方法

提出了一种基于变分模态分解(VMD)和局部切空间排列算法(LTSA)相结合的滚动轴承早期故障诊断方法。首先利用VMD算法分解圆柱滚子轴承不同运行状态下的振动信号,通过求取瞬时频率均值并绘制特征曲线筛选出与原始信号最为相关的几个分量;然后,提取有效模态分量的时域指标和小波包频带分解能量所构成的频域指标,两者结合初步提取高维故障特征后,再应用LTSA对故障特征进行二次提取;最后输入到K-means分类器进行故障类型识别;通过对圆柱滚子轴承故障诊断的对比实验分析,发现:(1)与时频特征+LTSA、EMD+LTSA特征提取方法相比,VMD+LTSA方法在分类效果和识别精度上更具优势;(2) LTSA算法相比较于PCA、LPP、LE、ISOMAP和LLE这5种算法,其降维后的特征故障敏感性最好。研究结果表明所提出的方法在圆柱滚子轴承故障诊断方面具有一定的优越性。

基于流形学习和最小二乘支持向量机的滚动轴承退化趋势预测

为更好地表征滚动轴承性能退化趋势,提出基于流形学习和最小二乘支持向量机的滚动轴承退化趋势预测新方法。提取振动信号的多域特征组成高维特征集,利用局部保持投影算法(LPP)对多域高维特征集进行维数约简,消除各特征指标之间的冗余、冲突等问题。将维数约简后的特征向量作为最小二乘支持向量机的输入,建立退化趋势预测模型,完成退化趋势预测。运用实测的滚动轴承全寿命实验数据进行检验,结果表明该方法能获得准确的预测结果。

利用非线性流形学习的轴承早期故障特征提取方法

针对早期故障微弱特征难以提取的问题,提出了一种基于非线性流形学习的滚动轴承早期故障特征提取方法.在由时域指标和小波频带能量组成的原始特征空间中,结合局部切空间排列学习算法的特点,采用散布矩阵分类测度指标,实现了局部邻域的优化选取,从而提取出最优的敏感故障特征.通过实例应用,表明该方法有效地克服了主分量分析和非线性核主分量分析方法的不足,提取的融合特征敏感性更好,从而提高了故障模式的分类性能,实现了轴承的早期故障诊断.

基于多特征流形学习和矩阵分解的路面裂缝检测

针对单一属性特征的路面裂缝检测方法无法从复杂背景噪声中准确提取裂缝信息的缺陷,提出一种结合多特征流形学习和矩阵分解的路面裂缝检测算法。该算法首先根据路面裂缝子块的统计、形状和纹理特性抽取多重属性特征并构造多个流形正则项,将流形正则项嵌入于矩阵分解的目标函数中,采用交替迭代法在统一框架下实现裂缝子块降维和多特征自适应融合。为进一步提高聚类准确率,对路面裂缝图像采用各向异性算法增强得到少量有效样本标签,实现算法的半监督扩展。在公开数据集(Crack IT)和实际采集的沪宁高速(HN)路面图像库上的实验结果表明,该算法可以有效提高路面裂缝识别率,验证了算法的有效性。

基于半监督PCA-LPP流形学习算法的故障降维辨识

提出一种基于半监督思想PCA-LPP的流形学习维数约简故障辨识方法,兼顾PCA的全局结构和LPP的局部结构保持以及样本的类别信息,构造新的投影矩阵目标函数,给出PCA-LPP流形学习算法的计算原理。采用UCI中wine数据集验证半监督PCA-LPP方法的维数约简性能,并就齿轮箱故障声发射实验信号,以小波包能量熵作为特征向量,并将特征向量的降维结果输入支持向量机进行故障类型辨识。研究结果表明:半监督PCA-LPP方法的降维结果,能够充分考虑不同故障特征向量的差异信息,相应的故障类型辨识精度高于PCA及LPP方法。

冲击故障特征提取的非线性流形学习方法

为了提取机械设备故障引发的冲击成分,提出了一种基于非线性流形学习的冲击故障特征自适应提取方法.该方法将反映故障的振动信号重构到高维相空间中,利用局部切空间排列的流形学习方法提取出隐藏其中的低维流形,并基于峭度和偏斜度指标的特点,提出了冲击波形量化的取值策略,实现了高维相空间中局部邻域参数的自适应选取,从而提取出最优的冲击故障特征.通过仿真数据的对比分析和工程应用,表明该方法能够较好地提取出冲击成分信号,与小波软阈值方法相比,提取出的冲击特征成分更完整,周期性更好.