为了解决增量流形学习中的噪声干扰,以及对不同分布状态下的新数据进行流形降维问题,本文提出一种数据流形边界及其分布条件的增量式降维算法(incremental dimensionality reduction algorithm based on data manifold boundaries and d...为了解决增量流形学习中的噪声干扰,以及对不同分布状态下的新数据进行流形降维问题,本文提出一种数据流形边界及其分布条件的增量式降维算法(incremental dimensionality reduction algorithm based on data manifold boundaries and distribution state,IDR-DMBDS)。该算法首先分析噪声概率分布同时对数据降噪,确定降噪数据的流形形态为主流形,并在主流形上表征出噪声的分布形式,以此获得近似的原数据流形边界,然后基于流形边界判别新数据的分布状态,最后将分布于原流形形态之上以及之外的新数据分别映射至低维空间。实验表明,该算法能够有效实现基于流形的增量式高维含噪数据的低维特征挖掘。展开更多
提出一种基于流行降维的近红外光谱技术快速判别大米贮藏期的新方法。采用近红外光谱仪获取陈年米和新米的反射光谱特征曲线,利用直接正交信号矫正法(direct orthogonal signal correction,DOSC)对原始光谱进行预处理,滤除光谱数据中与...提出一种基于流行降维的近红外光谱技术快速判别大米贮藏期的新方法。采用近红外光谱仪获取陈年米和新米的反射光谱特征曲线,利用直接正交信号矫正法(direct orthogonal signal correction,DOSC)对原始光谱进行预处理,滤除光谱数据中与因变量Y矩阵无关的信号,以消除无关信息对后续特征变量建模精度的影响。采用Durbin-Watson和Run测试法定性分析光谱数据结构的非线性性,并利用增强偏残差图(augmented partial residual plot)定量分析大米光谱曲线的非线性程度。分别采用线性流行降维法包括主成分分析法(PCA)和多维尺度分析法(MDS)以及非线性流行降维法包括等距映射法(ISOMAP)、局部线性嵌入法(LLE)和拉普拉斯特征映射法(LE)提取预处理后光谱数据的本征变量,并结合核偏最小二乘方法(KPLS)建立本征变量与贮藏时间属性之间的耦合模型。实验用陈年米和新米的样本数均为200个,随机将训练集和测试集样本划分为300个和100个。通过比较各个模型的预测结果得出,基于ISOMAP非线性降维法提取的40个本征变量建立的回归模型预测效果最好,预测相关系数(R2P)、预测均方根误差(RMSEP)和预测相对分析误差值(RPD)分别为0.917,0.187和2.698。实验结果说明提出的方法对于大米贮藏期具有很好的鉴别能力,该研究为今后大米贮藏期的快速无损检测提供了科学的手段。展开更多
文摘为了解决增量流形学习中的噪声干扰,以及对不同分布状态下的新数据进行流形降维问题,本文提出一种数据流形边界及其分布条件的增量式降维算法(incremental dimensionality reduction algorithm based on data manifold boundaries and distribution state,IDR-DMBDS)。该算法首先分析噪声概率分布同时对数据降噪,确定降噪数据的流形形态为主流形,并在主流形上表征出噪声的分布形式,以此获得近似的原数据流形边界,然后基于流形边界判别新数据的分布状态,最后将分布于原流形形态之上以及之外的新数据分别映射至低维空间。实验表明,该算法能够有效实现基于流形的增量式高维含噪数据的低维特征挖掘。