核偏最小二乘回归及其在医学中的应用

目的研究用于处理解释变量与反应变量之间非线性关系或复杂关系的一种基于核函数的回归方法:核偏最小二乘回归。方法运用Monte-Carlo模拟方法,对核偏最小二乘回归的模型拟合效果和预测效果予以分析。结果模拟试验结果表明:核偏最小二乘回归估计性能均较高。结论核偏最小二乘回归是基于核函数的非线性回归方法,模型构建基于样本,而非解释变量空间,该方法特别适合于处理医学研究中各种类型资料,能够有效地处理解释变量与反应变量之间的非线性关系或复杂关系等方面。

基于提升核偏最小二乘回归的色彩校正

为进一步提高回归算法的色彩校正精度,提出一个基于核偏最小二乘回归的局部迭代算法。该算法首先将源色彩空间中校正样本的邻域样本经核函数映射到一个高维的线性特征空间,然后在提升的迭代过程中通过偏最小二乘回归消除映射数据的多重共线性,最终达到色彩校正的目的。实验证明算法引入的特征空间提供了额外的校正信息,提升方法增强了核偏最小二乘回归性能,算法在精度和鲁棒性上均优于传统的多重回归和基于分区的回归校正方法。

基于核的偏最小二乘特征提取的最小二乘支持向量机回归方法

提出了用核的偏最小二乘进行特征提取.首先把初始输入映射到高维特征空间,然后在高维特征空间中计算得分向量,降低样本的维数,再用最小二乘支持向量机进行回归.通过实验表明,这种方法得到的效果优于没有特征提取的回归.同时与PLS提取特征相比,KPLS分析效果更好.

基于多核最小二乘支持向量回归的TDOA-DOA映射方法

基于到达时间差(Time difference of arrival,TDOA)估计的方法是声源波达方向(Direction of arrival,DOA)估计中的一类重要方法。其中由TDOA到DOA的映射是该类方法的关键步骤。本文提出了一种基于多核聚类最小二乘支持向量回归(Least-squares support vector regression,LS-SVR)的TDOA-DOA映射方法,并且分析了其稀疏化处理后的性能。为了提高混响噪声环境下的TDOA-DOA映射性能,本文还给出了一种基于归一化中值滤波的TDOA估计离群值消除方法。仿真结果表明,本文提出的方法要优于现有的最小二乘方法以及单核LS-SVR方法。

概率积分法参数辨识的多尺度核偏最小二乘回归方法

针对传统的偏最小二乘回归(PLS)、人工神经网络(ANN)、支持向量机(SVM)等非线性建模方法在概率积分法参数辨识中存在着预测效果差的不足,提出概率积分法参数辨识的多尺度核偏最小二乘回归(multi-scale KPLS)方法。首先,构建满足容许条件的多尺度高斯核函数;然后,对学习样本进行模糊聚类,以最优分类个数作为多尺度高斯核函数的尺度个数,并采用10次10折交叉验证按照网格搜索方法确定核函数的宽度;最后,详细论述multi-scale KPLS的建模过程。通过实例将multi-scale KPLS的预测结果与3种传统的PLS方法、径向基神经网络(RBF-NN)和SVM模型进行对比分析。结果表明:multi-scale KPLS顾及建模样本的多尺度特性,其预测精度明显高于其他预测模型;multi-scale KPLS有效地克服了各影响因素之间的多重共线性对预测结果的不利影响,具有较强的稳健性;multi-scale KPLS适用于多个因变量对多个自变量的概率积分法参数辨识问题,其建模参数均可自适应确定,在建模效率上优于RBF-NN和SVM。

一类非平坦函数的多核最小二乘支持向量机的鲁棒回归算法

给出了标准最小二乘支持向量机的数学回归模型,并提出了多核最小二乘支持向量机算法,用于提高非平坦函数的回归精度.运用谱系聚类方法解决多核最小二乘支持向量机的解缺乏稀疏性的问题.利用偏最小二乘回归方法对多核最小二乘支持向量机进行了鲁棒回归.通过仿真实例证实了所提方法的有效性.

基于线指数的核偏最小二乘回归在恒星大气物理参数测量中的应用

恒星大气物理参数(有效温度、表面重力、化学丰度)的自动测量是天体光谱数据自动处理中的一项重要内容。由于光谱数据的高维性的特点,处理运算量非常大,对于光谱的实时分析及处理会造成延误。文章提出了一种基于Lick线指数,利用核偏最小二乘回归(KPLSR)对恒星大气物理参数进行测量的方法。可以有效地减少运算量并可达到理想的准确率。首先计算Kurucz合成光谱的Lick线指数,利用核偏最小二乘回归方法建立Lick线指数与大气物理参数之间的核回归模型,并利用DR8实测光谱数据对得到的模型进行测试,将测试的结果与SEGUE SSPP提供的大气物理参数进行了对比,取得了比较好的效果。此外,为了检验噪声对参数测量的影响,本文还对Kurucz光谱分别加了信噪比为10,20,30,40,50,70,90,120的高斯白噪声,对得到的不同信噪比的Kurucz数据进行了测试,实验结果表明,核回归模型对噪声比较敏感,光谱数据的信噪比越高,其大气物理参数的预测精度越高。提出的基于线指数建立核偏最小二乘回归模型的方法运算量小,训练速度快,适合用于恒星大气物理参数的测量。

基于核最小二乘回归子空间分割的高维小样本数据聚类

针对基于线性表示理论的子空间分割方法没有考虑高维小样本数据的非线性性质,借鉴核理论,提出核最小二乘回归子空间分割方法,使子空间分割方法适合高维小样本数据的非线性性质.经6个基因表达数据集和4个图像数据集上的实验,表明该方法是有效的.

基于核偏最小二乘回归神经网络集成降水预测模型

为了提高降水预测的精确度和稳定性,提出一种新颖的基于核偏最小二乘回归的径向基神经网络集成降水预测模型。该模型通过Bagging技术和Boosting技术把原始数据集分成不同的训练数据集,并利用该训练数据集和不同核函数的径向基神经网络进行预测处理,再将核偏最小二乘回归对不同的训练结果进行集成。研究结果表明:核偏最小二乘回归集成模型有效提高神经网络集成的泛化能力,预测精度高,稳定性好,具有应用推广前景。

运用核聚类和偏最小二乘回归的歌唱声音转换

语音转换是计算机听觉领域的热点问题之一,将歌声运用于语音转换是一种新的研究方向,同时拓宽了语音转换的应用范围。经典的高斯混合模型的方法在少量训练数据时会出现过拟合的现象,而且在转换时并未有效利用音乐信息。为此提出一种歌唱声音转换方法以实现少量训练数据时的音色转换,并且利用歌曲的基频信息提高转换歌声的声音质量。该方法使用核聚类和偏最小二乘回归进行训练得到转换函数,采用梅尔对数频谱近似(MLSA)滤波器对源歌唱声音的波形直接进行滤波来获得转换后的歌唱声音,以此提高转换歌声的声音质量。实验结果表明,在少量训练数据时,该方法在相似度和音质方面都有更好的效果,说明在少量训练数据时该方法优于传统的高斯混合模型的方法。

基于核偏最小二乘回归分析的线损率预测

研究了线损率预测问题。由于影响线损率的因素间存在着复杂的非线性和强相关性,一般方法难以得到较高精度的预测结果。针对线损率的特点,为了提高预测精度,本文首次将核偏最小二乘回归算法应用于线损率预测。先以历年来的线损率及其相关数据为样本建立预测模型,然后对预测年线损率进行预测。以某电网为实例进行仿真,并将仿真结果与其他方法所得到的仿真结果进行比较。结果表明基于核偏最小二乘回归分析的线损率预测具有较高精度,能较好地克服变量相关性和非线性因素对预测模型的不利影响,为电力企业制订科学合理的线损率计划提供理论依据。

核偏最小二乘回归在面部表情识别中的应用

面部表情识别作为一个分类问题,由于其在人机交互中扮演着重要角色,已成为人脸识别领域的前沿研究方向.本文分析了(核)偏最小二乘回归并获得了一种新方法来解决这些问题.此外还发现核偏最小二乘回归的第一阶段等价于特征提取的广义判别分析并证明了核偏最小二乘回归可以通过定义虚拟矩阵直接应用于分类问题.通过实验发现,提出的线性降维改进算法在大多数情况下优于其他常用算法;基于面部表情识别的核偏最小二乘回归算法在人脸数据集上也取得了良好的分类效果.

最小二乘支持向量回归滤波系统性能分析

支持向量机(Support Vector Machine:SVM)一直作为机器学习方法在统计学习理论基础上被研究和发展,本文从信号与系统的角度出发,证明了平移不变核最小二乘支持向量机(Least Squares SVM:LS-SVM)是一个线性时不变系统.以Ricker子波核为例,探讨了不同参数对最小二乘支持向量回归(Least Squares Support VectorRegression:LS-SVR)滤波器频率响应特性的影响,这些参数的不同选择相应地控制着滤波器通带上升沿的陡峭性、通带的中心频率、通带带宽以及信号能量的衰减,即滤波器长度越长通带的上升沿越陡,核参数值越大通带的中心频率越高,且通带带宽越宽,正则化参数值越小,通带带宽越窄(但通带中心频率基本保持恒定),有效信号幅度衰减越严重.合成地震记录的仿真实验结果表明,Ricker子波核LS-SVR滤波器在处理地震勘探信号的应用中,滤波性能优于径向基函数(Radial Basic Function:RBF)核LS-SVR滤波器以及小波变换滤波和Wiener滤波方法.

核偏最小二乘特征提取在混合气体FTIR光谱定量分析中的应用

为进一步提高FTIR光谱法实现特征吸收光谱严重重叠的甲烷、乙烷、丙烷、异丁烷、正丁烷、异戊烷以及正戊烷七组分混合气体定量分析的精度和速度,提出一种核偏最小二乘(Kernel Partial Least Square,KPLS)特征提取耦合支持向量回归机(Support Vector Regression Machine,SVR)的红外光谱定量分析新方法.首先采用KPLS方法对上述七组分混合气体的FTIR光谱进行特征提取,然后将特征提取得到的特征组分作为SVR的输入建立混合气体的定量分析模型.对标准混合气体进行定量分析的结果显示:KPLS-SVR模型的预测精度高于未进行特征提取SVR模型预测的精度,同时预测时间也减少了一半.研究表明,KPLS法可以很好地提取隐含在混合气体FTIR光谱数据与其组分浓度之间的非线性特征并有效地消除光谱数据噪声,大幅度降低数据维数,与SVR耦合可以提高红外光谱分析的精度和速度,是一种有效的红外光谱定量分析方法.

基于核偏最小二乘回归的人脸识别

在采用主成分分析进行人脸重构和识别时,仅从样本自身提取特征向量会导致识别误差。因此,在参考主成分分析的基础上,采用偏最小二乘回归进行人脸图像的训练和识别,并对偏最小二乘回归引入核函数。在ORL人脸数据库上的实验结果表明,偏最小二乘回归明显优于主成分分析,同时核偏最小二乘回归也显著提高了识别正确率。

核偏最小二乘算法的图像超分辨率算法

提出了基于核偏最小二乘算法(KPLS)回归的超分辨率复原算法。该算法首先将高低分辨率图像块的高频信息和中频信息作为建立回归关系的特征,并对图像进行分块;依据相应的高低分辨率图像块的关系,使用KPLS建立起回归模型;在复原时,依据该模型回归得到高分辨率的图像块,将图像块拼接为高分辨率的图像。通过对人脸图像和车牌图像的实验结果,表明该算法无论是对人脸图像还是车牌图像都能取得较好的复原效果。

多尺度最小二乘小波支持向量机的回归建模

普通最小二乘支持向量机算法用于多尺度回归建模时精度较低。针对该问题,选取墨西哥草帽小波函数作为最小二乘支持向量机的核函数,设计一种基于小波核的多尺度最小二乘小波支持向量机。在此基础上,通过解二次优化问题求出多尺度回归建模问题的全局最优解,最终得出的多尺度回归模型能够有效地逼近多尺度信号。仿真结果表明,该算法具有较高的精度。

一种大样本学习最小二乘支持向量回归模型

针对最小二乘支持向量回归大样本学习效率偏低的问题,提出了一种最小二乘支持向量回归快速学习算法模型。首先将欧氏距离进行推广,设计了一种支持向量回归高维特征空间相似性测度标准,然后构建了无监督核聚类分析支持向量选择算法,再通过Nystr?m方法逼近原最小二乘支持向量回归学习问题的解。最后采用Sinc函数和多个数据集测试了模型的性能。实验结果表明,在预测误差没有明显下降的情况下,该模型能克服最小二乘支持向量回归处理大样本学习问题时的内存溢出错误,显著提高其学习效率。

核最小二乘算法检测红外点目标(英文)

对于背景呈非线性变化的复杂图像,用背景预测的方法对红外点目标进行检测时,传统的线性最小二乘法(Least Squares,LS)的效果比较差。文章使用核方法(Kernel Methods,KMs)推导了最小二乘法的非线性版本:核最小二乘算法(Kernel Least Squares,KLS);进一步推导出了更适合动态系统时序预测的指数加权形式的核最小二乘算法(Kernel Exponential Weighted Least Squares,KEWLS)。提出了一种基于核方法的红外点目标检测算法,先用KEWLS非线性回归算法预测红外图像背景,再通过自适应门限检测残差图像中的目标。非线性函数回归和红外序列图像检测实验表明核方法较大地改进了算法的非线性函数估计与红外背景预测能力。

核递推最小二乘辨识算法仿真研究

论述了核递推最小二乘辨识思想和三种典型算法即ALD-KRLS、SW-KRLS,和FB-KRLS,通过仿真研究,比较了传统递推最小二乘(RLS)辨识算法和核递推最小二乘(KRLS)辨识算法对非线性系统的辨识能力。仿真研究表明,不论是在辨识精度,稳定性还是抗干扰性方面,KRLS辨识算法明显优于传统RLS辨识法。在这三种典型的KRLS辨识算法,SW-KRLS法比其他两种KRLS辨识算法获得了更好的辨识效果。SW-KRLS法特别适用于时变非线性系统辨识。