基于最小二乘孪生支持向量机的不确定数据学习算法

孪生支持向量机通过计算2个二次规划问题,得到2个不平行的超平面,用于解决二分类问题。然而在实际的应用中,数据通常包含不确定信息,这将会对构建模型带来困难。对此,提出了一种用于求解带有不确定数据的最小二乘孪生支持向量机模型。首先,对于每个实例,该方法都分配一个噪声向量来构建噪声信息。其次,将噪声向量结合到最小二乘孪生支持向量机,并在训练阶段得到优化。最后,采用一个2步循环迭代的启发式框架求解得到分类器和更新噪声向量。实验表明,跟其他对比方法比较,本方法采用噪声向量对不确定信息进行建模,并将孪生支持向量机的二次规划问题转化为线性方程,具有更好的分类精度和更高的训练效率。

基于最小二乘法和支持向量机的海洋内孤立波传播速度反演模型

传播速度是内孤立波的重要参数之一,如何通过光学遥感图像准确快速地获得内孤立波速度是目前需要解决的重要科学问题.本文在实验室建立了模拟内孤立波光学遥感成像系统,开展了系列综合实验,获取实验数据库,并利用最小二乘法和支持向量机两种方法分别建立基于单景光学遥感图像的内孤立波速度反演模型.利用中国南海的MODIS图像和GF-4图像数据对速度反演模型进行精度检验.研究结果表明:最小二乘法内孤立波速度反演模型能够给出回归方程,物理意义更为直观,且在300—399 m水深范围精度更高,而支持向量机内孤立波速度反演模型在水深400—1200 m和83—299 m的范围内精度高.因此两种内孤立波速度反演模型各有优势,都可以应用于真实海洋中内孤立波速度的反演.

模糊最小二乘孪生支持向量机聚类

孪生支持向量机聚类是一种新的基于平面的聚类方法,但其没有考虑样本数据分布对聚类性能的影响。为了解决这个问题,本文基于样本分布信息构造了一种模糊隶属度,在此基础上提出了模糊最小二乘孪生支持向量机聚类算法。该算法通过引入模糊隶属度函数,并对每个样本点赋予不同的权重,可以改进聚类性能。在人工数据集和UCI数据集上进行实验,并与K-means、KPPC、TWSVC和LSTWSVC算法进行比较,实验结果说明了本文算法的有效性。

Fisher正则化的最小二乘孪生支持向量机

最小二乘孪生支持向量机是一种有效的模式分类算法,然而每一个训练样本都对最终的决策平面有影响。如果训练集含有噪声或异常点,其会过度关注这些点,这可能导致最小二乘孪生支持向量机的判别能力较差。为了解决这个问题,受Fisher准则思想的启发,本文引入了双Fisher正则化项,并在此基础上提出了Fisher正则化的最小二乘孪生支持向量机。同时,在人工数据集和UCI数据集上验证了所提算法的有效性。

粒子群最小二乘支持向量机结合偏最小二乘法用于芝麻油质量的鉴别

结合粒子群最小二乘支持向量机(PSO-LSSVM)与偏最小二乘法(PLS)提出一种基于气相色谱技术的新方法,对芝麻油进行真伪鉴别,并对掺伪品中掺假比例进行定量分析。采用主成分分析法(PCA)对857个样本的脂肪酸色谱数据进行分析,优选主成分作为最小二乘支持向量机(LSSVM)的输入向量。利用粒子群算法(PSO)优化LSSVM,构建芝麻油掺伪鉴别的两级分类模型,同时运用PLS建立掺伪芝麻油中掺伪油脂的定量校正模型,两级分类模型的准确率分别达到了100%和98.7%,定量分析模型的平均预测标准偏差(RMSEP)为3.91%。结果表明,本方法的鉴别准确性和模型泛化能力均优于经典的BP神经网络和支持向量机(SVM),可用于食用油脂加工和流通环节的质量控制,为食用油质量的准确鉴定提供了一条有效途径。

一种改进的最小二乘孪生支持向量机分类算法

提出了一种新的模式分类器,即广泛权重的最小二乘孪生支持向量机.该支持向量机在正、负两类样本上广泛地增加权重,很好地抑制了交叉噪声样本对数据分类的影响.其次,根据间隔最大化原理,该支持向量机在目标函数上增加了一个正规化项,实现结构风险最小化和避免在求解该目标函数时可能对病态矩阵求逆的处理.同时,提出了利用一种指数函数计算训练样本的密度来获得样本权重值的算法.该算法能够有效缩减计算权重的时间,且具有较强的鲁棒性.实验证明本文提出的广泛权重的最小二乘孪生支持向量机能够实现高精度和高效率的分类效果,而且特别适合于含有交叉噪声样本的数据集分类.

结合HJ卫星影像和最小二乘孪生支持向量机的小麦蚜虫遥感监测

为了准确、及时地监测小麦蚜虫发生情况,利用野外定位调查数据及环境与灾害监测预报小卫星星座HJCCD和HJ-IRS影像数据,在北京市通州区和顺义区小麦蚜虫发生的关键生育期(灌浆期),提取对蚜虫病情影响较大的小麦长势因子和生境因子,利用最小二乘孪生支持向量机建立该研究区的小麦蚜虫监测模型,并与传统支持向量机、费歇尔线性判别分析和学习矢量量化神经网络模型的监测结果进行对比。结果表明:最小二乘孪生支持向量机模型的总体监测精度达到86.4%,优于传统支持向量机模型(77.3%)、费歇尔线性判别分析模型(77.3%)和学习矢量量化神经网络模型(72.7%),取得了较好的监测效果。

基于聚类分析与偏最小二乘法的支持向量机PM_(2.5)预测

考虑样本和输入变量的选取对预测模型精度的影响,文章提出一种基于K-means聚类与偏最小二乘法的支持向量机PM_(2.5)浓度预测方法。首先采用K-means算法对气象属性进行聚类,间接把PM_(2.5)序列分成了相似度较高的若干类,并分别作为预测建模用的训练样本;然后采用偏最小二乘法从影响PM_(2.5)浓度的多种因素中提取主成分,作为各类模型的优化输入;最后根据预测日的气象属性选出合适类别,运用优化后的训练样本和输入变量建立PM_(2.5)浓度预测模型。以北京市某监测点的实际数据为例,运用改进模型和传统模型分别进行实验。结果表明:改进的支持向量机相比传统支持向量机在预测精度上有明显的提高,精度评价指标MAE、MAPE和RMSE分别下降38.10%、50.59%、37.15%。研究实证,引入K-means聚类与偏最小二乘法的手段来提高传统支持向量机在PM_(2.5)浓度预测中的精度具有可行性。

结合偏最小二乘法和支持向量机的遥感影像变化检测

针对多光谱遥感影像通道之间相关性影响难以消除及变化检测的阈值难以确定的问题,提出了一种结合偏最小二乘法(PLS)和支持向量机(SVM)的遥感影像变化检测方法。将两个时相的多通道遥感影像视为两组多元随机变量,引入多元统计数据分析方法中的PLS理论,进行成分提取并构造差异影像;再通过SVM将差异影像分为变化与不变化两类别;最后利用形态学算子对分类结果作处理。选取Landsat8多光谱遥感影像进行试验,结果表明该方法可以很好地实现多光谱影像的变化检测,对地理国情数据监测具有重要意义。

基于聚类与改进最小二乘法支持向量机算法的汽车总装输送装备故障预警方法

汽车总装工艺复杂、生产节拍快、产量大,百分之六十以上的时间都在进行主辅物料输送,因此输送装备由于故障引起的停机会造成巨大的经济损失。为了对生产物料输送装备的健康状态作出评估,并在可能发生故障时作出预警,提出一种基于生长型神经气聚类算法与改进最小二乘法支持向量机(LS-SVM)回归模型的汽车总装输送装备故障预警方法。首先根据传感器的历史信号数据进行特征提取和降维处理,获得特征向量;运用生长型神经气聚类算法,将正常状态数据划分为多种工况,得到若干聚类中心,并计算当前运行数据的特征向量与聚类中心的欧式距离从而得到相似度趋势;同时构建了历史记忆矩阵,并通过改进粒子群算法优化LS-SVM回归模型参数,计算残差值,并结合残差值与相似度趋势,得出风险系数,对装备状态进行评估和预警。将所提方法应用于汽车总装物料输送设备,将减速器与轴承的振动值的均方根输入模型,得出设备的风险因子,证明了该方法的有效性。

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机(twin parametric insensitive support vector regression,简称TPISVR)是一种新型机器学习方法.与其他回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机(least squares TPISVR,简称LSTPISVR).为了解决LSTPISVR的参数选择问题,提出了混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验结果表明:LSTPISVR在保持精度不下降的情况下,具有更高的运行效率.

增量式最小二乘法分类器与增量式支持向量机的对比

在处理大规模数据时,近似支持向量机及其增量式版本(ISVM)是一种比传统支持向量机更加简单而有效的分类器.但在处理高维数据时,由于ISVM通过计算矩阵的逆来更新模型参数,这使得其计算效果有待提高.针对上述问题,本文提出了基于最小二乘法的增量式方法.该增量式方法通过对矩阵运算的恒等推导,把矩阵求逆问题转变成了除法运算,得到了简单的模型参数更新公式,从而获得了和ISVM同样的预测精度,且在处理高维数据时运行效率更高.在合成数据及图像和生物数据上的试验表明该增量式方法优于ISVM方法.

一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。

基于最小二乘孪生支持向量机的图像拼接检测

图像篡改最基础的手段便是拼接,为了恢复人们对数字图像的信任,图像拼接检测变得非常重要.论文提出一种基于最小二乘孪生支持向量机的图像拼接检测算法,算法对待测图像进行对偶数复小波变换以获取不同的子带图像,对子带图像提取其马尔科夫状态转移概率矩阵,将该概率矩阵作为拼接特征向量送入最小二乘孪生支持向量机训练以获取预测模型,最后根据该模型来判断待测图像是否经过拼接.在哥伦比亚大学无压缩图像拼接检测评估库和哥伦比亚大学图像拼接检测评估库上分别进行实验,与传统算法做对比,实验结果充分证明论文所提算法具有更高的拼接检测准确率.

基于能量的结构化最小二乘孪生支持向量机

针对最小二乘孪生支持向量机对噪声和离群值非常敏感的问题,本文提出了一种基于能量的结构化最小二乘孪生支持向量机。首先对每个类进行聚类分析,然后计算类中各个簇的协方差矩阵并将其引入到目标函数中。其次,为了降低噪声和离群值对算法的影响,本文为每个超平面引入能量因子,在最小二乘的基础上将等式约束转换为基于能量的形式。最后采用“多对一”的策略将提出的算法用于处理多分类问题。研究结果表明:本文提出的基于能量的结构化最小二乘孪生支持向量机具有良好的分类性能。

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。

鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。

基于最小二乘支持向量机的国公酒中橙皮苷含量测定

应用近红外光谱技术结合最小二乘支持向量机建立了国公酒中橙皮苷含量的模型。利用Kemard-Stone法对训练集样本进行划分，对光谱数据预处理方法进行了选择，比较了平滑、范围标度化、自标度化、一阶微分、二阶微分以及这几种预处理相互结合的六种方法，确定了以平滑、一阶微分，范围标度化作为国公酒近红外光谱的数据预处理方法，采用组合的间隔偏最小二乘法筛选出有效波段8211～8312cm^-1及9712~9808cm-1。应用最小二乘支持向量机建立模型，所建模型的交叉验证误差均方根为0．0001，预测误差均方根为0．004，预测集的相对偏差小于5％。与组合的间隔偏最小二乘法、径向基一人工神经网络和支持向量机进行了比较。该方法快速、无损且可靠，可作为国公酒中橙皮苷含量快速测定的手段。

基于最小二乘支持向量机的白酒酒醅成分定量分析

利用近红外光谱技术实现对白酒发酵过程中酒醅主要成分的质量控制,并进行模型优化,提高性能。采用偏最小二乘法提取的潜在变量作为最小二乘支持向量机的输入变量,先后建立了白酒酒醅中酒精度、淀粉、水分、酸度的近红外定量模型,并与经无信息变量消除法波段筛选后建立的偏最小二乘模型结果进行比较。结果表明:与偏最小二乘模型相比,4个指标的最小二乘支持向量机定量模型的相关系数(R^2)、预测均方根误差以及相对分析误差3个评价参数均有更优表现;对未知样品进行预测时,最小二乘支持向量机模型的预测准确度明显高于偏最小二乘模型。说明最小二乘支持向量机模型的准确度、稳定性及预测性能均优于偏最小二乘法模型,为白酒酒醅的品质分析方法研究提供了新的思路。

基于最小二乘支持向量机的载流故障趋势预测

提出基于最小二乘支持向量机(LS-SVM)的电力设备载流故障趋势的预测算法,并采用粒子群优化(PSO)算法对其参数进行优化。采用主元分析法(PCA)对各触点温度序列进行特征分析,在温度分布异常的情况下提取故障的早期特征;以此时刻为起点,采用PSO与最小二乘支持向量机相结合的方法,并结合实时更新的现场温度信息,对载流故障发展的短期趋势和长期趋势分别进行预测。基于实际运行数据的实验结果表明,将长期预测时间裕量大与短期预测精度高的优势相结合,可以对载流故障的发展趋势做出较为准确的预测。