鲁棒的模糊最小二乘双参数间隔支持向量机算法

针对最小二乘双参数间隔支持向量机(LSTPMSVM)对噪声敏感且在分类过程中易受异常值影响的问题,提出了一种鲁棒的模糊最小二乘双参数间隔支持向量机算法(RFLSTPMSVM).该算法利用松弛变量的2范数使得优化问题具有强凸性,再根据隶属度为每个样本分配相应的权重,有效降低异常值带来的影响.同时,在目标函数中引入K-近邻加权,考虑样本之间的局部信息,提高模型的分类准确率.此外,通过求解简单的线性方程组来优化该算法,而不是求解二次规划问题,使模型具有较快的计算速度.在UCI(university of California irvine)数据集上对该算法进行性能评估,并与TWSVM、LSTSVM、LSTPMSVM和ULSTPMSVM 4种算法进行比较.数值实验结果表明,该算法具有更好的泛化性能.

正则双胞参数间隔支持向量回归机

双胞参数间隔支持向量机在模式识别上拥有优秀的分类能力。然而,原始的TPMSVM模型仅针对二分类问题,并不能处理回归学习任务。为此,文章提出了一种新的正则双胞参数间隔支持向量回归机模型(RTPMSVR)。RTPMSVR模型的最终回归输出函数是间接通过寻找一对最优的非平行上界和下界参数间隔函数来构建的。通过继承TPMSVM模型的损失函数,RTPMSVR模型分别为上界和下界的参数间隔函数构建二次规划优化模型。此外,为提高模型的泛化能力,引入额外的正则项,进而保障模型解的唯一性。根据对偶理论,构建模型求解的最优KKT条件,并将RTPMSVR模型的原问题转换为对偶问题来求解。最后,通过对比实验,验证了该方法的有效性。

基于PCA的参数化间隔双子支持向量机及其在手写体识别上的应用

改进了基于参数化间隔的双子支持向量机算法的预处理过程，在数据预处理阶段使用了主成分分析法对数据进行降维，提出了基于主成分分析的参数化间隔双子支持向量机，从而加快了整个算法的训练速度．公共数据库上的实验结果显示了该算法的优秀分类能力，对高维数据集的降维效果也比较成功．最后，将这种算法应用到手写体数字识别技术上，实验结果显示出该算法较好的分类性能．

鲁棒双参数化间隔支持向量机

针对不确定数据的二分类问题,提出了一种鲁棒双参数化间隔支持向量机。考虑样本是服从多元高斯分布,并给出了几种协方差矩阵的构造方式。提出的鲁棒双参数化间隔支持向量机通过处理一对较小规模的凸优化问题,寻找两个非平行的参数化间隔超平面,并针对优化问题设计了相应的随机梯度下降算法。当训练样本的方差趋近于零时,鲁棒双参数化间隔支持向量机可退化为传统的双参数化间隔支持向量机。数值实验结果表明,该方法具有较好的泛化性能。

基于双参数最小二乘支持向量机(TPA-LSSVM)的风电时间序列预测模型的优化研究

风电时间序列预测模型的优劣直接影响风功率的应用价值,最小二乘支持向量机(least squares support vector machine,LSSVM)在处理风电预测问题上具有明显优势。提出了一种双参数算法(two-parameter algorithm,TPA),从理论上证明了任意初始值均可线性收敛到全局最优值。调用TPA算法对LSSVM模型的惩罚因子和径向基宽度进行寻优赋值,并将训练好的TPA-LSSVM模型应用于风电预测中。仿真结果表明,与LSSVM模型、粒子群最小二乘支持向量机(PSO-LSSVM)模型、径向基函数神经网络(RBFNN)模型相比,TPA算法可以更好地实现LSSVM的参数寻优,TPA-LSSVM模型能有效提高预测精度。

改进的萤火虫算法优化双支持向量机参数

针对原始萤火虫算法(Firefly Algorithm,FA)易陷入局部最优、求解精度低,双支持向量机(Twin Support Vector Machine,TWSVM)参数选择困难的问题,提出基于改进萤火虫算法(DEFA)的双支持向量机模型(DEFA-TWSVM).首先,对原始萤火虫算法进行改进,得到DEFA算法:在萤火虫位置更新公式中结合动态惯性权重,自适应地调整步长控制因子来快速搜索全局和局部最优解,对每次移动后的萤火虫群融入差分进化算法(Differential Evolution,DE)策略,保证种群迭代多样性,通过基准测试函数的仿真结果表明改进后的算法全局寻优能力强,不易陷入局部最优.其次,利用DEFA算法优化TWSVM的参数.最后,在UCI数据集进行测试,得到DEFA-TWSVM和其他模型的分类准确率.通过比较发现:DEFA算法可以在训练过程中自动确定TWSVM参数,解决了TWSVM参数选择盲目的问题,平均分类准确率相较其他模型提高了2到5个百分点.

粒子群算法优化双核支持向量机及应用

针对支持向量机核函数和控制参数选取难度较大的问题,提出了一种主动划分参数区间的双尺度径向基核支持向量机,并用并行定向变异混合粒子群优化算法选取其控制参数。试验分析了利用标准数据集经多次独立重复试验得到的均值等统计量,验证、测试了上述支持向量机模型,同时考虑了类间数据不平衡的影响。结果表明,双尺度径向基核函数的性能在多数情况下优于单径向基核函数,并行定向变异的混合粒子群优化算法优于标准粒子群优化算法,能够有效抑制早熟收敛,有利于搜索到更优的支持向量机控制参数。

基于支持向量机的复合柱体目标参数反演

用支持向量机(support vector machine,SVM)结合双共轭梯度-快速傅里叶变换方法(BCG-FFT)重构二维金属/介质复合结构柱体目标参数。采用BCG-FFT方法数值模拟复合结构目标的散射特性,以散射电场作为训练样本提供给支持向量机学习,经过适当的离线训练,建立支持向量机逆散射模型,实时重构了复合柱体目标的几何、电磁参数;在相同的条件下,采用人工神经网络(artificial neural net-works,ANN)方法对复合目标参数也进行了重构;比较分析了训练样本信息的差异对支持向量机重构精度的影响。与ANN方法的结果比较表明:支持向量机方法能有效地用于复合结构目标参数反演,且具有较高的精度。

增强型投影双胞支持向量机设计

投影双胞支持向量机(PTSVM)在分类问题上拥有优秀的泛化能力。然而,在对偶求解方面,PTSVM模型存在矩阵求逆运算。这不仅增加了模型的训练负担,而且容易导致模型解的不稳定性。为解决上述问题,提出了一种新的增强型投影双胞支持向量机模型(IPTSVM)。IPTSVM模型能够寻找一对最优非平行投影方向。在新的投影空间,同类别的样本点尽量聚集在类内投影中心附近,而其他类样本应尽量远离当前类别中心,有效地避免了矩阵求逆问题,提高了模型的训练效率。同时,在IPTSVM模型中,利用等式约束对类内样本的损失函数进行了重构,并将正则项引入,显著提高了模型的泛化能力,保障了模型解的稳定性。基于UCI公共数据集上的仿真试验结果,验证了IPTSVM模型的有效性。

基于竞争ISPO双胞支持向量回归短期负荷预测

双胞支持向量回归TSVR(twin support vector regression)参数的合理选择严重影响回归结果的准确性。该文采用竞争型智能单粒子算法CISPO(competitive intelligent single particle optimizer)优化参数。CISPO针对智能单粒子算法中各因子值难以确定的问题,在每次迭代中根据待优化参数的变化情况自动选择最佳的因子值,同时引入迭代竞争因子,避免算法前期陷入混乱,而后期又能更好地找到全局最优值。将基于CISPO优化的TSVR模型应用到电力系统短期负荷预测中,结果表明,该方法能有效提高负荷预测的速度和精度。

双边界支持向量机的理论研究与分析

根据统计学习理论,间隔大小是反映泛化能力的一个很重要的方面.受一类支持向量机(SVM)的启发,提出的双边界SVM能分别用2个边界对2类问题分类.它能在保证分类正确的同时保证分类间隔的最大化,理论上分别从推广性能和不平衡类分布2方面证明了其优越性.标准数据集上的实验表明,双边界SVM得到的分类间隔要大于SVM,泛化性有了显著提高;另外,不平衡数据集上分析得到它对少数类识别率有明显提升.真实入侵数据测试结果表明,双边界SVM算法比边界样本选择算法的检测率高出2%以上.

基于总类内分布的松弛约束双支持向量机

针对数据分类问题,考虑到实际应用中噪声数据对分类结果的影响,提出一种新的基于总类内分布的松弛约束双支持向量机模型;该双支持向量机算法从约束不等式集出发,通过模糊集的思想引入一对约束参数项来松弛约束条件,提出松弛约束的隶属度函数,以有效减少噪声数据对分类结果的影响;同时将样本总的类内分布信息引入到双支持向量机模型的构造中,提出总类内离散度矩阵正定的条件。结果表明,与4个常见的双支持向量机相比,提出的双支持向量机模型不仅有较好的减噪及分类性能,而且具有较强的鲁棒性。

支持向量机的电力故障检测方法研究

为保证电力系统的安全运行,针对智能电网中故障检测模型准确率低、泛化能力差等问题,提出了一种基于机器学习的电力故障检测方法。中心双胞参数支持向量机在模式识别上具有优秀的分类能力。然而,中心双胞参数间隔支持向量机(CTPSVM)模型的解需要通过求解二次规划问题来获得,并不适合处理大规模学习问题。为解决上述问题,提出了一个新的最小二乘法中心双胞参数间隔支持向量机模型(LSCTPSVM)。在LSCTPSVM模型中,首先将CTPSVM模型的不等式约束松弛到等式约束,并引入最小二乘法损失函数来惩罚犯错样本。然后,为提高模型的泛化能力,额外的正则项被引入到LSCTPSVM模型中,进而保障了模型解的唯一性。相对于CTPSVM模型的解需要借助于二次规划的对偶问题来间接的求得,LSCTPSVM模型可直接使用简单而高效的线性方程组系统来获得其原始问题的最优解。最后,在公共数据集和电网遥感数据集上,通过大量的对比试验,验证了该方法的有效性。

采用双目标优化的核参数选择方法

核函数的参数选取问题是用支持向量机进行非线性学习时的一个重要问题。采用距离标准和夹角标准给出一种基于多目标的核参数确定方法:使核参数满足两类训练样本到各自的中心距离和尽可能小、而到对方类中心距离和尽可能大,并且使核矩阵和目标核矩阵之间的夹角尽可能小。试验结果表明该方法是有效的。

光滑有下界的奖惩结合损失函数的最大间隔双球模型

在极度不平衡分类问题中,球形分类器将分类正确样本的损失计为零,仅使用误分样本构造决策函数.文中提出光滑有下界的奖惩结合损失函数,将分类正确样本的损失计为负,实现对目标函数的奖励,避免边界附近噪声的干扰.基于最大间隔双球面支持向量机,利用损失函数,建立奖惩结合的最大间隔双球模型.通过牛顿法构造两个同心球.小球体在覆盖多数类样本的同时抛弃多余的空隙.大球通过增加两个同心球之间的间隔,排除少数类.实验表明,文中模型分类效果较优.

基于参数间隔孪生支持向量机的增量学习算法

针对处理大量时间序列数据或数据流时,参数间隔孪生支持向量机(TPMSVM)分类训练速度依然较慢的问题.本文证明了样本满足TPMSVM的KKT条件所对应的数值条件,并根据结论提出一种适用于TPMSVM的增量学习算法用于处理时间序列数据.该算法选取新增数据中违背广义KKT条件和部分满足条件的原始数据,参加分类器训练.实验证明:本文提出的增量算法在保持一定分类精度的同时提高了TPMSVM的训练速度.

最小二乘双胞支持向量回归机的研究

利用最小二乘方法和临近支持向量机(PSVM)算法,并结合双胞支持向量机(TSVR),提出了最小二乘双胞支持向量回归机(LSTSVR).作为对照,TSVR需要求解2个二次规划问题,而LSTSVR仅需求解2个线性方程组.最后利用不同的实例验证了所提算法的可行性和有效性.

基于最优参数搜索的车辆中网识别方法研究

目前国内外车型识别方法中基于中网区域特征的研究较少,且分类识别的效率和精度较低。该文在分析中网格栅区域结构特征、中网窗口形状特征及区域纹理特征的基础上,提出基于最优参数搜索的改进型C参数的支持向量分类(C-SVC)车辆中网分类识别方法,该方法采用双角度约束以提高分类的效率和精度,即一方面设计基于马氏距离和"as-原则"对样本数据进行优化分选,并结合加权判别算法加快支持向量机的训练测试速度,以提高算法泛化效率;另一方面在核函数参数设定过程中,设计了基于先验知识的迭代最优参数搜索算法,以提高分类器的分类识别精度。实验表明,上述车辆中网识别方法检测准确率达到97.53%,具有精度高、误检率低的优点,同时极大优化分类识别效率,能够满足识别分类的实时性要求。

铁磁性管道物理参数反演方法研究

铁磁性管道的物理属性(管道内径、磁导率和电导率)是管道缺陷定量的重要补偿因子。基于管道内部环境的涡流阻抗模型,提取管道物理属性对应的阻抗相位作为物理参数反演的特征信号;分析了不同管道内径对检测的相位特征信号的影响,并给出双接收线圈模型以实现不同内径管道的物理参数反演。为了达到不同管道内径物理参数的检测,实现相位特征信号到管道物理属性的非线性逆映射,提出基于非线性多项式和最小二乘支持向量回归机LS-SVR的反演模型。最后通过基于远场涡流的检测仪器测试管道,证明了在双接收线圈模型基础上,基于LS-SVR的管道物理参数反演方法的可行性。

一种改进型PSO算法在SVM参数寻优中的应用

SVM算法以其良好的泛化能力广泛应用于解决非线性分类问题,文中针对该算法中径向基核函数的参数寻优问题进行了详细探究,提出一种改进型PSO算法即在标准PSO算法中应用非线性惯性权重策略并引入双变异算子,避免算法陷入边缘局部最优,增加粒子多样性,在全局极值停止变化后,改进粒子前进方向使粒子再次进入更新搜索过程。实验结果表明,利用改进型PSO算法寻找最优参数,分类准确率明显提高,因此所提算法是进行SVM参数寻优的有效算法。