回归支持向量机的改进序列最小优化学习算法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度.

支持向量机改进序列最小优化学习算法

为提高支持向量机序列最小优化学习算法的学习性能,提出了一种支持向量机改进序列最小优化学习算法,对传统SMO学习方法进行了多方面改进,从优化变量的选择和2个变量的优化方法分别提出具体可行的改进方法.改进后的SMO学习算法提高了学习速度,加快了网络收敛速度.基于改进SMO算法的仿真结果验证了改进SMO算法的有效性和优越性,并通过仿真,与原始算法进行了比较,显示了改进SMO算法的快速性.

求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.

优化极限学习机的序列最小优化方法

针对传统二次规划求解方法训练优化极限学习机(OMELM)存在速度慢和效率低的问题,提出了单变量迭代序列最小优化(SSMO)算法.该算法通过在框式约束中优化拉格朗日乘子来实现目标函数的最小化:首先在初始化拉格朗日乘子中选择使目标函数值下降最大的拉格朗日乘子,将该拉格朗日乘子作为目标函数的唯一变量;然后求解目标函数的最小值并更新该变量的值;重复这个过程直到所有的拉格朗日乘子都满足二次规划问题的Karush-Kuhn-Tucker条件为止.实验结果表明:SSMO算法只需调节很少的参数值便可得到足够好的泛化性能;采用SSMO算法的OMELM方法在泛化性能上要好于采用序列最小优化算法的支持向量机方法;在随机数据集测试中,SSMO算法具有较好的鲁棒性.

一种改进的支持向量机序列最小优化算法

提出一种改进的序列最小优化算法,它在选取工作集时选取优化步长最大的违反KKT条件的样本和其配对样本,并且对求解过程进行简化,从而使训练过程速度更快。实验表明,该算法是有效、可行的。

基于粒子群优化的最小二乘支持向量机在时间序列预测中的应用

为提高基于最小二乘支持向量机(LSSVM)的时间序列预测方法的泛化能力与预测精度,研究了一种基于粒子群优化(PSO)的LSSVM。该方法以交叉验证误差为评价准则,利用PSO对多个具有不同超参数的LSSVM进行基于迭代进化的优化选择,并以交叉验证误差最小的LSSVM作为最终优化后的LSSVM。时间序列预测实例表明,经PSO优化后的LSSVM的预测精度高于未经优化的LSSVM与传统时间序列预测方法的预测精度。

应用序列最小优化算法的火电厂协调系统的预测

针对支持向量机二次规划(QP)算法处理大规模数据时计算复杂度高的问题,介绍了适宜处理大规模数据回归问题的序列最小优化(SMO)算法,并在该算法的基础上进行了改进,使运算速度得到进一步的提高。同时,将SMO算法及其改进算法(I-SMO)用于火电厂协调系统的预测,并同QP算法进行了比较。仿真结果表明,I-SMO算法比QP算法具有更高的预测精度和更快的运算速度,并且比SMO算法在计算速度方面又有较大的提高。

基于取样的潜在支持向量机序列最小优化算法

为了提高潜在支持向量机求解大规模问题的训练速度,提出了基于样本取样的潜在支持向量机序列最小优化算法,去掉了大部分非支持向量,把支持向量逐渐压缩到取样样本集中.此算法特别适合大样本数据且支持向量个数相对较少的情况.实验表明,改进的序列最小优化算法加速了潜在支持向量机分类器训练时间.

基于序列最小优化的SIFT特征提取与匹配算法

SIFT是特征提取与匹配技术中的一种有效的方法,具有较好的稳定性,以及旋转和尺度不变特性。但是SIFT特征提取与匹配的维数较高,且存在较大的误匹配率,影响双目立体视觉SLAM的实时性和准确率。为此,提出SMO-SIFT算法,对原SIFT进行欧氏距离比值的阈值选取进行粗匹配,再结合支持向量机的SMO算法,改进SIFT算法中的特征匹配算子。MATLAB仿真表明SMO-SIFT算法降低了算法的维数,改善了特征提取的实时性,同时提高了算法精确度,比较适合应用于双目立体视觉SLAM中。

非光滑约束最优化问题的最小值序列

研究了非光滑凸函数的LP最小值序列的性质 ,并给出了它与稳定序列之间的关系 .

约束优化问题中LP最小值序列的性质和判定

从凸函数的次微分出发,采用非光滑分析的方法,考察约束优化问题中当约束集为非空闭凸锥时,LP最小值序列的性质及判定方法,并进一步考察Banach空间中当约束为不等式时的特殊情形.

约束最优化问题中的LP最小值序列

主要在R^N空间下讨论了有约束的凸最优化问题中LP最小值序列的性质及判别方法。

训练支持向量机的并行序列最小优化方法

序列最小优化(SMO)是训练支持向量机(SVM)的常见算法,在求解大规模问题时,需要耗费大量的计算时间。该文提出了SMO的一种并行实现方法,验证了该算法的有效性。实验结果表明,当采用多处理器时,并行SMO具有较大的加速比。

序列最小优化工作集选择算法的改进

序列最小化算法(SMO)是支持向量机重要的常用分解方法。而工作集的选择是实现序列最小优化算法的关键。通过重写KKT条件,提出了一种改进的新工作集选择方法,并相应提出最小化步骤。通过将改进的支持向量机方法应用于网络用户行为数据的分析,与现有方法进行对比测试,验证了新工作集选择方法将减少支持向量机的学习时间并加快收敛过程,改进的支持向量机方法在运行效率和准确度上都有不同程度的提高。

基于二阶序列最小优化的最小闭包球近似算法

对求解大规模高维数据集的最小闭包球问题进行研究。基于机器学习中训练支持向量机的序列最小优化(Sequential Minimal Optimization,SMO)算法,提出一种近似计算最小闭包球的二阶SMO-型算法。利用Lagrangian对偶函数的二阶泰勒展开式计算新的工作集,每次迭代只更新工作集所对应可行解的两个分量,构造新的可行解,并建立二阶SMO-型算法的多项式时间复杂度。数值实验结果表明,对于大规模高维数据集,二阶SMO-型算法比一阶SMO-型算法运行速度更快,尤其结合了加速技术的二阶SMO-型算法计算效率更高。

序贯最小优化的改进算法

序贯最小优化(sequential minimal optimization,简称SMO)算法是目前解决大量数据下支持向量机(support vector machine,简称SVM)训练问题的一种十分有效的方法,但是确定工作集的可行方向策略会降低缓存的效率.给出了SMO的一种可行方向法的解释,进而提出了一种收益代价平衡的工作集选择方法,综合考虑与工作集相关的目标函数的下降量和计算代价,以提高缓存的效率.实验结果表明,该方法可以提高SMO算法的性能,缩短SVM分类器的训练时间,特别适用于样本较多、支持向量较多、非有界支持向量较多的情况.

基于最大-最小蚁群系统的装配序列规划

提出一种结合了蚁群系统与最大-最小蚂蚁系统优点的装配序列规划(Assembly sequence planning,ASP)方法。对近十年基于蚁群优化的ASP文献中采用的优化指标、装配信息模型、实例零件数等进行综述和比较。为提高序列的装配效率区分度,研究方向性、并行性、连续性、稳定性和辅助行程等5项指标的自动量化方法,将其融入到蚁群优化多目标启发式函数和适应值函数中。为提高对最优序列的搜索能力,以装配几何可行性为基础,从蚂蚁数量的确定、最大-最小信息素的界定、初始零件分配位置的绩效考核机制以及对并行零件组强制优化机制等方面,设计针对性解决方案,提出基于最大-最小蚁群系统的ASP算法。开发基于Siemens NX的装配规划系统AutoAssem。以阀门为实例,验证了算法内部各项优化措施的有效性,同时与优先规则筛选法、遗传算法及粒子群算法进行比较,分析该算法在运行效率和序列性能方面的优势。

混沌时间序列预测模型参数同步优化

传统上相空间重构与预测模型参数优化分开优化,割裂两者的联系,模型预测性能难以达到最优。利用相空间重构和预测模型参数的互相关系,提出一种混沌时间序列预测模型参数同步优化方法。首先采用均匀设计方法对影响模型预测精度的参数进行均匀设计,然后采用自调用最小二乘支持向量机进行参数同步优化,得到最优参数。以经典混沌时间序列太阳黑子年平均数为例进行了验证,结果表明,相对传统的参数优化算法,参数同步优化算法时间复杂度低、预测精度高,为混沌时间序列预测模型参数优化提供了一种新的思路。

求解最小闭包球问题改进的SMO-型算法

研究n维空间中m个点的最小闭包球(MEB)问题。通过结合确定并删除内部点的技术到序列最小最优化(SMO)方法中,提出一种近似求解MEB问题的改进的SMO-型算法。证明了该算法具有线性收敛性。数值结果表明对于一些mn的大规模数据集,改进的算法与原算法相比速度可以提高10倍以上。尤其,当n等于100且m等于100000时,改进的SMO-型算法仅需执行8s。此外,对于n等于10000且m等于1000的大规模数据集,改进的算法也仅需执行150s。

支持向量机序贯最小优化算法推导的改进

已有文献中的支持向量机SMO算法推导过程计算复杂,该文给出一个简洁推导。整个推导过程没有复杂的计算,除了误差函数外,不需引入其它中间变量。