纠错输出编码的留一误差界估计

纠错输出编码(ECOC)作为分解框架,将多类分类问题转化为二类分类问题,是解决多类分类问题的有效手段。为了提高ECOC的泛化性能,对ECOC基分类器的设计问题进行了研究。解决这一问题的关键是对ECOC的泛化性能进行估计。留一(LOO)误差作为泛化性能的无偏估计,研究了ECOC留一误差界的估计问题。先给出了ECOC留一误差的定义,基于此定义,再给出了基分类器为支持向量机(SVM),解码方法为线性损失函数解码时,ECOC留一误差的上界和下界。在人工数据集和UCI数据集上的实验表明,ECOC留一误差的上界可以指导基分类器的参数选择,通过基分类器设计可以提高ECOC的泛化性能。此外,ECOC的训练误差可以作为ECOC留一误差的下界,对ECOC留一误差下界的研究可以作为未来的研究方向。

基于即时学习的非线性系统优化控制

基于数据驱动机制的逆控制是一种非线性系统控制方法,关键问题在于局部逆控制模型的准确性,但尚无校验机制来保证其能否产生期望的输出.为此,提出一种k-VNN即时学习算法,提高了逆控制模型的建模精度.将该算法与性能指标优化策略相结合,在线修正逆控制模型预估的系统控制量,可得到系统的一步最优控制量,实现非线性系统的跟踪控制.为提高控制系统的泛化能力,提出一种数据库数据更新策略.仿真结果表明了所提出方法的有效性.

基于减量学习的鲁棒稀疏最小二乘支持向量回归机

针对最小二乘支持向量回归机缺乏鲁棒性和稀疏性,提出采用自下而上的学习方式和循环逐一删除样本框架的鲁棒稀疏算法。为增强鲁棒性,采用基于留一误差的鲁棒"3σ"准则检测并删除异常样本。为提高稀疏性,采用基于最小绝对留一误差的剪枝策略删除不重要样本。为降低计算量,采用快速留一误差和减量学习更新模型。实验结果表明:新算法有较强的鲁棒性,同时在模型泛化性能略有下降的情况下,支持向量数目大幅减少。