最优间隔分布脊回归

脊回归(ridge regression,RR)是经典的机器学习算法之一,广泛应用于人脸识别、基因工程等诸多领域.其具有优化目标凸、存在闭合解、可解释性强以及易于核化等优点,但是脊回归的优化目标并没有考虑样本之间的结构关系.监督流形正则化学习是最具代表性的、最成功的脊回归正则化方法之一,其通过最小化每类类内方差来考虑样本之间的类内结构关系,可是单纯地只考虑类内结构仍然不够全面.以一种全新的视角重新审视最近提出的"最优间隔分布学习"原理,发现了最优间隔分布的目标可以同时优化类内间隔方差和类间间隔方差,从而同时优化了局部的类内结构和全局的类间结构.基于此提出了一种充分考虑数据结构化特征的脊回归算法——最优间隔分布脊回归(optimal margin distributionmachine ridge regression,ODMRR)算法,该算法具有RR以及MRRR(manifold regularization ridge regression)的各种优势.最后通过实验验证了该方法具有优越的性能.

面向半监督聚类的最优间隔分布学习机

基于间隔的聚类是一类经典的聚类算法,此类算法假设聚类结构能通过引入监督学习中的间隔来确定.即一个好的聚类结果,当以其簇标记作为类别标记进行监督学习时,所得分类器产生的关于间隔的目标物理量也同时达到最优.目前最为有效的间隔物理量是间隔分布,其基于最新的间隔理论,取得了比优化最小间隔更好的效果.然而在现实聚类任务中,我们往往还能获得一些额外的监督信息,例如两两样本之间的"必连"约束和"勿连"约束,此时优化间隔分布是否还有效尚未可知.对此,本文提出面向半监督聚类的最优间隔分布学习机(ODMSSC),对该问题进行初步探索. ODMSSC对应的形式化是一个混合整数规划,我们将其放松成一个鞍点问题,并提出一种高效的交替优化方法进行求解.最终通过真实数据集上的实验,我们验证了所提算法的有效性.

邻域欠采样的AdaBoostv算法

针对类别非平衡情况下的类重叠问题,引入了两种基于邻域的欠采样方法:共同近邻搜索欠采样和递归搜索欠采样,其主要思想是通过消除重叠区域中的负类样本来缓解类别非平衡问题,学习算法采用AdaBoost v算法,通过最大化样本的最小间隔(最优间隔)来提高分类器的分类能力.为了进一步解决非平衡数据分类问题,AdaBoost v算法的基分类器采用加权最优间隔分布机模型,对模型中的间隔均值项和铰链损失项加权,权值是依据数据的非平衡比给出的,并利用带有方差减小的随机梯度下降方法对优化模型进行求解,以提高算法的收敛速度.对比实验表明,提出的算法在非平衡数据分类问题上具有明显的优势.

基于mcODM-STA的风电机组变桨系统故障诊断

针对风力发电机组变桨系统故障诊断模型参数难以优化问题,提出了基于状态转移算法优化多类最优间隔分布机(multi-class Optimal Margin Distribution Machine optimized by the State Transition Algorithm,mcODM-STA)的风电机组变桨系统故障诊断方法.该方法选择风电机组功率输出作为主要状态参数,利用Pearson相关系数对风电数据采集与监视控制系统中风电机组历史运行数据进行相关性分析,剔除与功率输出状态参数相关性较低的特征,对余下特征进行二次分析,减少样本特征.将数据集分为训练集和测试集,训练集用来训练所提故障诊断模型,测试集用来进行测试.利用国内风电场实际运行数据进行实验验证.实验结果表明,与其他多种参数优化方法相比,所提方法故障诊断准确率和Kappa系数更高.