基于选择性集成的最大化软间隔算法

当前,boosting集成学习算法研究主要集中于最大化弱学习器凸组合的间隔或软间隔,该凸组合几乎使用了生成的所有弱学习器,然而这些弱学习器间存在大量的相关性和冗余,增加了训练和分类过程的时空复杂度.针对这一问题,在LPBoost基础上提出了一种选择性boosting集成学习算法,称为SelectedBoost.在每次迭代生成新的弱学习器以后,通过计算新生成的弱学习器与已有弱学习器的相关度和差异度,并结合当前集成的强学习器的准确率来判断是否选择该弱学习器.另外,当前的一系列boosting算法(如AdaBoost,LPBoost,ERLPBoost等),本质上是基于已生成的1个或者多个弱学习器来更新样本权重,但与弱学习器相比,强学习器更能代表当前的决策面.因此,SelectedBoost通过在带约束的间隔最大化问题中引入更加严格的强学习器边界约束条件,使得该算法不仅参考弱学习器边界,同时还参考已生成的强学习器来更新样本权重,进而提高算法的收敛速度.最后,与其他有代表性的集成学习算法进行实验比较,结果表明,该方法在收敛率、分类准确性以及泛化能力等方面均具有比较明显的优势.

一种新的软间隔支持向量机分类算法

软间隔支持向量机(SVM)分类算法是目前最具有代表性的模式分类算法之一,它在应用中的一个主要困难是确定控制参数C。提出一种新的软间隔SVM分类算法,通过松弛变量改变约束条件,允许数据点进入分离区域但不越过分类超平面,从而避免了参数C的确定问题。计算机实验和故障诊断实例表明,基于新算法的SVM分类器有较高的分类准确性和较好的泛化性能,能够实际应用于模式分类。

基于软间隔支持向量机的装配式建筑构件质量控制研究

相比较传统现浇结构,装配式建筑因其构件拆分的特点,需要满足住宅结构方案和深化设计的要求,从全生命周期角度分析装配式建筑深化设计和构件拆分、预制生产和吊装运输、施工现场安装、运维等各个环节质量缺陷。利用支持向量机模型对装配式建筑质量的量化特征,以及量化特征的平均值、标准差和最坏值进行模式识别,划分最佳超平面。利用核函数将线性不可分的向量转换成高维度特征空间中线性可分向量,得到对于装配式建筑建造过程中质量的准确识别和判断。

基于软间隔委员会投票主动学习的遥感影像分类

针对遥感影像数据具有大量未标记样本的特性,采用主动学习方法从未标记样本中,挑选出最有利于改善遥感影像分类性能的样本添加到已标记样本中进行学习,以有效避免过多的人工干预,减少标记样本数量。进一步,针对传统基于委员会投票主动学习难以处理噪声及线性不可分数据的问题,提出基于软间隔的委员会投票主动学习方法,对样本间隔添加考虑样本分布的松弛项,以弱化硬间隔对噪声数据分类的影响。遥感影像数据集上的仿真结果表明,所提算法能够使用较少的训练样本来获得较高的分类精度。

不均衡最大软间隔SVDD轴承故障检测模型

针对不均衡数据下的轴承故障检测问题,提出一种最大软间隔支持向量域描述(Maximum Soft Margin Sup port Vector Domain Description, MSM-SVDD)故障检测模型.该模型通过引入最大软间隔正则项,将传统支持向量域描述(SVDD)算法的分类边界向故障类偏移,进而提高算法的故障检测性能,同时对正则化项系数的取值范围进行了理论分析.实验部分讨论了正则化项系数、高斯核参数以及正常类样本数目对模型故障检测性能的影响,并给出了正则化项系数与高斯核参数的取值建议.实验结果表明,新提出的MSM-SVDD模型非常适合处理小样本不均衡数据下的故障检测问题.最后通过实测数据的对比实验,表明MSM-SVDD模型在不均衡数据下的故障检测性能较其他方法有较大幅度提升.

度量空间中的软间隔分类

本文研究了度量空间中的软间隔分类问题,利用度量d的特性,得到一非线性映射,将度量空间等距嵌入Banach空间中,并构造了一种软间隔分类算法.

新的软间隔AdaBoost弱分类器权重调整算法

为避免硬间隔算法过分强调较难分类样本而导致泛化性能下降的问题,提出一种新的基于软间隔的AdaBoost-QP算法。在样本硬间隔中加入松弛项,得到软间隔的概念,以优化样本间隔分布、调整弱分类器的权重。实验结果表明,该算法能降低泛化误差,提高AdaBoost算法的泛化性能。

软间隔组合凸线性感知器设计

组合凸线性感知器是用来构造分片线性分类器的一个通用理论框架.对于凸可分和叠可分情况,分别使用支持凸线性感知器算法和支持组合凸线性感知器算法将两类样本分开.在此基础上,文中提出一种软间隔的组合凸线性感知器设计方法.该方法首先映射原空间数据到高维特征空间,然后利用K均值算法将其中一类样本聚类成多个簇,并在每一簇与另一类样本间构造凸线性感知器,最后集成组合凸线性感知器.该方法能解决原感知器模型不适用非叠可分数据的问题,并且在一定程度上简化模型结构,在保证分类精度的前提下,提高泛化能力.实验结果证实文中方法的有效性,同其它分片线性分类器的对比也说明了它的优势.

软间隔支持向量机中核函数的改进方法

考虑软间隔支持向量机中核函数的改进问题.支持向量机通过核函数定义某个非线性变换将空间χ等距嵌入到特征空间Z,然后在空间Z中构造分类超平面.核函数在嵌入过程中诱导了放大因子g(x),它描述了向量x映射到空间Z后被放大的程度.因此,考虑构造保形映射h(x)对g(x)进行调整,提高其在支持向量的取值.从而扩大支持向量密集的区域,增大支持向量机对数据的分类间隔使其具有更好的推广能力.

一种L2软间隔支持向量机的Matlab实现

通过将v-支持向量机的目标函数的L1正则化项变为L2正则化项,构造了一种L2软间隔支持向量机。通过引入拉格朗日乘数,构造拉格朗日函数,导出了L2软间隔支持向量机的对偶二次规划(Quadratic Programming,QP)形式。使用KKT(Karush-Kuhn-Tucker)条件,导出了L2软间隔支持向量机的软间隔ρ及偏置项b的表达式,并通过Matlab数学软件进行编程实现L2软间隔支持向量机的求解。

分类中软间隔损失函数的V_γ维

推广能力是刻画学习机器性能优劣的重要指标,它的界在算法设计中有着重要的作用.人们往往用VC维或者Vγ维来给出推广能力的界.计算了分类中一类特殊的范围较广的软间隔损失函数的Vγ维,并给出使用此种损失函数的核分类器的推广能力的界.

一类基于L_(0/1)软间隔损失函数的低秩支持张量机

支持向量机作为基于向量空间的一种传统的机器学习方法,不能直接处理张量类型的数据,否则不仅破坏数据的空间结构,还会造成维度灾难及小样本问题。作为支持向量机的一种高阶推广,用于处理张量数据分类的支持张量机已经引起众多学者的关注,并应用于遥感成像、视频分析、金融、故障诊断等多个领域。与支持向量机类似,已有的支持张量机模型中采用的损失函数多为L_(0/1)函数的代理函数。将直接使用L_(0/1)这一本原函数作为损失函数,并利用张量数据的低秩性,建立针对二分类问题的低秩支持张量机模型。针对这一非凸非连续的张量优化问题,设计交替方向乘子法进行求解,并通过对模拟数据和真实数据进行数值实验,验证模型与算法的有效性。

1-范数软间隔分类器的风险

运用Rademacher复杂度估计1-范数软间隔分类器的错分风险,所得到风险的界因与具体的数据有关,故分类器能针对不同的数据提供更确切的界.

软间隔最大化在露天矿爆破区域人员疏散自动巡查中的应用研究

针对露天矿抛掷爆破前,危险区域人工巡查效率低、巡查员自身也存在安全风险的问题,通过无人机获取的航拍图像应用机器视觉进行处理,实现区域人员撤离后的自动巡查可以有效解决这些问题。由于当前目标检测算法对小目标识别率较低,不能满足巡查需要。图像超分辨率处理后,再进行目标检测可以显著提升目标的检出率。但是,考虑到实际应用中图像的超分辨率处理,需要的运算量较大,消耗的时间较长,影响巡查的效率。本文通过软间隔最大化支持向量机算法,在图像中筛选符合巡查目标成像轮廓的区域,在确保80%以上识别率的前提下,可以缩小图像中需要超分辨率处理的区域,提升巡查效率。

分布式稀疏软大间隔聚类

虽然软大间隔聚类(Soft large margin clustering,SLMC)相比其他诸如K-Means等算法具有更优的聚类性能与某种程度的可解释性,然而当面对大规模分布存储数据时,均遭遇了同样的可扩展瓶颈,其涉及的核矩阵计算需要高昂的时间代价。消减此代价的有效策略之一是采用随机Fourier特征变换逼近核函数,而逼近精度所依赖的特征维度常常过高,隐含着可能过拟合的风险。本文将稀疏性嵌入核SLMC,结合交替方向乘子法(Alternating direction method of multipliers,ADMM),给出了一个分布式稀疏软大间隔聚类算法(Distributed sparse SLMC,DS-SLMC)来克服可扩展问题,同时通过稀疏化获得更好的可解释性。

差分隐私软大间隔聚类

软大间隔聚类(Soft Large Margin Clustering)已被证明比其他诸如K-Means等诸多聚类算法具有更优的聚类性能与可解释性。然而作为单机聚类算法,仍有可扩展性的瓶颈,因此有人将其进行分布式改造。然而在进行分布式运算时,在迭代过程中存在节点之间相互通信的过程。如果某些节点存在隐私数据,那么数据集中的敏感信息在通信过程中就可能泄漏。为此,本文将分布式软大间隔聚类算法(Distributed Sparse SLMC)结合隐私保护,通过插入高斯噪声来提供零集中差分隐私(Zero Concentrated Differential Privacy),发展出差分隐私软大间隔聚类算法。最后通过理论证明其隐私保护效用,通过实验验证其具有与非联邦算法相近的收敛速度与聚类性能。

一种处理结构化输入输出的中文句法分析方法

中文句法结构复杂,特征维数较高,目前已知最好的汉语句法分析效果与其他西方语言相比还有一定的差距。为进一步提高中文句法分析的效率和精度,该文提出一种采用二阶范数软间隔优化的结构化支持向量机(Structural Support Vector Machines,Structural SVMs)方法对基于短语结构的中文句法进行分析,通过构造结构化特征函数ψ(x,y),体现句法树的输入信息,并根据中文句子本身具有的强相关性,在所构造的ψ(x,y)中增加中文句法分析树中父节点的信息,使ψ(x,y)包含了更加丰富的结构信息。在宾州中文树库PCTB上的实验结果表明,该文方法与经典结构化支持向量机方法以及Berkeley Parser相比可取得较好的效果。

改进SVM在入侵检测中的应用研究

软间隔支持向量机(SVM,support vector machine)分类算法是目前入侵检测中最好的分类异常行为的机器学习算法之一,但是它是有监督学习方法,并不能适用于检测新的入侵行为;而1类SVM方法是一种可用于检测异常的无监督学习方法,但误警率比较高。根据以上两种方法,提出了一种改进的SVM方法,仿真实验证明这种方法是一种具有低误警率的无监督学习方法,具有和软间隔SVM相似的检测能力。

基于支持向量机的粗糙分类器

支持向量机和粗糙集理论是两种分类技术。前者寻求最大化两类间隔的最优分类超平面,后者用逻辑规则解释分类。基于两者的关系,提出了一种复合算法,且将其推广到回归。新算法在一定程度降低了计算复杂度,且适用于软间隔分类。数值实验表明新算法是有效可行的。

基于SMA方法的人脸校验

提出了基于SMA方法解决人脸与非人脸的校验问题.该方法首先运用主分量分析PCA(Principal Component Analysis)方法降低特征向量的维数,然后运用神经网络原理,采用径向基函数RBF(Radial Basis Function)前向神经网络,运用SMA算法得到人脸、非人脸的软间隔判决函数.这种方法允许在样本训练过程中有错误分类,从而更具推广性,且得到的判决函数更加简单,进而使实时处理系统效率更高.实验表明,该方法对图象中含有较多噪声点或者明显附属物的人脸、非人脸图象正确率较高.