基于最小包含球的大数据集快速谱聚类算法

GRC(Graph-based Relaxed Clustering)是一种具有便捷性和自适应性的谱聚类算法,但对于大数据集,繁重的时间开销限制了其实用性.针对此不足,该文通过对GRC聚类指示向量进行约束并融合中心约束型最小包含球(Center-Constrained Minimal Enclosing Ball,CCMEB)理论提出了大数据集快速谱聚类算法CCMEB-CGRC.该算法继承GRC的便捷性和自适应性的同时又具有渐近线性时间复杂度的优点,从而较好地解决了大数据集快速有效谱聚类的问题.仿真实验的结果验证了该算法的有效性和快速性.

一般化最小包含球的大样本快速学习方法

标准最小包含球(Minimum enclosing ball,MEB)模型的对偶问题可视为MEB问题并能够利用核心集向量机(Core vector machine,CVM)实现大样本的快速训练,但对于一般化MEB模型,对偶问题中的不等式约束发生了变化而不能视为MEB问题,不能方便地使用CVM来解决大样本的快速训练.为此,提出了一般化MEB快速学习方法(Fast learning of generalized MEB,FL-GMEB),首先放松对偶问题中的不等式约束条件,使其等价于中心约束的MEB问题,从而利用CVM获得其核心集(Coreset,CS);然后利用局部线性嵌入(Locally linear embedding,LLE)的逆思想将CS扩充为拓展核心集(Extended core set,ECS);最后将ECS及其对应的优化权作为一般化MEB模型的逼近解.UCI和USPS数据集上的实验结果表明,FL-GMEB在大样本快速训练方面具有较好的性能优势.

基于最小包含球的大数据集域自适应快速算法

相同应用领域,不同时间、地点或设备检测到的数据域不一定完整.文中针对如何进行数据域间知识传递问题,提出相同领域的概率分布差异可用两域最小包含球中心点表示且其上限与半径无关的定理.基于上述定理,在原有支持向量域描述算法基础上,提出一种数据域中心校正的领域自适应算法,并利用人造数据集和KDD CUP 99入侵检测数据集验证该算法.实验表明,这种领域自适应算法具有较好的性能.

基于最小包含球的领域迁移学习新方法

传统机器学习方法认为不同的学习任务彼此无关,但事实上不同的学习任务常常相互关联。迁移学习试图利用任务之间的联系以及过去的学习经验加速对于新任务的学习。将最小包含球(Minimum Enclosing Ball,MEB)算法与Parzen Windows概率估计公式相结合,提出了一种新的迁移学习算法MEBTL((Minimum Enclosing Ball Trans-fer Learning)。该算法同时结合CVM(Core Vector Machines)理论提出了CCMEBTL(Center Constrained MinimumEnclosing Ball Transfer Learning)算法,其可以在不同领域之间完成大样本的迁移学习。作为验证,将其应用在WIFI数据的室内定位、人脸识别检测上,并取得了较好的效果。

模糊最小包含球支持向量机

为提高支持向量机的模式分类性能,综合模糊支持向量机和球形支持向量机等方法,提出一种模糊最小包含球(FMEB)支持向量机,对于模式分类问题,通过引入模糊隶属度,寻找2个分别包含二类模式的同心最小包含球,使类间间隔最大化,同时二类模式类内分布最小化,从而增强泛化性和鲁棒性。实验结果证明FMEB的模式分类性能优于其他方法。

双层模糊系统融合中心约束型最小包含球

与传统的TSK模糊系统相比,改进的双层TSK模糊系统CTSK(Central TSK Fuzzy System)有如下优点:良好的可解释性、更好的鲁棒性、较强的逼近能力。但对于大样本或超大样本数据集,其时间复杂度和空间复杂度的开销都极大地限制了它的实用性。针对此不足,通过模糊系统融合中心约束型最小包含球(CCMEB)理论提出了CCMEB-CTSK(CCMEB-based CTSK)算法。该算法在继承CTSK优点的同时,又较好地实现了处理大样本和超大样本数据集的有效性和快速性。仿真实验研究分析了采用不同模糊规则数的CCMEB-CTSK的性能指标和运行时间的比较,以及训练样本不加噪声和加入噪声情况下CCMEB-CTSK泛化能力和鲁棒性能的测试。

基于最小包含球的领域自适应算法

相同应用领域因不同时间、地点或设备,检测到的数据域可能会出现不完全一致的现象,从而可能导致机器学习效率降低。为有效地进行数据域间知识传递,在原有支持向量域描述(SVDD)算法的基础上,提出一种全新的数据域中心点校正的领域自适应算法,并使用人造数据集和KDD CUP99大数据集验证算法。实验证明,该领域自适应算法效果较好,将其应用于大数据集可减少核心集元素个数,提高运算效率。

领域自适应的最小包含球设计方法

支持向量域描述(SVDD)算法适用于异常点检测,但对于不同领域样本组的整体快速识别则力不从心.为此,基于SVDD算法提出一种基于最小包含球的领域自适应算法(MEB-DA),并将其发展为基于中心约束型最小包含球的领域自适应法(CCMEB-DA),以满足大样本数据的快速计算.该算法通过计算各自数据组的包含球球心对不同领域数据进行整体校正和相似度识别,具有较好的便捷性和自适应性.将所提出的算法应用于无限保真(WIFI)数据的室内定位和人脸识别检测,均取得了较好的效果,从而验证了所提出算法的有效性和快速性.

基于最小包含球的非静态大数据集的快速分类算法

对于小规模的非静态数据,最近提出的时间自适应支持向量机(TA-SVM)方法表现出良好的性能,它从兼顾局部优化和全局优化的角度同时求解多个子分类器的特性.但对于大数据集,较高的计算代价限制了它的实用性.针对此不足,结合核心向量机(CVM)理论提出了针对非静态大数据集的新颖分类方法,即基于中心约束最小包含球(CCMEB)的TA-CVM,简称CCTA-CVM.该方法具有渐近线性时间复杂度的优点,同时继承了TA-SVM的良好性能.最后通过实验验证了所提出方法的有效性.

基于最小包含球的异质空间大数据集快速相似度学习算法

针对跨空间数据相似度学习问题提出的跨空间相似度学习(CSAL)算法表现出了良好的性能,并已成功地应用于各类推荐系统中.但构建一个完善的推荐系统,其待处理的数据量常呈现大样本特征,而CSAL算法并不具备大样本快速处理能力.针对此不足,提出了跨空间相似度学习-最小包含球(CSAL-MEB)方法和跨空间相似度学习-核向量机(CSAL-CVM)快速方法.CSAL-CVM方法既具有渐近线性时间复杂度和空间复杂度的优点,同时又继承了CSAL的良好性能.相关实验亦验证了所提出方法的有效性.

基于数据分类的领域自适应新算法

一般的机器学习都假设训练数据与测试数据分布相同,而领域自适应算法则是在不同数据分布条件下进行知识传递和学习,在数据挖掘、数据校正、数据预测等领域有着广泛的应用。支持向量机SVM的主要思想是针对二分类问题,在高维空间寻找一个最优分类超平面,以保证最小的分类错误率。CCMEB理论由Tsang I提出的,是一种改进了核向量机CVM的最小包含球算法,在大样本数据集处理上有着较快的速度。而CCMEB理论同样适用于二分类的SVM数据集。将SVM理论、CCMEB理论与概率分布理论相结合,提出了一种全新的基于数据分类的领域自适应算法CCMEB-SVMDA,该算法通过计算各自分类数据组的包含球球心,能够有效地对不同领域数据进行整体校正和相似度识别,具有较好的便捷性和自适应性。在UCI数据、文本分类等数据上对该算法进行了验证,取得了较好的效果。

在大规模数据集上进行快速自适应同步聚类

现有的同步聚类方法Sync在同步过程中需要将样本中的每一个分量看作相位振子进行计算,具有较高的时间复杂度,因此在大规模数据集上聚类时具有相当大的局限性.为了解决这一问题,提出了快速自适应同步聚类方法(fast adaptive KDE-based clustering by synchronization,FAKCS).FAKCS首先引入基于压缩集密度估计和中心约束最小包含球技术的快速压缩方法对大规模数据集进行压缩,然后通过使用Davies-Bouldin指标,在压缩集上进行ε参数自适应的同步聚类,并采用新定义的序列参量来评价局部同步的程度.另外,研究了序列参量和核密度估计间的联系,从理论上揭示了样本点的局部同步在概率密度意义下的本质.FAKCS可以在大规模数据集上得到任意形状、个数、密度的聚类而无需预设聚类数目.在图像分割和大规模UCI数据集上的实验验证了FAKCS的有效性.

隐私保护的SVM快速分类方法

许多核分类方法的决策函数可以表示为支持向量的组合,如SVM,而支持向量含有非常重要的隐私信息,因此,在分类决策时可能会暴露此类信息,同时分类速度受限于支持向量的个数,如SVM的分类复杂度为O(|SVs|).为解决上述两个问题,本文基于最小包含球球心在原始空间中的代理原像,提出了一种隐藏支持向量信息并能快速实现分类的SVM方法,称为隐私保护的快速SVM分类方法(Fast Classification Approach of SVM with Privacy Preservation,FCA-SVMWPP).同时提供了两种求解代理球心原像的方法,分别称为QP解法和直接解法.UCI和PIE人脸数据集的实验结果表明,本文方法可解决上述两个问题并具有较好的效果.

大样本领域自适应支撑向量回归机

针对回归问题中存在采集数据不完整而导致预测性能降低的情况,根据支撑向量回归机(support vector regression,简称SVR)等价于中心约束最小包含球(center-constrained minimum enclosing ball,简称CC-MEB)以及相似领域概率分布差异只与两域各自的最小包含球中心点位置有关的理论新结果,提出了针对大数据集的领域自适应核心集支撑向量回归机(adaptive-core vector regression,简称A-CVR).该算法利用源域CC-MEB中心点对目标域CC-MEB中心点进行校正,从而提高目标域的回归预测性能.实验结果表明,这种领域自适应算法可以弥补目标域缺失数据的不足,大大提高回归预测性能.

基于相似度差的大间隔快速学习模型

许多模式分类方法比如支持向量机和L2核分类器等都会利用核方法并转化为二次规划问题进行求解,而计算核矩阵需要O(m2)的空间复杂度,求解QP问题则需要O(m3)的时间复杂度,这就使得此类方法在大样本数据上的学习性能非常低下。对此,首次提出了相似度差支持向量机算法DSSVM。算法旨在寻求样本与某类相似度的一个最佳线性表示,并从线性表示的稀疏性以及相似度差意义上的间隔最大化角度构造了新的最优化问题。同时,证明了该算法等价于中心约束型最小包含球问题,这样就可以通过引入最小包含球的快速学习理论将相似度差支持向量机扩展为相似度差核支持向量机DSCVM,从而较好地解决了大规模数据集的分类问题。实验证明了相似度差支持向量机和相似度差核支持向量机的有效性。

一种新颖的领域自适应概率密度估计器

传统概率密度估计法建立好密度估计模型后,无法将源域知识传递给相关目标域密度估计模型。提出用无偏置v-SVR的回归函数来表示传统概率密度估计法获得密度估计信息,并说明无偏置v-SVR等价于中心约束最小包含球及概率密度回归函数可由中心约束最小包含球中心点表示。在上述理论基础上提出中心点知识传递领域自适应概率密度估计法,用于解决因目标域信息不足而无法建立概率密度函数的场景。实验表明,此种领域自适应方法进行领域间知识传递的同时,还能达到源域隐私保护的目的。

核向量机算法研究及应用

对训练样本规模为m的标准支持向量机(Support Vector Machine,SVM)进行训练,时间复杂度为O(m3),空间复杂度为O(m2)。文章研究将其转换成等价的最小包含球(Minimum Enclosing Ball,MEB)形式,使用核心集向量机(Core Vector Machine,CVM)高效获得近似最优解。CVM的优点是时间复杂度与训练样本规模m呈线性关系,空间复杂度与m无关。实验证明,CVM可以对大规模数据集进行高效的分类。

面向大规模数据属性效应控制的核心向量回归机

属性效应在现实生活中广泛存在,如果不加以控制,将会严重影响回归学习的性能.针对大规模数据属性效应控制的非线性回归学习问题,提出了快速等均值核心向量回归机(fast equal mean-core vector regression,FEM-CVR).首先基于间隔最大化目标学习准则,通过施加等均值约束条件,提出了等均值支持向量回归机(equal mean-support vector regression,EM-SVR).在此基础上,证明了EMSVR等价于一个中心约束最小包含球(center constrained-minimum enclosing ball,CC-MEB)问题,然后通过引入近似最小包含球理论,得到原始输入数据集的压缩集即核心集(core set),进一步提出了针对大规模数据属性效应控制的最小包含球快速非线性回归学习方法 FEM-CVR,并从理论上对相关性质进行了深入分析.实验表明:该方法能够快速处理针对大规模数据属性效应控制的非线性回归学习问题,具有较好的泛化能力,并且其时间复杂度上限与数据集大小无关,仅与最小包含球近似参数ε-有关.

领域自适应大数据集浓缩方法

传统机器学习均假定测试域和训练域处于同一概率分布,但现实中往往因各种原因引起所采集到的样本数据可能存在扰动或噪音情况,导致概率密度估计不一定准确。为有效解决这一问题,提出一种新的领域自适应数据集概率密度估计(A-RSDE)算法。该算法可充分学习源域(训练域)概率密度分布知识,使目标域(测试域)概率密度估计更接近真实概率密度分布。实验证明,该算法具有有效性,且实现了数据浓缩的目的。

核向量机在人脸识别中的应用研究

提出了一种基于核向量机的人脸识别方法。首先介绍了人脸识别的整个过程,然后着重介绍核向量机的算法以及采用它进行人脸的分类识别。最后在扩展的MIT人脸数据集中对该算法进行测试,验证了该算法在处理大样本数据集时是一个较好的选择。