基于K最近邻的L_(2,1)范数稀疏回归分类器

在模式分类中,基于旋转不变范数的回归分类器(RRC)最近得到广泛的应用.然而RRC的稀疏重构是建立在全体训练样本之上,当训练样本的数量很大时,计算的时耗比较大.同时,对稀疏程度的过度追求也在一定程度上影响了分类性能.基于K最近邻分类器提出了一类局部的基于K最近邻的L2,1范数稀疏回归分类器(KNN-SRC),该分类器比全局的RRC计算速度快,同时,利用K最近邻点代替全体训练样本,在一定程上避免了非同类的相似样本对测试样本的过度稀疏表示,从而提高分类性能.KNN-SRC的分类性能在UCI的Wine数据集和Yale人脸数据库上作了检测,测试结果表明KNN-SRC分类性能优于RRC.

少样本条件下基于K⁃最近邻及多分类器协同的样本扩增分类

针对少样本条件下的分类问题,提出一种基于K⁃最近邻及多分类器协同的训练样本扩增分类框架。首先利用少量标记样本对多个分类器进行初步训练,并在整个样本空间中搜索出每个标记样本的K个最近邻;然后利用初步训练好的分类器,对每个标记样本的K个最近邻进行分类,若某个最近邻被多数或全体分类器判为具有与其标记样本相同的类,则将该最近邻判别为与其标记样本同类,并将其添加至该标记样本所属类的扩展训练样本集,利用扩展训练样本集再次对各分类器进行训练;最后利用再次训练过的多个分类器对剩余未标记样本进行基于投票的分类判决。在多个基准测试数据库上的对比实验结果表明,在少标记样本条件下,所提算法能显著提升分类器的分类精度。

流形上的k最近邻分类方法

针对分类数据中存在噪声样本和维数问题,提出了流形上的k最近邻方法。首先,利用贝叶斯公式对经典k最近邻方法进行扩展,并采用核概率密度方法估计样本的局部联合概率密度;其次,建立噪声样本点对模型,并构建改进的边际本征图和相应的权值矩阵,通过定义目标函数寻找最优降维映射矩阵;最后,提出一个完整的流形上k最近邻算法。与6种经典方法在12个常用数据集上的实验比较表明,在大多数情况下所提方法的分类性能要优于其他方法。

通过确定邻近区域改进KNN文本分类

文本分类技术已经成为处理和组织文本信息的关键技术之一。KNN算法是文本分类中一种实用的方法。它在每次分类的过程中都要计算测试集中未标记文本与训练集合中所有样本的相似度(距离),然后通过排序来找到K个最近邻样本,耗时较长,不利于Web上实时在线分类等应用。提出了一种确定邻近区域来加快搜寻K个最近邻的方法。试验证明,改进后的KNN算法较经典KNN算法在分类过程中速度有所提升,并且当训练文本数量增加时,在分类时间上表现相对更稳定。

基于改进K最近邻算法的中文文本分类

针对文本分类存在的高维文本问题,提出文档频率(DF)-卡方统计量特征提取方式,对特征项进行有效约减,降低文本维度,提高分类精度.在K最近邻(KNN)算法的基础上,针对待分类文本需要和大量训练集样本进行相似度计算的问题,提出一种基于分组中心向量的KNN算法,对类别内的样本集分组求出各组中心向量,使其重新代表训练库计算相似度,降低计算复杂度,提升算法的分类性能.通过实验表明:相较传统KNN算法,改进的算法在准确率、召回率及F值方面都有提升,与其他分类算法相比,具有一定的优势.

基于KNN分类器的分层图像特征提取

给出一种基于k最近邻分类器(KNN)的分层图像特征提取方法.该方法能有效地获得有代表性和判别性的模板集合,并以较低计算复杂度来获取更高的识别精度.

一种改进的K值最近邻自动分类方法

K值最近邻法是常用的一种自动分类算法。当待分类文本与样本集中多个决策样本的距离相等的时候,固定的K值取法不能充分利用样本集,给分类结果带来一定的随机性,影响了自动分类的准确性。本文通过对K值最近邻算法的原理进行深入分析,提出了一种K值动态选取的方案,使得K值最近邻算法的分类准确性有了显著的提高。

基于后验概率制导的B-KNN文本分类方法

针对K最近邻(KNN)方法分类准确率高但分类效率较低的特点,提出基于后验概率制导的贝叶斯K最近邻(B-KNN)方法。利用测试文本的后验概率信息对训练集多路静态搜索树进行剪枝,在被压缩的候选类型空间内查找样本的K个最近邻,从而在保证分类准确率的同时提高KNN方法的效率。实验结果表明,与KNN相比,B-KNN的性能有较大提升,更适用于具有较深层次类型空间的文本分类应用。

基于模糊K近邻决策的柔性SVM分类算法

当海量样本之间相互混迭时,支持向量数目急剧增加,导致训练难度增大的同时SVM分类器性能明显下降。针对该问题,在此构造模糊KNN决策与支持向量机相结合的新的柔性SVM分类器。它先建立所有训练样本的类间最近邻距离,根据各个训练数据的类间最近邻距离进行升序排列;然后根据模糊k近邻分析结果对训练样本集进行修剪,在剩余空间中选择合适规模的样本子空间进行SVM训练。在分类阶段,首先计算待识别样本和SVM超平面的距离,如果距离大于某一设定门限,直接利用SVM进行分类,否则带入到所有支持向量与修剪样本合成的模糊KNN分类器中进行分类判决。对比实验结果表明,提出的算法无论是训练速度还是分类精度都远远好于单独的SVM分类器。

障碍空间中基于Voronoi图的k最近邻查询

为了提升障碍空间中k最近邻查询的效率,研究了障碍空间中基于Voronoi图的k最近邻查询方法,提出了在障碍空间基于Voronoi图的kNN-Obs算法。该算法采用了两个过程:过滤过程和精炼过程。过滤过程主要是利用Voronoi图的过滤功能,较大程度地减少了被查询点的个数。精炼过程主要根据障碍距离和邻接生成点对候选集内对象进行第二次筛选。进一步给出了处理新增加点的ADDkNN-Obs算法和处理删除点的DENkNN-Obs算法。实验表明该算法在处理障碍空间中的k最近邻问题时具有优势。

K最近邻算法理论与应用综述

k最近邻算法(kNN)是一个十分简单的分类算法,该算法包括两个步骤:(1)在给定的搜索训练集上按一定距离度量,寻找一个k的值。(2)在这个kNN算法当中,根据大多数分为一致的类来进行分类。kNN算法具有的非参数性质使其非常易于实现,并且它的分类误差受到贝叶斯误差的两倍的限制,因此,kNN算法仍然是模式分类的最受欢迎的选择。通过总结多篇使用了基于kNN算法的文献,详细阐述了每篇文献所使用的改进方法,并对其实验结果进行了分析;通过分析kNN算法在人脸识别、文字识别、医学图像处理等应用中取得的良好分类效果,对kNN算法的发展前景无比期待。

基于中心向量的多级分类KNN算法研究

针对KNN算法在中文文本分类时的两个不足:训练样本分布不均,分类时计算开销大的问题,在已有改进算法的基础上进行了更深入的研究,提出多级分类KNN算法。算法首先引入基于密度的思想对训练样本进行调整,通过样本裁减技术使样本分布更趋于理想的均匀状态,同时计算各类别的类中心向量。在保证类中心向量准确性的前提条件下,使分类阶段的复杂计算提前到分类器的训练过程中。最后一级选用合适的m值(预选类别个数),根据最近邻思想对待分类文本进行所属类别判定。实验结果表明,该算法在不损失分类精度的情况下,不仅降低了计算复杂度,而且显著提高了分类速度。

基于Voronoi划分的位置数据KNN查询处理方法

K最近邻(KNN)查询是空间数据查询研究的重要内容。目前的KNN查询方法在处理大规模的位置数据时,存在着更新和查找失衡的问题,导致查询效率较低。因此,提出基于Voronoi划分的位置数据KNN查询处理方法。首先,创建了一个二级空间索引结构VRI,包含VHash和VR树两部分。一级索引结构VHash表示Voronoi图的直邻;二级索引结构VR树,按照各Voronoi单元所在的最小矩形区域的重叠面积,自下而上地生成对应的R树。其次,基于VRI索引结构提出了位置数据的KNN查询算法及动态维护算法,在KNN查询方法中,采用VR树进行定位,VHash查找K近邻,能够有效地对查询点定位,查找速度快。再次,针对数据更新的情况,索引结构也能够及时更新,在更新的时间段内,对于位置数据随时间变化的KNN查询,提出了利用记录表进行有效查询的方法。最后,实验表明,提出的基于Voronoi划分的空间索引结构和其对应的KNN查询算法均具有较好的性能和适应性。

基于KPC-kNN方法的批次过程故障诊断

为克服FD-kNN算法的计算量和存储量特别大,PC-kNN主元仅仅能体现过程中线性信息的不足,提出一种基于KPC-kNN的故障诊断方法.在KPCA提取非线性信息后,在核主元空间里应用kNN算法,计算k个最近样本的距离平方和作为统计指标,使用核密度估计方法计算训练空间的控制限.半导体工业实例的实验结果验证了所提方法的有效性.

线性回归分类器在模式识别中的应用

线性回归分类器(LRC)在人脸识别上呈现出了优越的性能,然而,随着每类的训练样本数量增大,LRC的分类速度变得很慢.除此之外,LRC还有一致命的弱点:对大样本问题束手无策,即当每类用于训练的样本数量大于样本的维数时,LRC无法工作.解决以上问题的一个行而有效办法是对LRC作局部化处理.可以对LRC作了两类局部拓展:一是基于K最近邻的线性回归分类器(KNN-LRC).KNN-LRC借助KNN算法对每类训练的样本作了筛选,从而避免了大样本问题的出现,但却受到近邻参数选择的困扰.二是在此基础上进一步提出了基于L1范数的自适应局部线性回归分类器(LI-LRC).L1-LRC具有自适应的近邻选择机制,同时能取得比KNN-LRC更好的分类性能.在两个数据库上,比较各种相关分类器的性能.从分类的结果来看,KNN-LRC和L1-LRC较其它相关分类器的性能好.

P2P网络下的KNN查询

K最近邻(KNN)查询是相似性查询的一种,已有大部分KNN查询算法都是针对集中式计算环境的,因此很容易形成性能瓶颈。P2P这种新的分布式计算技术能够有效克服集中式计算环境中的性能瓶颈问题。提出了一种分组式P2P网络结构下基于iDisdance索引的KNN查询方法,其主要思想是通过分布式簇索引裁剪搜索空间,降低网络通信开销,从而在P2P环境下执行KNN查询。最后通过仿真测试了该方法的有效性以及分组数量与数据分布对查询开销的影响。

不同缺失数据处理方法对D-vine Copula分类器的影响

数据缺失是较为常见的影响数据质量的因素,会降低分析结果的可靠性。采用不同方法填补缺失数据,再用D-vine copula分类器对填补后的数据做分类,通过预测准确率来分析不同缺失数据处理方法对D-vine copula分类器的影响。首先,介绍了5种常用的缺失数据处理方法和D-vine copula分类器的相关知识;其次,结合实际数据,模拟不同的缺失比例,用这5种方法对数据进行填补;最后,用D-vine copula分类器对填补后的数据做分类,对分类准确率进行比较分析。研究发现,填补后的数据在D-vine copula分类器上表现得较为稳定,当数据缺失比例在5%~10%时,用随机插补法处理缺失数据效果较好,当数据缺失比例较大时,可以优先考虑用K最近邻插补法处理缺失数据。

基于中智KNN的齿轮箱故障诊断方法

齿轮箱在旋转机械设备中应用广泛,研究齿轮箱的故障诊断方法意义重大。为提高齿轮箱故障的预警诊断准确度,提出了基于中智KNN(Neutrosophic K-Nearest Neighbor,NKNN)的齿轮箱故障诊断方法。该方法利用小波包对信号特征进行提取,并构建出故障样本集,借助中智理论对样本的特征权重进行重新分配,建立起基于中智KNN决策规则下的故障诊断模型,并提出了中智划分的概念。实验表明,该方法有效地提升了分类精度和鲁棒性,弥补了传统KNN同贡献权重分配的缺陷,其中智划分的结果可以作为分析齿轮箱混合故障诊断的参考依据。

基于KNN-TSVR算法的MIMO-OFDM系统信道估计

为了提高多输入多输出正交频分复用(MIMO-OFDM)系统的信道估计性能,提出了一种基于K近邻加权孪生支持向量回归(KNN-TSVR)的信道频率响应估计算法.该算法的工作过程是首先用最小二乘算法对导频位置的信道参数进行估计,获取训练样本,然后用K近邻(KNN)算法对训练样本进行预处理,得到赋予各样本的权重,最后由加权TSVR对MIMO-OFDM系统所有位置的信道参数进行插值估计.本文提出的改进的加权TSVR信道估计方法不仅具有TSVR对非线性关系回归的优势,同时引入KNN算法对TSVR进行改进,使得该算法与传统TSVR相比,具有更好的回归性能和抗噪声能力.对非线性MIMO-OFDM信道进行估计的仿真实验结果证实了这一结论.

基于特别的特征表示方法的局部线性KNN算法

提出了一种特别的特征表示方法,并在此基础上提出了一种基于特别的特征表示方法的局部线性K最近邻算法(locally linear K-nearest neighbor method,L^2KNN),并将之应用到人脸识别中。特别的特征表示方法是在传统的稀疏表示的基础上,加入了非负约束,改进了传统的稀疏表示的方法,在目标函数中增加了集群正则化项,然后优化新的目标函数得到一个新的近似的特征表示。L^2KNN算法具有最近邻集群效应(clustering effect of nearest neighbors,CENN),不仅可以增强测试样本与同类的训练样本之间的相关性,而且可以增强同类训练样本之间的相关性。L^2KNN算法进一步应用到L^2KNNc(L^2KNN-based classifier)分类器中,并提出一种系数截断的方法增加L^2KNNc分类器的泛化性能,进一步提高分类器的分类性能。在人脸数据集上的实验结果证明了上述结论。