一种基于预分类的高效最近邻分类器算法

本文的最近邻分类器算法是采用多分类器组合的方式对测试样本进行预分类,并根据预分类结果重新生成新的训练和测试样本集。对新的测试样本采用最近邻分类器进行分类识别,并将识别结果与预分类结果结合在一起进行正确率测试。在ORL人脸库上的实验结果说明,该算法对小样本数据的识别具有明显优势。

基于局部切空间排列和K-最近邻分类器的转子故障诊断方法

为了解决大型机械设备故障数据难以准确快速提取的问题,提出了一种基于局部切空间排列(LTSA)和K-最近邻分类器的转子故障诊断模型。首先基于转子的振动信号构造一个高维多征兆矩阵,利用LTSA提取高维矩阵的低维特征向量,映射在可视空间里;然后将提取的低维特征向量输入K-最近邻分类器进行故障模式识别。试验和数据降维仿真过程表明,该模型的准确度和快速性均优于LTSA和神经网络以及LTSA和支持向量机组成的故障诊断模型。

基于支持向量机与最近邻分类器的模拟电路故障诊断新策略

针对模拟电路的故障诊断和定位问题,提出了一种基于支持向量机分类器(SVC)和最近邻分类器(NNs)的模拟电路故障诊断新策略,利用SVC解决高维故障样本的分类问题,而采用NNs解决故障样本间的重叠问题。首先建立"1-v-r"结构的SVC对电路故障样本进行训练,并根据训练参数构建故障字典;其次,在测试阶段,根据算法决定利用SVC或NNs对未知样本进行测试。本文设计的故障分类器方法简单,结构确定,通过对两个模拟电路的实验表明,所提出的方法性能要优于常规的"1-v-r"支持向量机分类器;与"1-v-1"支持向量机分类器的诊断性能较为接近,但测试时间较后者显著减少,较为适合模拟电路的故障诊断。

基于共享最近邻的自适应密度峰值聚类算法

密度峰值聚类算法(DPC)是一种简单高效的无监督聚类算法,该算法虽能自动发现簇中心,实现任意形状数据的高效聚类,但依然存在一些缺陷。针对密度峰值聚类算法在定义相关度量值时未考虑数据的位置信息、聚类中心数目需要人工预先设定且分配样本点时易出现连锁反应这3个缺陷,提出一种基于共享最近邻的自适应密度峰值聚类算法。首先,利用共享最近邻重新定义局部密度等度量值,充分考虑了数据分布的局部特点,使样本点的空间分布特征得以更好地体现;其次,通过引入密度衰减现象让样本点自动聚集成微簇,实现了簇个数自适应确定和簇中心自适应选取;最后,提出一种两阶段的分配方法,先将微簇合并形成簇的主干部分,再用上一步分配好的簇主干指导剩余点的分配,避免了链式反应的发生。在二维合成数据集以及UCI数据集上的实现表明,相较于经典的密度峰值聚类算法及近年来对其提出的改进算法,在大多数情况下,所提算法表现出更优异的性能。

基于共享最近邻聚类和模糊集理论的分类器

提出一种基于共享最近邻聚类和模糊集理论的分类器.首先,在提出与核点密切相关的核半径概念的基础上,应用共享最近邻聚类得到正常类空间的部分核点和核半径,建立求解正常类空间补充核点的多目标优化模型,从而获得刻画正常类空间的全部核点和核半径.然后,将模糊集理论引入正常类的类属划分中,利用核点和核半径定义正常类的隶属度函数,建立基于隶属度函数的分类函数或分类器.实验表明,该分类器能处理包含噪音、孤立点和不规则子类的高维数据集的分类问题.

适用于组合特征识别的最近邻模糊分类器

在用多种特征进行简单的串联组合识别时,不同特征具有不同的特征类型和衡量尺寸,针对串联组合特征的这种特点,提出了一种最近邻模糊分类器。该分类器首先把待识别目标的组合特征与训练模板中的组合特征样本一一进行比较,从而得到了一个特征差矩阵。提出用模糊分布函数在同类特征差之间进行处理,生成一个隶属度矩阵,然后用算术平均法对隶属度矩阵进行处理,并用最大隶属度准则来进行分类判决。识别框架表明最近邻模糊分类器对组合特征中的各种不同特征的特征类型和衡量尺寸没有一致性要求,也无需对串联组合特征矢量做任何预处理。最后,用外场实测数据进行验证,结果表明,最近邻模糊分类器能够有效地解决多种特征串联组合的雷达目标识别问题。

加权空-谱与最近邻分类器相结合的高光谱图像分类

提出了一种基于加权空-谱距离(WSSD)的相似性度量方法 ,并将其应用到最近邻分类器(KNN)中,导出了一种新的高光谱图像分类算法。该算法利用高光谱图像的物理特性,通过引入空间窗口和光谱因子这两个参数来挖掘出图像中的空间信息与光谱信息,利用空间近邻点对中心像元进行重构。在最大限度减少图像冗余信息的基础上,增大了同类像元间的相似性以及异类像元间的差异性,获得了更为有效的鉴别特征,从而更好地实现了数据间的相似性度量。基于Indian Pines和PaviaU高光谱数据集进行了实验,结果表明:将提出的WSSD-KNN算法应用于高光谱图像分类时,其分类精度高于其他算法,总体分类精度分别达到了91.72%和96.56%。由于算法较好地融合了图像中的空间-光谱信息,提取出了更为有效的鉴别特征,故不仅有效地改善了高光谱数据的地物分类精度,而且可在训练样本较少时,保持较高的识别率。

基于核的最近邻特征重心分类器及人脸识别应用

本文提出核最近特征线和特征面分类器,可直接对高维人脸图像进行识别。为解决计算量大和可能失效的问题,提出(核)最近特征重心和(核)最近邻特征两种解决方法,前者降低了计算特征线和面距离的复杂度,后者减少了特征线和面的数目,两种方法均避免了可能失效的问题。将二者结合得到的(核)最近邻特征重心分类器,在获得相近识别率的条件下,使计算复杂度降到了最小。所得方法无需预先抽取人脸图像特征,因此避免了在较多样本数时,特征抽取存在计算量大的问题。基于ORL人脸数据库的实验验证了本文方法的有效性。

基于模拟退火算法和最近邻分类器识别率的特征选择方法

为了提高分类器的识别率,提出一种基于模拟退火算法和最近邻类器识别率的特征选择方法。该方法采用特征度量中的准确性度量(分类器识别率),能直接评价特征组合的优劣,并结合改进的模拟退火算法使用,能确保收敛到近似全局最优解。仿真试验表明,该方法所求解的质量优于传统特征选择方法,并且有很强的噪声容忍性,有一定的工程实用价值。

基于逻辑回归的近邻分类耦合算法在医学骨科分类应用

随着现代医学的迅速发展,生物力学可以用来模拟人体机械组成各部分之间的关系,根据骨科患者的生物力学特征可以预测患者的症状类别,为临床诊断提供依据。文章为进一步提高预测分类的准确性,结合机器学习理论以最近邻算法分类及逻辑回归耦合算法来进行医学方面的骨科分类,通过双算法准确度判断的耦合结果进行进一步判断,丰富算法的计算维度,进一步提高了分类准确率的精度。

数据加长和最近邻特征线分类器用于距离像识别

给出了一种新的距离像预处理技术——数据加长,有效减小了距离像相关对齐的误差;并针对距离像分布的特点,提出在距离像模板的局部方位区域内对模板进行扩充,使得最近邻特征线分类器的运算量大大降低,而识别性能却得到了提高;最后将数据加长与改进的最近邻特征线分类器结合起来对距离像进行识别,基于实测数据和仿真数据的实验结果验证了该方法的有效性.

基于K最近邻的L_(2,1)范数稀疏回归分类器

在模式分类中,基于旋转不变范数的回归分类器(RRC)最近得到广泛的应用.然而RRC的稀疏重构是建立在全体训练样本之上,当训练样本的数量很大时,计算的时耗比较大.同时,对稀疏程度的过度追求也在一定程度上影响了分类性能.基于K最近邻分类器提出了一类局部的基于K最近邻的L2,1范数稀疏回归分类器(KNN-SRC),该分类器比全局的RRC计算速度快,同时,利用K最近邻点代替全体训练样本,在一定程上避免了非同类的相似样本对测试样本的过度稀疏表示,从而提高分类性能.KNN-SRC的分类性能在UCI的Wine数据集和Yale人脸数据库上作了检测,测试结果表明KNN-SRC分类性能优于RRC.

基于LTSA与K-最近邻分类器的故障诊断

针对局部切空间排列算法(LTSA)的效果受近邻数k值影响较大的缺点,提出基于聚类准则的LTSA与K-最近邻分类器的故障诊断模型。基于振动信号的时域特征构建高维特征矩阵;对高维矩阵进行标准化预处理,依据聚类准则确定局部切空间排列中的最佳近邻数k,运用LTSA提取高维矩阵的低维特征向量;将提取的低维特征向量利用K-最近邻分类器进行故障模式识别。采用轴承诊断实验系统进行验证,结果表明,基于聚类准则的优化方法可有效地克服近邻数k选择的盲目性,提高了局部切空间的降维精度和故障模式识别正确率,其在轴承时域特征维数约简方面,效果优于主成分分析(PCA)与拉普拉斯特征映射(LE),适用于轴承故障诊断。

基于肺部PET/CT图像不同纹理特征的K最近邻分类器

目的对PET/CT图像高维纹理参数进行降维,基于不同纹理参数建立肺结节良恶性的K最近邻(K-nearest neighbor,KNN)分类器,探究最佳建模方法,提高分类的准确率。方法采用回顾性研究的方式,收集52例首都医科大学宣武医院核医学科肺结节患者的PET/CT图像,对图像的感兴趣区域基于Contourlet变换提取灰度共生矩阵的纹理参数。对肺结节PET/CT图像的纹理参数首先采用单因素分析的方法,根据ROC曲线下面积筛选纹理参数,再对其进行主成分分析提取主要成分。基于主成分、根据ROC曲线筛选的纹理及原始纹理分别采用K最近邻分类算法建立肺结节良恶性的分类器,通过正确率、灵敏度、特异度、阳性预测值(positive predictive value,PPV)、阴性预测值(negative predictive value,NPV)、ROC曲线下面积(area under curve,AUC)这些指标评价分类效果。结果 PET/CT图像共提取1344个原始纹理参数,经单因素分析后筛选出89个纹理参数,对筛选后的纹理共提取11个主成分。基于主成分、筛选纹理、原始纹理的分类模型正确率分别为0.614、0.579、0.263;AUC分别为0.645、0.610、0.515。结论在主成分纹理、单因素分析筛选的纹理、原始纹理中,基于主成分纹理建立K最近邻分类器的效果最好。

少样本条件下基于K⁃最近邻及多分类器协同的样本扩增分类

针对少样本条件下的分类问题,提出一种基于K⁃最近邻及多分类器协同的训练样本扩增分类框架。首先利用少量标记样本对多个分类器进行初步训练,并在整个样本空间中搜索出每个标记样本的K个最近邻;然后利用初步训练好的分类器,对每个标记样本的K个最近邻进行分类,若某个最近邻被多数或全体分类器判为具有与其标记样本相同的类,则将该最近邻判别为与其标记样本同类,并将其添加至该标记样本所属类的扩展训练样本集,利用扩展训练样本集再次对各分类器进行训练;最后利用再次训练过的多个分类器对剩余未标记样本进行基于投票的分类判决。在多个基准测试数据库上的对比实验结果表明,在少标记样本条件下,所提算法能显著提升分类器的分类精度。

基于Fisher判决率加权的修正最近邻模糊分类器设计

针对基于高分辨距离像(HRRP)多类特征联合舰船目标识别的问题,提出了一种基于Fisher判决率加权的修正最近邻模糊分类器。在对舰船目标的HRRP特性进行分析的基础上提取船长、离散性、对称性、中心距等稳定特征,结合各类特征的稳定性和可分性,设计一种能让不同特征充分发挥优势作用的修正最近邻模糊分类器。该分类器用Fisher判决率对特征差隶属度进行加权修正;通过10类军民船目标的实测数据验证,表明基于Fisher判决率加权的修正最近邻模糊分类器在舰船目标识别领域具有很好的实际应用前景。

对应用于手写体字符识别的最近邻分类器原型学习算法的评估（上）

原型学习对提高最近邻分类器的判决性能以及降低存储和计算量很有效。本文回顾了最近邻分类器的一些原型学习算法，并对其在手写体字符识别中的应用特性作了比较。这些算法包括著名的LVQ和一些通过梯度搜索使外界影响最小的参数最优化方法。本文还提出了一些新的算法，并同现有的算法作了比较。在基于CENPARMI数据库手写体数字识别和基于ETL8B2数据库手写体汉字识别方面，对11种原型学习算法进行了测试。实验结果显示，基于参数最优化的算法通常优于LVQ算法，特别是最小分类误差算法（MCE）、GLVO算法和一种新的算法（MAXP1）效果最好。

流形上的k最近邻分类方法

针对分类数据中存在噪声样本和维数问题,提出了流形上的k最近邻方法。首先,利用贝叶斯公式对经典k最近邻方法进行扩展,并采用核概率密度方法估计样本的局部联合概率密度;其次,建立噪声样本点对模型,并构建改进的边际本征图和相应的权值矩阵,通过定义目标函数寻找最优降维映射矩阵;最后,提出一个完整的流形上k最近邻算法。与6种经典方法在12个常用数据集上的实验比较表明,在大多数情况下所提方法的分类性能要优于其他方法。

Fisher鉴别特征的最近邻凸包分类

基于Fisher准则的特征提取方法是模式识别技术的重要分支,其中,Foley-Sammon变换和具有统计不相关性的最佳鉴别变换是这一技术典型代表,本文将它们与一种新型分类器—最近邻凸包分类器相结合,从而实现Fisher鉴别特征的有效分类。最近邻凸包分类器是一类以测试样本点到各类训练集生成类别凸包的距离为分类判别依据的模式分类新方法,具有非线性性,无参性,多类别适用性等特点。实验证实了本文方法的有效性。