K-近邻分类器鲁棒性验证:从约束放松法到随机平滑法

本文研究K-近邻分类器的鲁棒性验证问题.形式化鲁棒性验证的目标是计算分类器在给定样本点上的最小对抗扰动的精确值或者最小对抗扰动的非平凡下界.我们将计算K-近邻分类器的最小对抗扰动形式化为一组二次规划问题.二次规划问题的数目随近邻参数K的增大呈指数级增长,精确求解该组二次规划问题往往不可行.约束放松法通过放松优化的约束项,可以在多项式时间内求解最小对抗扰动的下界.然而,本文通过理论分析和实验发现,当近邻参数K取值较大时,约束放松法求得的下界往往过于宽松,甚至会出现K越大下界越小的反直觉结果.为解决这一问题,本文提出使用随机平滑法对K-近邻分类器进行鲁棒性验证.随机平滑法利用了K-近邻分类器对高斯(Gauss)白噪声鲁棒的特点,获得了较为理想的鲁棒性验证效果.基准数据集上的实验结果表明,相比于最新的鲁棒神经网络,"随机平滑的"K-近邻分类器展现出了更好的验证鲁棒性.

基于Haar小波变换的快速k-近邻分类算法

提出了一种新的快速k-近邻分类算法,通过研究Haar小波系数所包含的重要信息,确定向量经Haar小波变换得到的小波系数与向量方差间的关系,由此得出关于小波系数的不等式,并利用此不等式提高k-近邻分类中的k-近邻搜索效率。在搜索k-近邻的过程中,首先判断每个训练向量是否满足该不等式,由此排除许多不可能成为k-近邻的向量,从而可以快速找到待分类样本的k-近邻,使得在保持k-近邻法分类性能不变的情况下,分类的效率得到很大提高。最后,通过纹理分类验证了算法的有效性。

基于k-近邻分类匹配的虹膜识别技术与应用

利用虹膜图像中丰富的结构和纹理特征作为身份鉴别的依据,与其他生物特征识别相比,具有更高的可靠性.虹膜识别系统包括虹膜图像采集、虹膜图像预处理、特征提取、匹配与识别等部分.该文提出一种基于k-近邻分类器虹膜识别方法,该方法先对虹膜图像进行定位、归一化和增强等预处理,利用Gabor滤波实现虹膜纹理特征的提取,再用k-近邻分类器进行匹配,达到了识别的目的.实验结果表明,该方法是可行的.

基于神经网络的k—近邻分类器

设计了一个神经网络结构来执行著名的ｋ－近邻分类器，神经网络的并行计算大大减少了传统ｋ－近邻分类器的计算时间，并且性能不变，已有的传统ｋ－近邻分类器的特点同样可以继承．三种减少ｋ－近邻分类器结点的修改规则同样可包含在神经网络的学习算法中．另外，本网络采用的ｋ－Ｍａｘｉｍｕｍ子网具有比“赢者独吞”更好的性质。

K-近邻算法的改进及实现

利用k-近邻算法进行分类时,如果属性集包含不相关属性或弱相关属性,那么分类精度将会降低。研究了k-近邻分类器,分析了k-近邻分类器的缺点,提出了一种利用随机属性子集组合k近邻分类器的算法。通过随机的属性子集组合多个k近邻分类器,利用简单的投票,对多个k-近邻分类器的输出进行组合,这样可有效地改进k-近邻分类器的精度。

基于Fisher准则改进线性判别回归分类的人脸识别

为了提高线性回归分类LRC(Linear Regression Classification)算法的鲁棒性,提出一种基于Fisher准则改进的线性判别回归分类算法。首先根据Fisher准则最大化类间重建误差与类内重建误差的比值,为LRC找到最优投影矩阵;然后利用最优投影矩阵将训练图像及测试图像投影到各个类的特征子空间;最后,计算出测试图像与各个训练图像之间的欧氏距离,并利用K-近邻分类器完成人脸的识别。在FERET和AR人脸数据库上的实验验证了本文算法的有效性。实验结果表明,相比其他回归分类算法,该算法取得了更好的识别效果。

思维作业脑电的IMF能量熵特征提取与分类研究

提出了一种基于固有模态函数(Intrinsic Mode Function,IMF)能量熵的特征提取方法。对三类脑电思维信号分别进行了经验模态分解(Empirical Mode Decomposition,EMD),并得到与其相对应的IMF。试验发现对于不同类别的信号,同阶的IMF能量的判别熵有明显的不同。而采用K-近邻分类器对三类脑电信号进行了分类,发现基于最佳特征向量选择的分类试验的平均正确识别率达75%以上。

改进的线性判别回归分类人脸识别算法

对线性回归分类算法进行了改进。考虑了线性回归分类算法中没有考虑的类间信息,通过选择类模式的投影方向判别不同类的模式,不同类的模式互相远离,相同类的模式尽可能靠近来估计投影矩阵;再利用投影矩阵将训练图像及测试图像投影到各类的特征子空间;最后,计算出测试图像与训练图像间的距离,利用K-近邻分类器完成人脸的识别。在FERET人脸数据库上进行实验验证。实验结果表明,相比其他回归分类算法,本算法取得了更好的识别效果。

ADE的ReliefF特征选择在高光谱图像分类中的应用

针对高光谱图像谱段数目较多、近邻谱段相关性过高而导致分类困难的问题,提出了一种自适应差分进化特征选择的高光谱图像分类算法。首先初始化种群向量集,利用自适应差分进化算法搜索特征的自适应性生成特征子集;然后,通过使用Relief F技术根据特征排序去除重复特征,从而为所有的特征构建一个特征列表;最后,借助于模糊k-近邻分类器计算每个向量的分类精度,利用包裹模型评估特征子集。在印第安纳数据集和KSC数据集上的实验结果验证了算法的有效性及可靠性,实验结果表明,相比其他几种特征选择算法,该算法取得了更高的总分类精度和更好的Kappa系数。

基于Fisher的线性判别回归分类算法

为了提高线性回归分类(LRC)算法的鲁棒性,提出了一种基于Fisher准则的线性判别回归分类算法。利用Fisher准则将类间与类内重建误差的比值最大化,找到线性回归分类的最优投影矩阵;再将训练图像及测试图像投影到各类的特征子空间;求得各训练图像与测试图像间的欧氏距离,最后用K-近邻分类器完成人脸识别。在AR人脸数据库上的实验结果表明,相比其他回归分类算法,算法取得了更好的识别效果。

灰度直方图与LDA的路况分类

道路路况实时分类研究,是路况信息诱导系统的基础.通过对大量路况图像进行研究,提出使用路况图像中道路区域统计灰度直方图作为表征路况信息的特征向量,采用LDA(linear discriminat analysis)算法对高维特征向量进行降维,采用改进的K-近邻分类器实现对道路路况实时分类,并给出实际分类结果.实验结果表明,采用上述方法进行路况分类,其结果与交通管理部门给出的结果一致率达91.7%,对路况实时分类具有较高的实用价值.

基于时频分析和2DNMF的局部放电模式识别

提出时频分析结合二维非负矩阵分解的混合特征提取算法识别不同局部放电类型。在实验室环境下采集了4种典型绝缘缺陷模型的局部放电超高频(UHF)波形,引入自适应最优径向高斯核时频分析挖掘局部放电UHF信号的时频信息,在对时频幅值矩阵进行二维非负矩阵分解提取降维特征后,采用模糊k-近邻分类器对4种不同类型的局部放电信号进行识别。对试验样本的识别结果表明:自适应最优径向高斯核时频分布能较好地表征局部放电单次波形的时频信息;二维非负矩阵分解降维后的特征矩阵能保存原始时频矩阵的大部分有用信息;模糊k-近邻分类器比k-近邻分类器和3层反向传播神经网络具有更高的识别率,并较反向传播神经网络具有容易拓展的优点。

针对特征选择问题的改进蚁群算法及其在电力系统安全评估中的应用

提出基于改进蚁群优化算法和k近邻算法相结合的特征选择算法。利用k近邻分类器的分类精度和特征子集维数加权构造了综合适应度指标,利用改进蚁群算法的全局寻优和多次优解搜索能力实现特征子集搜索。针对传统蚁群算法在特征选择中可能含有冗余特征的问题,设计了局部细化搜索方式,使得特征选择结果不含冗余特征的同时提高了算法的收敛性。通过测试数据验证了算法的有效性和快速性后,将所提算法应用于10机39节点电力系统的安全评估问题,获得了良好的特征选择和稳定预测性能。

一种面向“互联网+”智能交通管理的车辆类型识别方法

针对现有智能交通管理中车辆类型识别方法存在分类器效率较低等诸多问题,通过构造一种新的分类器,建立了一种智能交通车辆类型识别新方法。首先采用边缘梯度直方图进行图像特征提取,然后通过融合纠错编码技术和K-近邻分类器构造新分类器实现车辆类型的分类。通过大量实验仿真分析比对表明,该方法不仅能将多类分类问题转化成多个两分类问题,而且使车辆类型识别效率提高了2%,鲁棒性好。因此,该方法在"互联网+"智能交通管理中具有广阔的应用前景和推广价值。

分块PCA在脸像识别中的应用

鉴于整幅人脸图像主成分提取(PCA)特征脸算法的高计算复杂度,本文提出了基于分块PCA的脸像识别算法,先对每幅脸像等分成相同的块,再对各子块图像预处理,采用像素均值法的降采样和能量归一化处理以降低维数和消除光照的影响,再合并成一个向量,将预处理得到的向量进行PCA降维,最后采用k-近邻分类器进行分类识别。在Yale人脸库中实验结果表明该方法的有效性。

SAR遥感图像中农田区域识别与检测方法研究

为实现对SAR遥感图像中农田种植区域的精确识别与检测,利用特征提取、多种分类器、图像融合、相关判决等方法,实现对SAR遥感图像中农田种植区域的精确识别与检测。通过分析合成雷达孔径背景,介绍合成孔径雷达图像农田种植区域的特征提取及识别检测方法,结合PCA融合方式证明SAR图像能有效实现对农田区域的精确识别与检测。最后提出一种基于多分类器集成学习的SAR图像农田区域识别与检测方法,试验验证了该方法的有效性。

基于混合域特征集与加权KNN的滚动轴承故障诊断

针对滚动轴承的早期故障特征微弱难以有效辨识的问题,提出基于混合域特征集与加权K-近邻分类器的滚动轴承早期故障诊断方法。首先,基于时域、频域、时频域信号处理方法计算滚动轴承早期故障的特征指标量,构造混合域特征集,再将混合域特征集输入给KNN实现滚动轴承的早期故障诊断。实验结果表明,基于混合域特征集与加权K-近邻分类器的滚动轴承早期故障诊断方法能够有效地提取滚动轴承早期故障的低维敏感特征,而且结构稳定,诊断精度高,可以推广应用于滚动轴承的实时在线监测。

基于OpenCV的脱机手写字符识别技术

文章介绍了利用K-近邻分类器实现对手写字符的识别,并给出了OpenCV中相应库函数。本文重点介绍如何实现字符识别,对单词及整句识别有所讨论,但不作为重点。