基于KNN离群点检测和随机森林的多层入侵检测方法

入侵检测系统能够有效地检测网络中异常的攻击行为,对网络安全至关重要.目前,许多入侵检测方法对攻击行为Probe(probing),U2R(user to root),R2L(remote to local)的检测率比较低.基于这一问题,提出一种新的混合多层次入侵检测模型,检测正常和异常的网络行为.该模型首先应用KNN(K nearest neighbors)离群点检测算法来检测并删除离群数据,从而得到一个小规模和高质量的训练数据集;接下来,结合网络流量的相似性,提出一种类别检测划分方法,该方法避免了异常行为在检测过程中的相互干扰,尤其是对小流量攻击行为的检测;结合这种划分方法,构建多层次的随机森林模型来检测网络异常行为,提高了网络攻击行为的检测效果.流行的数据集KDD(knowledge discovery and data mining) Cup 1999被用来评估所提出的模型.通过与其他算法进行对比,该方法的准确率和检测率要明显优于其他算法,并且能有效地检测Probe,U2R,R2L这3种攻击类型.

基于k-NN和Landsat数据的小面积统计单元森林蓄积估测方法

基于吉林省一个试验区的森林资源一类清查固定样地数据、Landsat TM数据和土地利用数据,采用精度交叉评价方法研究了k-最近邻(k-NN)法用于小面积统计单元森林蓄积估计的有效性。结果表明:k-NN方法对样地覆盖区影像像元单位面积蓄积量的估测平均误差在1.5 m3.hm2之内,相对均方根误差(RMSE′)低于传统的基于绿度指数的线性方程估测方法;采用k-NN方法可以实现县市级统计单元的参数估计,估测效果优于只利用固定样地数据的传统成数估计方法。

一种基于k-NN的案例相似度权重调整算法

对于CBR中的案例检索问题,结合经典案例相似度计算方法,对目前在各实际系统中应用最为广泛的k-NN算法进行改进。经过特征约简,在假设时间因素对历史案例可采纳程度有显著影响基础上,提出了一种小规模的基于时序的案例特征权重多阶段调整算法。该算法适用于数值型特征项相似度计算。

用于大数据分类的KNN算法研究

针对KNN算法在处理大数据时的两个不足对其进行了研究,提出多层差分KNN算法。算法对已知样本根据类域进行分层,既避免了传统改进算法中剪辑样本带来的判别误差,又大大降低了无效的计算量;同时在最后一层采用差分的方法进行决策,而不是直接根据最近邻进行分类,大大提高了分类的准确性。实验结果表明,该算法在对样本容量大、涉及邻域多的大数据样本进行分类时能取得较好的分类效果。

一种模糊-证据kNN分类方法

已有的以k-最近邻(kNearest Neighbor,kNN)规则为核心的分类算法,如模糊kNN(FuzzykNN,FkNN)和证据kNN(EvidentialkNN,EkNN)等,存在着两个问题:无法区别出样本特征的差异以及忽略了邻居距训练样本类中心距离的不同所带来的影响.为此,本文提出一种模糊-证据kNN算法.首先,利用特征的模糊熵值确定每个特征的权重,基于加权欧氏距离选取k个邻居;然后,利用邻居的信息熵区别对待邻居并结合FkNN在表示信息和EkNN在融合决策方面的优势,采取先模糊化再融合的方法确定待分类样本的类别.本文的方法在UCI标准数据集上进行了测试,结果表明该方法优于已有算法.

一种无线传感器网络中的多维K-NN查询优化算法(英文)

提出了一种基于过滤器的无线传感器网络多维K-NN查询优化算法PREDICTOR.过滤器是设置在节点端的取值分布区间,用来屏蔽节点发送属于区间内的数据,从而节省节点能耗.在服务器端保存有各节点的历史样本数据,根据K-NN查询请求和样本数据的分布范围为节点定义过滤器.提出了3种优化策略:(1)过滤器覆盖区间大小分配策略的动态调整方法,使得进入最终查询结果可能性小的节点拥有较大的覆盖区间;(2)节点间过滤器共享方法,使得历史样本数据相近的节点使用相同的过滤器;(3)过滤器压缩传输方法,减少为不同K-NN查询更新过滤器的代价.通过实验评价,验证了PREDICTOR算法的能量有效性,与朴素算法相比,极大地降低了数据传输量.

基于GF-1 PMS影像和k-NN方法的延庆区森林蓄积量估测

应用高分1号(GF-1)全色和多光谱(PMS)影像和k-最邻近(k-NN)方法进行县域尺度的森林蓄积量估测,探讨GF-1 PMS影像以及k-NN方法估测森林蓄积量的适用性。以北京市延庆区森林资源二类调查数据为基础数据,森林蓄积量为研究对象,基于国产GF-1 PMS影像数据提取植被指数,采用k-NN法构建森林蓄积量估测模型,并引入偏最小二乘回归法予以比较,选出最优估测方法对全区森林蓄积量进行反演。结果显示:偏最小二乘回归法估测的森林蓄积量均方根误差为21.90 m^3·hm^(-2),相对均方根误差为27.5%,偏差为17.23 m^3·hm^(-2)。基于k-NN方法的森林蓄积量估测的均方根误差为12.80 m^3·hm^(-2),相对均方根误差为16.0%,偏差为15.02 m^3·hm^(-2)。与官方公布的全区森林蓄积量进行对比,结果显示:基于k-NN法反演的全区森林蓄积量统计结果(245.98万m^3,估测精度为86.0%)要好于偏最小二乘回归法(266.22万m^3,估测精度为76.6%)。最后生成了全区森林蓄积量空间分布图。

一种新的证据K-NN数据分类算法

K近邻分类算法已被广泛应用于模式识别中。为了有效处理识别问题中的不确定信息并提高数据分类精度,提出了一种新的证据K-NN(NEK-NN)分类算法。首先从总的训练集中随机重复采样来构造多个训练样本子集。在每个训练子集中,利用目标数据与其各个近邻的距离分别构造基本置信指派,并根据K个近邻数据在每个类别中的数目来对构造的置信指派进行加权。然后,利用DS规则对加权证据融合。根据每个训练子集下融合结果的算术平均值来判断目标的类别属性。通过模拟数据集和真实数据集的实验,将NEK-NN算法与其他几种常见的方法做了对比分析,结果表明NEK-NN算法能够有效地提高分类的精度。

基于N次K-NN分类算法的管道机器人定位技术研究

分析了低频电磁波在均匀介质中的磁场分布,其分布与介质的介电常数、磁导率密切相关.根据管道机器人定位的实际工程需要,给出了三传感器低频电磁波定位模型.为了减小传输介质介电常数、磁导率参数对管道机器人定位的影响,提出了N次K-NN分类算法.实验结果表明,该算法分类的正确率可达97.5%,定位精度可达±10 cm,在传输介质介电常数、磁导率等参数不确定条件下,可有效地求解低频电磁波发射源的位置参数.

一种k-NN文本分类器的改进方法

自动文本分类是提高信息利用效率和质量的有效方法。训练文本分布的不均匀会对分类的效果产生负面影响，而在实际中，很难使训练文本的分布达到均匀。针对这一问题，提出了一种改进的k-NN文本分类方法。通过在英文和中文两个文本集的实验表明，改进后的方法不仅分类的准确性有了提高，而且表现出较好的稳定性。

基于MPI的ML-kNN算法并行

基于MPI将ML-kNN算法并行化,以解决多标签学习领域中的大规模分类问题,控制计算的时间开销,这也是首次将MPI应用到多标签学习领域.通过与传统的串行ML-kNN的对比实验,验证了所提方法的可行性和有效性.另外,允许数据集以特征为单位划分,这使得该方法在处理高维数据时具有更大的优势.

基于k-NN算法的叶面积指数遥感反演

叶面积指数(Leaf Area Index,LAI)作为植被冠层结构的重要描述参数之一,能体现植被光合、蒸腾和呼吸作用的能力。借助GPS和LAI-2200冠层分析仪在攸县黄丰桥林场开展LAI测量。利用ENVI软件对Geo Eye-1数据进行了辐射定标,大气校正和正射校正。通过研究LAI与Geo Eye-1影像波段及其衍生指数的相关性,筛选出2组估算LAI的指数因子(6个指数因子和10个指数因子)。应用k-NN进行叶面积指数反演,同时将反演结果与多元线性回归模型结果进行比较。结果表明:利用2组指数因子进行多元线性回归模型反演LAI中,6个指数因子的模型决定系数R2为0.386,10个指数因子的模型决定系数R2为0.498。从回归模拟的角度分析,10个指数因子得到的模拟结果要优于6个指数因子的模拟结果。利用2组指数因子通过设置4个不同的k值(k=3,5,7,10)得到8个k-NN反演结果中,以10个指数因子得到的k-NN反演结果较好,其中在k=3时效果最好,其决定系数R2为0.733,精度为85.4%。建模精度分析表明选用10个指数因子进行LAI的反演优于选用6个指数因子,其中k-NN方法的反演结果优于多元线性回归模型,说明利用k-NN方法进行LAI的反演是可行的。

k-nn方法在热带气旋路径预报中的应用

引入k nn方法 ,结合经过预报实践检验、应用证明效果较好的预报因子 ,制作热带气旋路径预报系统 ,运行效果良好 ,可以应用到日常预报业务中。

基于k-NN和SCATS交通数据的路段行程时间估计方法

为了改善利用SCATS交通数据估计路段行程时间的效果,通过分析SCATS实际交通数据获取时间间隔不一致的特征,构建了SCATS交通数据虚拟时间序列,将利用因子分析法提取的累计贡献率在85%以上的主因子作为交通模式特征向量的构成要素,用欧氏距离作为当前交通模式特征向量和历史交通模式特征向量相似性的测度指标,以路段行程时间估计误差最小为目标选取当前交通模式的近邻数,对交通模式之间距离的倒数进行归一化处理,确定了相似交通模式的行程时间权重,设计了基于SCATS交通数据的路段行程时间估计方法.实例结果表明:与多元线性回归方法相比,本文方法估计的路段行程时间平均绝对误差、平均绝对百分比误差和均方根误差分别平均减少了9.68 s、8.07%和4.5 s.

一种优化的k-NN文本分类算法

k-NN是经典的文本分类算法之一,在解决概念漂移问题上尤其具有优势,但其运行速度低下的缺点也非常严重,为此它通常借助特征选择降维方法来避免维度灾难、提高运行效率。但特征选择又会引起信息丢失等问题,不利于分类系统整体性能的提高。从文本向量的稀疏性特点出发,对传统的k-NN算法进行了诸多优化。优化算法简化了欧氏距离分类模型,大大降低了系统的运算开销,使运行效率有了质的提高。此外,优化算法还舍弃了特征选择预处理过程,从而可以完全避免因特征选择而引起的诸多不利问题,其分类性能也远远超出了普通k-NN。实验显示,优化算法在性能与效率双方面都有非常优秀的表现,它为传统的k-NN算法注入了新的活力,并可以在解决概念漂移等问题上发挥更大的作用。

使用R树进行k-NN搜索

在地理信息系统中经常要做k-NN搜索,进行这些查询用到的算法与位置和范围查询的算法不同,需要专门进行研究。介绍了一种分支界限遍历R树算法,并将该算法概括为k-NN算法。文中讨论了两种方法,对R树进行结点内MBR的排序以及剪枝过程,以减少搜索空间中需访问结点的数量,有效地进行k-NN搜索。

基于P2P结构的kNN查询框架

目的提出一种基于P2P结构的移动对象kNN查询框架.方法假设移动对象具有计算处理能力和储存空间,在此基础上进行P2P结构的设计.查询的发起、响应以及计算等不借助中心服务器,而将其转移到移动对象上进行处理.采用距离-响应时间计算算法和kNN查询分段排序算法来进行移动对象kNN查询.结果距离-响应时间计算算法和kNN查询分段排序算法能较好利用框架中各个移动对象响应查询时存在间隔这一特征进行简化计算,提高了框架的工作效率,增强了查询实时性.在更新的过程中通过使用安全时间的概念来减少盲目的对象更新,减少了数据冗余.结论在模拟实验中,框架能充分发挥P2P结构的优点进行移动对象kNN查询,查询响应迅速,查询结果具有较好实时性.

基于可传递信度模型的k-NN分类规则

针对训练模式所属类不确定情形,提出了基于可传递信度模型(TBM)的k-NN分类规则,并结合模糊集理论及可能性理论进行了拓广,最后通过计算机模拟实验将两者作了比较.

基于增强型K-NN块搜索的图像修复算法

针对当前图像修复方法在对遮蔽物损坏图像复原时,存在明显的模糊效应与不连续效应等不足,提出局部最小二乘逼近优化耦合增强K-NN块搜索的图像修复算法。通过对图像修复机理进行分析,联合等权方法与K-NN(K近邻)块,将未知像素的估值转化为对线性组合函数的求解;定义基于边缘的优先项,计算输入块的边缘特性,提出基于局部学习映射函数的增强型K-NN块搜索方法,降低未知像素值K-NN的误配;采用基于局部最小二乘逼近优化方法,将相似块中的像素传播至损坏区域,完成图像修复。测试结果表明,与当前图像修复算法相比,在遮蔽物损坏图像复原中,该技术拥有更好的修复质量,有效降低了模糊效应,克服了修复时存在的间断效应。

基于可信k-NN的面向EMC浪涌测试多状态灯模式识别

针对目前EMC浪涌测试中人工测试存在多个问题,提出一种结合k-NN算法和可信度评价的浪涌测试自动化多状态灯识别方法。首先研究基于HSI的样本快速训练,包括颜色空间模型转换、特征量提取和样本训练;然后研究基于k-NN的多状态灯模式识别,并对识别结果进行可信度评价,在不可信或可信度低情况下进行k值调整与状态重新识别;最后判断状态灯闪烁情况。实验表明,在EUT面板各状态灯亮灭状态对比度较高或较低并存在外界干扰情况下,该方法对多个状态灯的亮灭状态、闪烁情况的识别正确率达100%,且与人员判断比较具有更为准确的识别结果、时间信息。