基于熵权的K最临近算法改进

维度灾难直接影响到K最临近算法(KNN)的效率和准确率,将信息论中的信息熵理论与KNN算法结合起来,用信息熵理论进行属性约简,并根据特征属性与分类的相关度来确定各属性的权限,从而建立相关度与权重的内在联系。仿真实验表明,与传统的KNN相比,基于熵权的KNN改进方法在保持分类效率的情况下,使分类器的准确率得到了极大的提高。

基于Spark的输变电线路实时故障监测研究

输变电线路状态监测数据是智能电网中数据量很大的一部分,不仅包括在线的状态监测数据,还包括设备的基本信息、实验数据、缺陷记录等,在数据处理的可靠性和实时性方面的要求都很高。根据实际应用中输变电线路的故障类型,设计并实现了输变电线路实时数据故障监测模型。其中,利用高效处理实时数据的Spark系统,研发出基于Spark的分布式ISODATA和模糊KNN大数据分析算法,与单机KNN算法相比,在时间性能上提高了70.75%效率,具有明显的计算效率优势。

基于遗传算法和KNN的软件度量属性选择研究

针对软件可靠性预测中软件度量维数灾难问题,提出一种基于自适应遗传算法和KNN算法相结合的软件度量属性选择方法,筛选出与软件可靠性关系最为密切的关键属性集。该方法在属性子集搜索上采用遗传算法进行随机搜索,在属性子集评价上采用KNN分类准确率和属性子集规模作为学习算法及评价指标。实验结果表明,该算法可有效地找出具有较好可分离性的属性子集,从而实现降维并提高软件可靠性预测精度。

基于支持向量机与反K近邻的分类算法研究

针对支持向量机在对样本进行分类时,决策超平面附近的点较易错分的问题,首先将反K近邻法引入分类问题,提出了反K近邻分类算法;然后,将支持向量机(SVM)与反K近邻分类算法(RKNN)相结合,提出了基于支持向量机与反K近邻的分类算法(SVM-RKNN);最后,为了避免单一分类器可能存在的片面性问题,提出了基于SVM-RKNN的多特征融合分类方法。实验结果表明:SVM-RKNN分类算法的分类准确率比SVM方法平均提高了2.13%,而基于SVM-RKNN的多特征融合分类算法的分类准确率分别比SVM和SVM-RKNN算法平均提高了2.54%和0.41%。

基于反向K近邻的孤立点检测算法

提出了基于反向K近邻(RKNN)的孤立点检测算法ODRKNN。ODRKNN算法用每个数据点的反向K近邻个数来衡量该数据点的偏离程度,在综合数据集和真实数据集上的实验结果表明,该算法能有效地检测出孤立点,且算法的效率高于算法LOF和LSC的效率。

基于分类贡献有效值的增量KNN模型修剪研究

增量学习的效果直接影响到KNN的效率和准确率。提出基于分类贡献有效值的增量KNN修剪模型(C2EV-KNNMODEL),将特征参数的分类贡献度与KNN增量学习结合起来,定义一种新的训练样本的贡献有效值,并根据此定义制定训练集模型的修剪策略。理论和实验表明,C2EV-KNNMODEL的适用性较强,能够使分类器的分类性能得到极大的提高。

一种快速的反向k近邻查找算法及其改进

提出一种快速的反向k近邻查找算法,该方法利用现代计算机具有外存便宜、运行速度快的特点,预先计算数据之间的距离,并组织为数据索引块存储于外存,由计算机在空闲时自动进行维护.在进行反向最近邻查询时,只需读入相应的索引块,就可进行直接查询,其时间复杂度为O(N),而且不受k的影响.为减少索引块的读取时间,提出一种改进方法来有效地压缩索引块,仅用必要的二进制位来存储对象之间的距离,并将冗余减少到最低水平,提高了算法的效率.最后通过实验分析评估算法的有效性和效率.

高维主存的反向K最近邻查询及连接

对高维主存的反向K最近邻(KNN)查询进行研究,提出一种△-RdKNN-tree索引结构。通过在该索引结构上进行主存KNN自连接,预处理数据集中点的KNN距离信息。将这些距离扩展到索引的各层节点中,基于该索引设计高维主存的反向KNN查询算法以及反向KNN连接算法。分析结果表明,该算法在高维空间中是有效的。

路网中连续反向k近邻查询处理

现存的反向k近邻查询方案中,比较高效地研究大多集中在欧式空间,对于路网中的反向k近邻查询的研究相对较少。针对这一问题,考虑路网中移动查询点和移动数据对象的移动性,选用PMR四叉树来索引路网,基于安全区的概念提出一种反向k近邻(RkNN)查询算法,通过监控查询点和移动对象的安全区来处理路网更新。基于"初始化-维护更新"框架,采用Dijkstra搜索策略,设置验证监控区域来判定候选对象解的真假性。为了减少网络搜寻的工作量,提出了一系列剪枝规则来削减搜索空间。实验结果表明,该算法适用于路网中k值不固定的连续RkNN查询。

一种基于K近邻团的聚类算法

在K近邻和逆K近邻理论基础上提出了K近邻团的概念。通过度量对象间的相似度,任意两个元素都互为K近邻和逆K近邻的对象集合构成一个K近邻团。利用同一个K近邻团中的对象彼此都具有较高相似性的特点,选取不同的K值对目标集合进行聚类。通过实验证明了该方法的有效性。

基于反向k近邻过滤异常的群数据异常检测

针对无数据标签的群数据异常检测问题,提出在无监督模式下利用k最近邻(kNN)算法检测群数据异常.为减少由于异常值与正常值之间相互干扰而产生的漏报和误报,提出用反向k近邻(RkNN)算法对异常群数据进行反向过滤.反向k近邻算法首先将统计距离作为不同群数据间的相似性度量,再用kNN算法求得每个集群的异常得分,并获得初始异常,最后使用RkNN算法对初始异常进行过滤.实验结果证明,所提算法能有效减少漏报和误报,且具有较高的异常检测率和良好的稳定性.

ML-kNN算法在大数据集上的高效应用

k近邻多标签算法(ML-k NN)是一种懒惰学习算法,并已经成功地应用到实际生活中。随着信息量的不断增大,将ML-kNN算法运用到大数据集上已是形势所需。利用聚类算法将数据集分为几个不同的部分,然后在每一个部分中使用ML-k NN算法,并在四个规模不同的数据集上进行了一系列实验。实验结果表明,基于此思想的ML-kNN算法不论在精度、性能还是效率上都略胜一筹。

障碍环境中可视反向视域K最近邻查询

在障碍环境下的空间应用中,用户通常只对视域范围内可视的数据对象感兴趣。为解决障碍环境中视域范围内的反向最近邻查询问题,将视域可视性引入到反向K最近邻查询中,提出一种可视反向视域K最近邻查询算法。给定某空间数据集P、障碍集O和查询点q,可视反向视域K最近邻查询检索P中数据点,并将q作为可视视域K最近邻。应用查询点进行障碍过滤,得到障碍过滤算法,利用数据对象的视域进行剪枝,使用查询点与数据对象的关系剪枝,形成有效的障碍剪枝规则,并根据剪枝规则得到视域可视性判断算法。在此基础上,分别基于R^(*)-树和VFR-树提出可视反向视域K最近邻查询算法R^(*)-V2-RKNN和VFR-V2-RKNN,并分别通过对R^(*)-树和VFR-树进行一次遍历得到查询结果。在真实数据集和模拟数据集上的实验结果表明,VFR-V2-RKNN算法的查询性能明显优于R^(*)-V2-RKNN算法。

字符多特征提取方法及其在车牌识别中的应用

针对车牌字符识别中大部分单一特征提取方法在字符识别上的局限性,提出了一种车牌字符多特征提取方法。在经过预处理后的车牌细化字符基础上提取字符4个侧面的笔画特征、拐点特征、轮廓累积特征及字符内部像素特征,构建出一个维度较低的特征向量集,然后分别采用支持向量机、K近邻算法、BP神经网络、径向基神经网络对陆丰高速公路实地拍摄的车牌图片进行测试并分别与模板匹配方法、网格法、基于小波矩方法比较,实验结果表明提出的车牌字符多特征提取方法识别率高,鲁棒性好。

基于机器学习的维吾尔文文本分类研究

随着Internet上维吾尔文信息的迅速发展,维吾尔文文本分类成为处理和组织这些大量文本数据的关键技术。研究维吾尔文文本分类相关技术和方法,针对维吾尔文文本在向量空间模型(VSM)表示下的高维性,采用词干提取和IG相结合的方法对表示空间进行降维。采用基于机器学习的分类算法(kNN和Nave Bayes)对维吾尔文文本语料进行了分类实验并分析了实验结果。

话题跟踪方法的研究

话题跟踪旨在实现对新闻媒体信息流中已知话题的动态跟踪。在现有的向量空间模型分类算法的基础上,提出一种基于话题更新的话题跟踪算法,通过实验对其进行评价。

网络评价倾向性研究

提出了基于语义相似度判别用户评价倾向的方法。利用同义词词林计算词语的相似度,由词语的相似度构造二部图,通过求二部图的最大匹配获得文本之间的相似度。依据KNN分类来判断文本的倾向性。实验结果表明该方法优于传统的倾向性判断的方法。

采用Win32 API相关行为分析的未知病毒检测方法

针对目前基于行为分析的未知病毒检测方法需要运行可执行程序,无法检测出以静态形式存在计算机中的滴管等病毒的问题,提出了一种基于Win32 API相关行为检测PE未知病毒的方法。首先解析PE文件提取其调用的敏感Win32 API函数,然后将这些API函数按相关的恶意行为分类并形成维数固定的特征行为向量存入数据库。采用基于判别熵最小化的特征提取法自适应的精简特征项,最后利用改进的K-最近邻算法进行分类。实验结果表明,该方法具有较高的命中率和较低的漏判率,适用于"云安全"系统中未知病毒的检测。

基于局部密度的快速离群点检测算法

已有的密度离群点检测算法LOF不能适应数据分布异常情况离群点检测,INFLO算法虽引入反向k近邻点集有效地解决了数据分布异常情况的离群点检测问题,但存在需要对所有数据点不加区分地分析其k近邻和反向k近邻点集导致的效率降低问题。针对该问题,提出局部密度离群点检测算法——LDBO,引入强k近邻点和弱k近邻点概念,通过分析邻近数据点的离群相关性,对数据点区别对待;并提出数据点离群性预判断策略,尽可能避免不必要的反向k近邻分析,有效提高数据分布异常情况离群点检测算法的效率。理论分析和实验结果表明,LDBO算法效率优于INFLO,算法是有效可行的。