基于属性值信息熵的KNN改进算法

为了克服传统KNN算法,距离加权-KNN算法在距离定义及投票方式上的不足,提出了一种基于属性值对类别重要性的改进算法Entropy-KNN。首先定义两个样本间的距离为相同属性值的平均信息熵,此距离可通过重要属性值有效度量样本之间的相似程度,其次算法Entropy-KNN根据上述定义的距离选取与待测试样本距离最小的K个近邻,最后根据各类近邻样本点的平均距离及个数判断待测试样本的类别。在蘑菇数据集上的实验表明,Entropy-KNN算法的分类准确率高于传统KNN算法和距离加权KNN算法。

基于层次聚类法的Entropy-KNN算法

KNN算法通过近邻样本的个数分类,Entropy-KNN算法给出新的相似度定义,而且投票时综合待测样本与近邻样本的个数和各类近邻的平均距离,但两种算法均未考虑近邻样本间的相似.提出的基于层次聚类法的Entropy-KNN算法,首先对训练集按类别进行层次聚类,接着在与待测样本最相似的子类中选取近邻样本,使得近邻样本具有较高的相似度,最后结合Entropy-KNN算法进行分类.在蘑菇数据集上的实验结果表明,该算法的分类准确率高于Entropy-KNN算法.

基于联合相似用户-项目的协同过滤推荐算法

由于用户评分的偏好性,及其稀疏的评分矩阵,导致对目标用户的近邻无法进行准确的搜索,使得推荐结果不尽如人意.本文提出了一种联合用户-项目的推荐算法,不仅考虑用户近邻的推荐作用,也考虑了项目近邻的推荐作用.首先,定义相似用户评分影响为用户偏好影响因子,定义相似项目影响为项目偏好影响因子.其次,联合用户偏好影响因子和项目偏好影响因子进行共同推荐.在此基础上,设计新的推荐模型.通过大量的实验证明,提出的新模型得到的推荐质量优于传统模型.

基于层次粒化的特征选择算法

许多实际应用问题中,特征空间存在着层次粒化结构.首先,提出基于核方法度量的层次聚类来对特征空间进行层次粒化.其次,在层次粒化后的各个子空间上,基于邻域互信息考量特征和标记间最大相关以及特征与特征间最小冗余性,在某一指定的层次上对特征进行排序.在此基础上,选择各个子空间具有代表性的部分特征,组成最终的特征子集.最后,在6个UCI数据集和2个不同基分类器上的实验表明所提算法的有效性.