基于反向最近邻的密度估计聚类算法

基于相互最近邻的密度峰聚类算法(DenMune)通过相互最近邻计算数据点的局部密度,是一种有效的聚类手段。但该算法存在构建聚类骨架不合理的问题,在分配弱点时采用硬投票策略,易产生错误。因此提出一种新的基于反向最近邻的密度估计聚类算法(RNN-DEC)。该算法引入反向最近邻来计算数据点的局部密度,将数据点分成强点、弱点和噪声点。使用强点构建聚类算法的骨架,通过软投票的方式将弱点分配到与其相似度最高的簇中去。提出了一种基于反向最近邻的簇融合算法,将相似度高的子簇融合,得到最终的聚类结果。实验结果表明,在一些合成数据集和UCI真实数据集上,相比较于其他经典算法,该算法具有更好的聚类效果。

基于网格近邻优化的密度峰值聚类算法

密度峰值聚类(DPC)将数据样本点的局部密度和相对距离进行结合,能对任意形状数据集进行聚类处理,但密度峰值聚类算法存在主观选择截断距离、简单分配策略和较高时间复杂度等问题。为此,提出了一种基于网格近邻优化的密度峰值聚类算法(KG-DPC算法)。首先对数据空间进行网格化,减少了样本数据点之间距离的计算量;在计算局部密度时不仅考虑了网格自身的密度值,而且考虑了周围k个近邻的网格密度值,降低了主观选择截断距离对聚类结果的影响,提高了聚类准确率,设定网格密度阈值,保证了聚类结果的稳定性。通过实验结果表明,KG-DPC算法比DBSCAN、DPC和SDPC算法在聚类准确率上有很大提升,在聚类平均消耗时间上DPC、SNN-DPC和DPC-NN算法分别降低38%、44%和44%。在保证基本聚类准确率的基础上,KG-DPC算法在聚类效率上有特定优势。

高光谱影像逆近邻密度峰值聚类的波段选择算法

密度峰值聚类波段选择算法利用局部密度描述波段的密度信息,然而现有的局部密度容易忽略波段分布的全局信息,不能有效描述波段的分布特征,导致波段子集分类精度有限。为解决上述问题,本文提出一种基于逆近邻的密度峰值聚类波段选择算法。首先,利用波段与其K近邻构建K近邻有向图,获取波段的逆近邻,以及波段之间的共享近邻和共享逆近邻;然后,利用共享近邻和共享逆近邻并集的个数作为波段之间的相似度,利用波段与其逆近邻的平均欧氏距离和相似度构造增强型局部密度;最后,将增强型局部密度、距离因子、信息熵三者的乘积作为权重值,根据权重值挑选波段子集。为提高试验效率和实用性,本文算法还提出一种自动获得K值的自适应K值方法。在3个高光谱标准数据集上的试验结果表明,本文算法得到的波段子集比其他先进算法挑选的波段有更好的分类性能,尤其是在波段数较少的情况下,而且计算效率较高。

基于融合K-近邻算法的电压互感器在线监测方法

由于受工作时长和环境因素的影响,电容式电压互感器(capacitor voltage transformer,CVT)在运行过程中误差稳定性不高,易出现电能计量失准现象。为此,该文提出了一种基于融合K-近邻算法(fusion K-nearest neighbor algorithm,FKNN)的电压互感器在线评估方法。该方法利用互感器的历史运行数据构建虚拟标准器,通过改进K-近邻算法对互感器实时状态进行监测,实现对异常情况的报警。同时,提出了一种加权移动时间窗的方法,自适应更新异常阈值,有效削弱电网不平衡波动的影响。实验结果表明,该文方法能够准确监测互感器的0.2级误差漂移。

基于AKNN异常检验与ADPC聚类的低压台区拓扑识别方法

低压台区拓扑信息的准确记录是进行台区线损分析、三相不平衡治理等工作的基础。针对目前拓扑档案排查成本高且效率低的问题,提出一种基于自适应k近邻(adaptive k nearest neighbor,AKNN)异常检验和自适应密度峰值(adaptive density peaks clustering,ADPC)聚类的低压台区拓扑识别方法。该方法利用动态时间弯曲(dynamic time warping,DTW)距离度量低压台区用户间电压序列的相似性,通过AKNN异常检验算法检验并校正异常的用户与变压器之间的关系(简称“户变关系”),在得到正确户变关系的基础上,采用ADPC聚类算法对台区内用户进行相位识别;最后,通过实际台区算例分析验证了该方法不需要人为设置参数,能有效实现低压台区的拓扑识别,具有较高的适用性与准确性。

基于多策略融合斑马优化算法的特征选择方法

针对传统斑马优化算法在求解复杂优化问题时精度低、收敛速度慢和易陷入局部最优的不足,提出一种多策略融合的改进斑马优化算法(IZOA)。首先,为解决斑马个体初始位置分布不均匀的问题,引入混沌映射来增加探索过程的种群多样性;其次,受自适应权重和黄金正弦算法思想启发,提出一种基于自适应递减权重和黄金正弦更新机制的位置更新策略,用于改进斑马算法的局部寻优与全局探索能力;然后,进行标准测试函数实验,验证了IZOA能够有效提升寻优精度和收敛速度;最后,将K近邻分类器作为待优化目标,选取UCI库的12个标准数据集进行特征选择实验,并利用改进后的算法在特征选择模型中进行最优特征子集搜寻。实验结果表明,相比传统算法,所提算法的平均分类准确率提升4.47%,平均适应度值降低2.5%,验证了该算法在特征选择领域的优越性。

基于注意力机制的不完备多视图聚类算法

针对传统深度不完备多视图聚类算法中补全缺失视图数据的不确定性、嵌入学习鲁棒性的缺乏和模型泛化性低的问题,提出基于注意力机制的不完备多视图聚类算法(IMVCAM)。首先,通过K最近邻(KNN)算法补全了视图中缺失的数据,使训练数据具有互补性;其次,经过线性编码层后,将获得的嵌入通过注意力层,以提高嵌入的质量;最后,对每个视图训练得到的嵌入使用k均值聚类算法进行聚类,而视图的权重通过皮尔逊相关系数确定。在5个经典的数据集上的实验结果表明,在Fashion数据集上,IMVCAM取得最优的结果,相较于次优的深度安全不完整多视图聚类(DSIMVC)算法,在数据缺失率为0.1、0.3的情况下,IMVCAM的聚类准确率分别提升了2.85、4.35个百分点;此外,在Caltech101-20数据集上,IMVCAM相较于次优的基于自注意力融合的不完整多视图聚类算法(IMVCSAF),在数据缺失率为0.1、0.3的情况下的聚类准确率分别提升了7.68、3.48个百分点。所提算法能够有效应对多视图数据的不完备性和模型泛化性问题。

基于邻域互信息与K-means特征聚类的特征选择

针对多数邻域系统通过人工调试很难搜索到最佳邻域半径,以及传统的K-means聚类需要随机选取簇中心和指定簇的数目等问题,提出了一种基于邻域互信息与K-means特征聚类的特征选择方法。首先,将样本在各特征下与其他样本距离的平均值作为自适应邻域半径,确定样本的邻域集,并由此构建自适应邻域熵、邻域互信息、归一化邻域互信息等度量,反映特征之间的相关性;然后,基于归一化邻域互信息构建自适应K近邻集合,利用Pearson相关系数表示特征的权重定义加权K近邻密度,实现自动选取K-means算法的簇中心,进而完成K-means特征聚类;最后,给出加权平均冗余度,选出每个特征簇中加权平均冗余度最大的特征构成最优特征子集。实验结果表明所提算法不仅可以有效提升特征选择的分类结果而且可以获得更好的聚类效果。

用于雷达信号分选的K中位最近邻聚类算法

在处理雷达信号时,基于密度的空间聚类(Density-based spatial clustering of applications with noise,DBSCAN)分选算法依赖于参数或阈值的选取,影响分选的准确率。为此提出了一种改进的雷达信号脉冲分选算法,在DBSCAN聚类基础上结合了K中位最近邻(K-median nearest neighbor,KMNN)算法,通过引入自衰减系数并设置阈值上限对参数值列表进行二次处理,可以自适应根据聚类结果与不同参数时的K值之间的关系确定最优的邻域半径和最少点个数,提高了分选的正确率。通过仿真实验验证了算法利用雷达脉冲描述字特征进行自适应分选的有效性。

自适应引力密度峰值聚类优化算法

针对密度峰值聚类(Density Peak Clustering,DPC)算法对截断距离的取值较为敏感,密度度量标准不统一且人为选取聚类中心存在主观性的问题,提出了一种自适应引力密度峰值聚类优化(Optimized Adaptive Gravitational Density Peak Clustering Algorithm,OAGDPC)算法。首先采用模糊加权K-近邻技术(Fuzzy Weighted KNearest Neighbors Density Peak Clustering,FKNN-DPC)重新定义了局部密度,统一了密度度量的标准;然后提出一种自适应选择聚类中心的策略,结合基于引力的密度峰值(Gravitational Density Peak Clustering,GDPC)算法中牛顿万有引力定律与DPC算法的参数映射,使用引力类比距离,并设置综合考虑局部密度和引力的决策参数,依据决策参数降序折线图的顶角变化自适应确定聚类中心;最后聚集非中心点并识别异常点。实验选取DPC、GDPC、FKNN-DPC和OAGDPC在人工和UCI数据集上进行测试,结果表明,OAGDPC算法在各数据集上都有良好的表现,特别在聚类结果准确性、自适应能力、鲁棒性方面相对于对比算法具有明显优势。

基于AP聚类的时序数据缺失值有序填充算法

为提高数据的完整性,便于从数据中获得更多有价值的信息,提出基于AP聚类的时序数据缺失值有序填充算法。为提高数据质量,将数据分为不同子集,根据标准差思想对数据作归一化处理,将数值控制在固定区间,减少数据的不平衡性;分别构建吸引度与归属度更新矩阵,确保消息正常传递,达到近邻传播目的;设计不完整信息系统,将不同数据间的相似度作为聚类依据;获取聚类邻域的半径参数,通过数据点密度指标确定聚类中心,将相邻数据聚集在一起;利用熵值概念,根据数据相似度计算加权系数,确定缺失数据属性值,实现缺失值有序填充。实验结果表明,所提方法能够将具有相同属性特征的数据聚集在一起,即使数据缺失率较高,也能达到很高的填充准确率。

自适应邻域密度聚类及事故黑点识别应用

聚类作为识别交通事故黑点的主要方法之一,其主要问题是交通事故多发区事先无法确定,即无法提前知道聚类簇数。利用样本点之间的连接概率定义了数据点的局部密度,根据局部密度大小来确定聚类中心和簇数,再对数据点进行聚类。结果表明:一是算法对参数不敏感,具有较好的通用性;二是算法能自动确定聚类簇数;三是算法聚类过程只依赖局部密度与邻接点,能够识别噪声点,提升结果的准确性。运用算法在一些真实数据集上进行试验,将聚类结果与其他算法结果利用评价指标ARI(Adjusted Rand Index)和NMI(Normalized Mutual Information)进行比较。最后利用算法对美国6个州的交通事故进行聚类,结果表明算法对交通事故有较好的适应性,能将城市及周边道路上事故密集区域准确识别出来。

基于K-近邻与FOA改进聚类的数据异常分析模型及用电行为分析

对隐藏在大数据中的信息进行深层挖掘时,由于存在数据来源、统计口径、人员输入、行为异常等方面的问题,可能出现异常数据。针对此类问题,首先利用离散小波变换进行多尺度分解,然后采用K-近邻思想对局部区域的密度、距离重新定义,来提高对异常值的识别精度;最后结合改进的果蝇优化算法,对密度峰值聚类算法中的截断距离进行优化,提出基于K-近邻与改进果蝇优化的密度峰值聚类异常分析模型。从异常值检测角度进行仿真实验分析,根据用户数据多时间尺度特征,对不同时间尺度的复合数据进行聚类,对用电行为进行分析;选择多种标准测试函数,对基于知识学习的改进果蝇优化算法性能进行对比研究。结果显示,基于K-近邻的算法能够将变压器中不同于正常运行模式的少数异常曲线及单个用户的异常用电模式检测出来,其有效性得到了验证。在基于知识学习的改进果蝇优化算法中,随着果蝇个体数量增加其寻优能力也得到提高。

近邻关系约束和簇心扩散的密度峰值聚类算法

研究表明,对于非球形簇和密度不均匀的聚类,DPC很难选择正确的簇中心;同时,DPC的分配方法存在多米诺骨牌效应,即不正确的分配一个区域中密度最高的点,将导致该区域中的所有点都指向同一个错误的聚类.为了解决这两个不足,本文提出了近邻关系约束和簇心扩散的密度峰值聚类算法(DPC-NCCD).首先,引入了k近邻和二阶k近邻来重新定义局部密度,避免了密度不均匀的数据集在选取密度峰值时候出现的错误,确保簇心选择的正确性;其次,对于剩余样本的分配,本文采用三阶段的分配策略,每个阶段中依据不同的近邻关系约束条件来逐步扩大类簇.这样的分配策略可以缓解多米诺效应,并提高在流形数据集上的正确性.通过人工数据和真实数据的测试,证明了该算法在密度不均匀的流形数据集上具有良好的聚类性能.

基于自适应近邻信息的模糊C均值聚类算法

传统的模糊C均值算法直接基于原始数据进行聚类,数据的内在结构可能会被噪声、异常值或其他因素破坏,因此聚类性能会受到影响。为提升FCM算法的鲁棒性,提出了一种基于自适应近邻信息的模糊C均值聚类算法。近邻信息指的是一种基于数据点之间相似度的度量,每个数据点都可以看作其他数据点的近邻,但是不同数据点之间的相似度是不同的。将样本点的近邻信息GX和类中心点的近邻信息GV融入基础FCM模型中,为聚类过程提供更多的数据结构信息,用于指导聚类算法中的簇划分过程,以提升算法的稳定性,并提出了3个迭代算法求解本文提出的聚类模型。与其他先进聚类算法对比,在部分基准数据集上聚类性能有10%以上的提升,同时还从参数敏感性、收敛性、消融实验等方面对算法进行评价。实验结果可以充分显示本文提出的聚类算法的可行性与有效性。

基于边界剥离思想的全局中心聚类算法

全局中心聚类算法如k-means、谱聚类在类簇分布出现重叠粘连现象时往往容易陷入局部最优且参数难以设定,极大地限制了全局中心聚类算法在实际应用中的效果。为解决此问题,提出了一种基于边界剥离思想的全局中心聚类算法。首先,设计了一步边界剥离法,根据样本点间的反向k近邻关系定义了一种局部距离加权密度,并利用密度经验分布函数一阶差分最大处的密度值作为阈值将数据集分为边界集与核心集。其次,嵌入传统的全局中心聚类算法对核心集进行聚类,得益于核心集的簇间重叠问题已明显改善,嵌入算法将更容易收敛到真实的簇中心。最后,提出一种边界吸引算法,从已被归类的核心集样本点出发,借助已有的反向k近邻关系迭代融合边界集中的样本点以完成对整个数据集的聚类。相较于目前以迭代方式进行的边界剥离算法,所提算法在计算效率上具有明显优势,不需要额外设定复杂的终止条件而直接通过阈值进行边界划分,并且全局性方法在数据局部密度存在差异的情形下具备更强的鲁棒性。在实验阶段,采用3个合成数据集以及6个真实数据集从算法性能、参数敏感性、时间消耗多个方面进行评估,实验结果进一步验证了此算法的有效性与实用性。

岩质高边坡结构面识别及产状统计信息采集方法

准确识别岩质高边坡结构面和获取产状统计信息是进行边坡稳定性分析的重要前提。无人机摄影测量技术为解决高边坡结构面准确勘测难题提供了可能,但缺少高效准确的影像后处理方法,且现有研究没有考虑结构面产状信息特征的不确定性,致使结构面识别准确性差、效率低。针对该问题,以江西省南昌市某露天矿高边坡为研究背景,提出了融合无人机摄影、后处理算法及统计分析的一体化结构面识别与产状统计信息采集方法。首先,通过Phantom 4 Pro V2.0无人机获取边坡表面影像;其次,利用Context Capture软件进行处理,得到高密度三维点云数据;然后,采用K近邻(KNN)算法中的确定近邻点数量法构建相似点集,采用基于密度的聚类(DBSCAN)算法进行聚类分析,从而实现边坡结构面识别,获得结构面产状信息并进行统计特征分析;最后,通过现场勘测数据进行对比验证。结果表明:该方法能够快速获取完整的高密度点云数据,准确高效地识别岩质高边坡大部分结构面,识别结果与边坡工程现场实际情况基本吻合;该方法可获取高边坡结构面数量、产状信息及其统计特征,大部分结构面倾角和倾向概率分布与实测数据拟合较好,为高边坡裂隙网络模型构建及稳定性分析提供了重要数据来源。

考虑建成环境的酒驾事故时空分布特征

为深入了解我国酒驾事故的时空分布特征及其与周围建成环境的空间距离阈值,以济南市2022年发生的1034起酒驾事故与13029起非酒驾事故案例为研究对象,结合季节性强度指数与地理集中指数等衡量指标,分析酒驾事故的时空分布特征;利用近邻分析与基于最大类簇直径改进的K-means聚类算法,探究出周围建成环境与酒驾事故点的空间距离阈值。结果表明:酒驾事故的时间分布季节强度指数为4.128,大于非酒驾事故的3.839,时间分布差异性更大,且高发时段(20:00—02:00)与餐饮服务的高峰营业时间一致。酒驾事故的地理集中指数G为32.713%,大于均匀分布情况下的地理集中指数G,空间集聚程度更高,且与周围建成环境分布具有密切联系。餐饮服务、购物服务、住宿服务与商务住宅的聚类中心点到酒驾事故点的距离阈值分别为798.415 m、694.378 m、658.234 m与739.622 m。

基于KNN和多特征融合的苹果叶部病害识别检测

准确识别与防治苹果叶部病害,能够有效提高苹果的产量与品质。以常见的苹果叶部病害(锈病、黑腐病、黑星病)为研究对象,构建基于KNN和多特征融合的无损检测模型。使用K-means聚类算法分割苹果叶部图像,通过颜色矩、灰度共生矩阵、Hu距分别提取图像的颜色、纹理和形状特征,利用KNN对特征参数进行分类模型训练,能够实现绿色准确识别苹果叶部病害的目的。实验结果表明,以颜色、纹理、形状为单特征检测的苹果叶部病害识别精确率分别为75%、57%、45%,其中颜色特征更加直观,有9个特征量识别率较高,形状特征在进行图像分割时很难确定K点导致识别率低。该研究基于颜色、纹理、形状等多特征融合提取13个特征量,能够准确识别苹果叶部病害,其识别率达84%,为实现绿色农业果园病虫害防治提供技术支持。

自适应确定DBSCAN算法参数的算法研究

传统DBSCAN算法需要人为确定Eps和MinPts参数,参数的选择直接决定了聚类结果的合理性,因此提出一种新的自适应确定DBSCAN算法参数算法,该算法基于参数寻优策略,通过利用数据集自身分布特性生成候选Eps和MinPts参数,自动寻找聚类结果的簇数变化稳定区间,并将该区间中密度阈值最少时所对应的Eps和MinPts参数作为最优参数。实验结果表明,该算法能够实现聚类过程的全自动化并且能够选择合理的Eps和MinPts参数,得到了高准确度聚类结果。