Hadoop平台下基于快速搜索与密度峰值查找的聚类算法

针对K-means并行化算法中需要人为初始化起始中心点以及每次迭代都要重复计算所有点与中心点距离的低效率问题提出了一种基于快速搜索与密度峰值查找的并行化算法.采用了"化整为一"原则对算法进行并行化处理,即将每个节点的Map阶段得到的局部CFSFDP聚类结果集中的每个簇视为一个待聚类样本点,在Reduce阶段将这些样本点再进行一次CFSFDP聚类,从而能够快速的将相似的簇聚集在一起归并为同类别.采用Hadoop平台下的并行编程方法,以海量的新闻信息聚类进行实验.实验结果显示,嵌入了基于快速搜索与密度峰值查找的聚类算法后,相对于传统的K-means并行化算法在效率与聚类的结果准确度上都有着明显的提升.

贝壳形屋盖风压系数密度峰值聚类分区研究

鉴于贝壳形屋盖表面风压分布的特殊性,提出基于快速搜索技术的密度峰值聚类风压系数分区方法。以某贝壳形屋盖表面风压分布试验结果为基础,进行密度峰值聚类风压系数分区,采用SD有效性指标验证分区数的合理性,并与改进k-means聚类分区结果进行对比。结果表明:密度峰值聚类风压系数分区以风压系数相对距离、局部密度和综合指数为特征参数,能较好反映屋面风压分布特性,有效保证类聚合性和类类分离性;相较于改进k-means分区法,不同风向角下密度峰值聚类得到的分区数与SD最优聚类数接近;密度峰值聚类分区结果能更准确反映贝壳形屋盖表面风压分布特性,充分体现测点风压系数局部密度和相对距离特征值较大的基本原则,对于贝壳形屋盖的风压系数分区具有更好的适用性;贝壳形屋盖密度峰值聚类分区最大负风压系数在-0.59~-1.74之间。

结合双树复小波变换和改进密度峰值快速搜索聚类的乳腺MR图像分割

针对乳腺MR图像组织复杂、灰度不均匀、难分割的特点,本文提出双树复小波(DTCWT)变换结合密度聚类的图像分割方法.首先利用复小波域双变量模型结合各向异性扩散函数对图像进行去噪处理;进而通过简单线性迭代聚类(SLIC)算法将图像划分成一定数量的超像素区域,根据事先设置的阈值搜索每个超像素的近邻,从而降低基于K近邻的密度峰值快速搜索聚类(KNN-DPC)算法寻找每个样本近邻的时间;最终,引入超像素区域的近邻信息度量样本密度,采用KNN-DPC算法的分配策略自适应聚类.仿真和临床数据分割结果表明,所提算法能有效的实现乳腺MR图像的分割.

快速搜索密度峰值聚类在图像检索中的应用

为缩减图像检索和匹配范围,提高检索速度和准确率,将快速搜索密度峰值聚类用于对图像,按照特征相似性原则进行聚类,在类中心和最接近的一类中进行图像检索。考虑到传统的图像特征提取算法忽略了图像颜色的空间分布信息,提取的特征信息无法突出感兴趣的图像区域,通过等面积矩形环对图像进行划分并计算各空间区域的相关性,根据空间区域相关性计算各区域的重要性,将空间信息与颜色信息进行融合;对聚类算法的截断距离进行合理改进,保证了聚类的精度;将该密度峰值聚类算法应用于图像检索之中。对比实验结果表明,所提聚类算法和空间特征提取方法提高了图像检索的效率和准确性。

基于密度峰值快速搜索聚类的多场景分布式电源规划

针对间歇性分布式电源出力的随机性、负荷需求的不确定性以及分布式电源与负荷之间存在相关性的问题,采用拉丁超立方抽样并结合Spearman秩相关系数的Cholesky分解,得到分布式电源具有相关性的出力与负荷需求样本。通过密度峰值快速搜索聚类算法对相关性样本进行有效削减得到典型场景,以分布式电源投资运行费用和配电网向上级电网购电费用最小为优化目标,建立分布式电源多目标规划模型。最后通过二阶锥松弛将规划模型转化为混合整数二阶锥规划问题,并调用Cplex求解器对规划模型求解。IEEE 33节点算例结果验证了所提模型的合理性。

基于快速搜索与发现密度峰值聚类算法的含有分布式光伏的配电网电压分区协调控制

随着大量分布式光伏并入配电网,重要负荷节点电压越限的紧急情况更容易发生,这对当前潮流状态下电压控制的快速性提出了更高的要求。考虑电压集中控制方式控制过程复杂且传统的分区方法耗时较长等问题,首先以节点间的综合电压灵敏度为基础计算节点电气距离,根据电气距离构建节点相似度矩阵,并采用快速搜索与发现密度峰值聚类算法对配电网进行快速分区;然后考虑本地光伏独立调压能力的不足,提出了一种先无功后有功的电压分区协调控制策略;最后通过IEEE33配电网算例的仿真结果验证了该分区方法的快速性和电压分区协调控制策略的有效性。

基于剪枝策略和密度峰值聚类的行业典型负荷曲线辨识

辨识不同行业的典型负荷曲线对于配售电公司的运行调度、售电决策和风险管理均有重要意义。鉴于此,提出了一种基于剪枝策略和密度峰值聚类的行业典型负荷曲线辨识方法。首先,提出了衡量负荷曲线位移变化后相似性程度的快速动态时间扭曲(FDTW)距离指标,进而提出了一种搜索FDTW距离的剪枝策略,以实现对负荷曲线间形态差异的精准高效量度。接着,提出了基于加权密度峰值快速搜索聚类算法的行业负荷用电类型划分方法以及用户行业信息错误识别方法。然后,以最小化负荷曲线簇内FDTW距离为目标,提出了基于重心平均算法的行业典型负荷曲线辨识方法。最后,以浙江省某市工商业用户为例进行验证分析,算例结果表明所提方法可以准确量度负荷曲线形态相似性,快速划分行业用电类型并有效辨识具有共同形态特征的典型负荷曲线。

优化分配策略的密度峰值聚类算法

针对密度峰值聚类算法在面对复杂结构数据集时容易出现分配错误的问题,提出一种优化分配策略的密度峰值聚类算法(ODPC)。新算法首先引入参数积γ,扩大了聚类中心的选取范围;然后使用改进的数据点分配策略,对数据集的数据点进行基于相似度指标MS的重新分配,进一步优化了簇类中点集的分配;最后使用dc近邻法优化识别数据集的噪声点。在人工数据集及UCI真实数据集上的实验均可证明,新算法能够在优化噪声识别的同时,提高复杂流形数据集中数据点分配的正确率,并取得比DPC算法、DenPEHC算法、GDPC算法更好的聚类效果。

基于密度峰值聚类的专利地图制作方法

目前国内对于专利地图的研究大部分仍停留在应用阶段,对其制作的基础理论研究较少。概述目前专利地图类别,分析现有专利地图制作方法的缺陷,从增强专利文献信息可信度和价值的角度,运用TF-IDF(term frequency-inverse document frequency)统计特征将非结构化的专利文献信息映射到低维空间中,采用密度峰值快速搜索聚类(clustering by fast search and find of density peaks,CFSFDP)算法进行聚类,对同一聚类中的专利文献特征进行分析,得到不同专利文献间的发展关系并映射为图表示,从而构建以有向图表示的专利地图。改进提出的这种专利地图制作方法,同时利用了结构化信息与非结构化信息,以使专利地图更为真实准确地反映目标技术领域的技术发展过程。

用SSA优化CNN-LSTM-SEnet预测模型实现风电机组故障预警

风电机组数据采集与监控系统的原始高维数据存在大量异常点和噪声点,且故障预警对性能预测模型的精度要求很高。为此,建立了一种基于混合神经网络预测模型的风电机组故障预警方法。为获取高质量的建模数据,采用快速密度峰值聚类和孤立森林算法对原始数据进行多步清洗。利用麻雀搜索算法优化的卷积神经网络–长短期记忆网络–压缩激励网络混合模型,建立了能够有效提取潜在特征信息、高精度的风机正常工况性能预测模型。为实现故障可靠预警、降低误报率,通过滑动窗口法构建预警指标并结合核密度估计法计算其阈值。采用真实故障历史数据进行实验,验证了方法的有效性。

基于三维点云的岩体结构面识别与快速聚类分析

岩体结构面识别与聚类分析是研究岩体结构特征和评估岩体稳定性的基础。为对岩体结构面进行快速、有效聚类,提出一种基于三维点云的岩体结构面识别与快速聚类方法。首先,通过FACET进行点云分割和平面拟合,提取岩体结构面。其次,通过不同岩体结构面之间的相似性距离,计算局部密度和控制距离,并绘制决策图,自动寻找聚类中心和聚类数量。最后,根据边界密度,将结构面划分为核心结构面和离群结构面,剔除异常值。该方法避免了人为主观因素的干扰,提高了聚类分析的准确性。通过对立方体、六面体进行聚类分析,聚类数量与预期相一致,且每簇平均产状与点云结构面拟合结果相近,倾向最大误差分别为0.47°、1.78°,倾角最大误差分别为2.98°、2.57°。同时,聚类性能与K-means、K-means++和DBSCAN聚类算法相比,有了一定程度的提高,最大可达0.834。将其运用于四川省会东县老君峰南侧高陡悬崖岩体结构面分析,无须指定聚类中心和簇数,聚类结果与实测产状、RocScience dips结果相近,精度满足要求,性能较好。

基于M-CFSFDP算法的战场目标分群方法

目标分群能够将战场目标划分为作战空间群,从而降低态势估计难度,提高决策效率。故针对战场中的目标分群问题,提出了一种基于流形距离(manifold)的密度峰值快速搜索聚类算法(clustering by fast search and find of density peaks,CFSFDP)的目标分群方法。该方法将目标分群转化为数据集聚类问题,通过计算目标间的流形距离来衡量目标间的相似度,然后在流形距离的基础上利用CFSFDP算法搜索聚类中心,指定其余数据点类别。仿真实验以人工数据集和UCI数据集为对象,验证了M-CFSFDP算法聚类效果优于CFSFDP算法;同时将M-CFSFDP应用在战场目标静态与动态分群中,仿真结果表明了该方法的正确性与有效性。

基于CFSFDP与ELM相结合的半监督室内定位算法

针对室内环境复杂,难以获取足够多的有效标记数据进行定位,提出了一种将密度峰值快速搜索聚类(CFSFDP)和极限学习机(ELM)相结合的半监督室内定位算法(SLACE).SLACE利用CFSFDP聚类数据集,并标记聚类中心缺失的位置信息,扩充初始标记数据;利用ELM训练初始标记数据,根据输出阈值向量和"换位"思想扩充标记数据,提高定位准确率.实验表明:在标记数据个数相同时,该算法运行时间短,较ELM算法、BP算法而言,定位准确率明显提高.