一种基于密度的分布式聚类算法

对基于密度的分布式聚类算法DBDC(density based distributed clustering)进行改进,提出了一种基于密度的分布式聚类算法DBDC*.该算法在局部筛选代表点时结合贝叶斯信息准则BIC,得到少量精准反映局部站点数据分布的BIC核心点,有效降低了分布式聚类过程中的数据通信量,全局聚类时综合考虑了各站点数据的分布情况.实验结果表明,算法DBDC*的效率优于DBDC,聚类效果好.

电网需求侧资源动态分布式k-means聚类算法

为有效聚合电网需求侧资源,合理、高效利用电网资源,提出基于分布式k-means的电网需求侧资源动态聚类算法。通过基于置信半径的分布式k-means算法聚类采集到的电网需求侧资源数据,在模糊C均值进化神经网络中,以聚类得到的电网需求侧资源数据为输入向量,输出电网需求侧资源场景,依据场景存在概率,以电网侧资源日均峰谷差最小、DG消纳程度最高与日均负荷波动率最小为目标函数,以电网需求侧资源曲线波动率与负荷互补为约束条件,构建电网需求侧资源多场景聚类模型,经动态改变惯性因子(DCW)粒子群算法求解模型后,实现电网需求侧资源多场景聚类。试验结果表明:该方法可实现电网需求侧资源动态聚类,应用该方法聚类不同场景电网需求侧资源时的日负荷率较低,聚类效果较好,可满足实际电力需求侧资源动态聚类工作的需要。

融合密度和划分的文本聚类算法

文档聚类是聚类的经典应用,它是将相似的文档归为同一类,可以有效地组织、摘要和导航文本信息,也可以用来提高分类效果。论文使用BERT模型处理文档向量化,将文档表示为高维向量。传统的密度聚类算法不适用于高维数据集,划分聚类算法中的K-均值算法可以有效地聚类文档,但是算法的性能非常依赖于初始中心点的选择。论文提出了一种新的融合密度和划分的文本聚类算法。首先,通过密度选择适当的聚类中心点集合,然后使用最远距离的想法逐渐选择初始类中心点,最后使用划分方法对数据集进行聚类。实验表明,该算法的聚类效果稳定,聚类效果良好。

一种基于局部密度的分布式聚类挖掘算法

分布式聚类挖掘技术是解决数据集分布环境下聚类挖掘问题的有效方法.针对数据水平分布情况,在已有分布式密度聚类算法DBDC(density based distributed clustering)的基础上,引入局部密度聚类和密度吸引子等概念,提出一种基于局部密度的分布式聚类算法——LDBDC(local density based distributed clustering).算法适用于含噪声数据和数据分布异常情况,对高雏数据有着良好的适应性.理论分析和实验结果表明,LDBDC算法在聚类质量和算法效率方面优于已有的DBDC算法和SDBDC(scalable dellsity-based distributed clustering)算法.算法是有效、可行的.

分布式密度和中心点数据流聚类算法的研究

分析分布式数据流聚类算法的基本框架结构,针对CluStream算法对非球形聚类效果不佳提出一种基于密度和中心点的分布式数据流聚类算法DDCS-Clustering(Distributed Density and Centers Stream Clustering)。该算法应用密度、中心点与衰减时间窗口,在分布式环境下对数据流进行聚类。实验结果表明,DDCS-Clustering算法具有较高的聚类质量与较低的通信代价。

基于类簇合并的无参数密度峰值聚类算法

密度峰值聚类算法(DPC)通过决策图直观地找到类簇中心进而完成聚类,是一种简单高效的聚类算法。然而,DPC算法的截断距离和类簇中心都是人为确定的,受主观影响较大,具有不确定性。针对上述问题,提出一种基于类簇合并的无参数密度峰值聚类算法(NDPCCM)。首先根据样本点两两之间的相似度的分布特征将其分为类内相似度和类间相似度两种类型,并利用类内相似度自动确定截断相似度,避免了人为设置参数;接着根据簇中心权值的下降趋势自动选择初始类簇中心,得到初始类簇;最后通过合并初始类簇对初步聚类结果进行优化,提高了聚类的准确性。在人工数据集和UCI真实数据集上,将所提算法与DPC、DBSCAN、K-means算法进行对比实验。结果表明所提算法无需输入参数就能够自动得到类簇,且聚类性能优于其他算法。

基于人工鱼群的自适应密度峰值聚类算法

针对密度峰值聚类算法中截断距离d c和聚类中心缺乏选取依据,以及对簇中存在多密度峰值的数据无法准确聚类问题,提出一种基于人工鱼群的自适应密度峰值聚类算法(AFSADPC)。选择簇中心权值γ大于幂律分布上分位数的样本点作为聚类中心,根据两个相邻簇的簇间边界区域密度与簇平均密度构造簇间合并规则,利用人工鱼群算法寻找使改进轮廓系数指标达到最大值时的最优截断距离d_(c)。在合成数据集和真实数据集上的实验结果表明,AFSADPC算法具有较好的聚类效果。

基于密度聚类算法和广度优先搜索算法的道岔摩擦电流智能分析系统

[目的]现场的道岔摩擦电流测试与调整存在流程繁琐且风险高、对检修人员专业水平要求高、测定数值的主观性占比大3个弊端,为此需要基于各类智能算法及技术提升道岔的智能运维水平。[方法]分析了道岔摩擦电流测试曲线4个阶段的特征,提出建立道岔摩擦电流的智能分析系统。阐述了该系统的功能及工作原理,设定了该系统的摩擦电流标准值及阈值范围。该系统可基于密度聚类算法和广度优先搜索算法自动获取道岔摩擦电流值。介绍了该系统的调试界面截图,以说明系统在获取道岔摩擦电流值如何为现场检修人员提供操作建议。[结果及结论]该智能系统具有良好的可用性,实现了节约检修时间、降低维护成本和提高检修效率的既定目的。

融合优化可调Q因子小波变换的改进密度峰值聚类算法

为提升时间序列的聚类精度,提出一种融合优化可调Q因子小波变换的改进密度峰值聚类(improved density peaks clustering based on optimal tunable Q-factor wavelet transform,OTQWT-IDPC)算法,该算法利用可调Q因子小波变换的能量优化选择策略及改进粒子群优化算法确定的最佳Q因子分解时序信号,通过最优特征子带的能量、均值、标准差和模糊熵构建特征子空间,并采用主成分分析降低特征维度,以减少特征冗余。同时,考虑到距离较远而周围密集程度较大的K近邻样本对局部密度的贡献率,引入权重系数及K近邻重新定义DPC的局部密度,并利用共享最近邻描述样本间的相似性。在BONN癫痫脑电信号和CWRU滚动轴承数据集上进行对比实验,结果表明,该算法的聚类精度分别为95%、94%,且Jacarrd、FMI和F_(1)值指标均优于其他对比算法,证明了OTQWT-IDPC算法的有效性。

结合灰狼优化算法和动态邻域的三支密度峰值聚类算法

针对密度峰值聚类算法聚类效果受截断距离dc的取值影响较大以及传统二支聚类处理不确定数据强制划分带来的决策错误,提出结合灰狼优化算法和动态邻域的三支密度峰值聚类算法。首先,为解决截断距离dc的选取难问题,将聚类内部指标Silhouette指标作为目标函数,利用灰狼优化算法(GWO)的全局寻优能力求解最优的截断距离dc;为了使不确定数据的划分更加合理,结合动态邻域的思想,利用K近邻算法将二支聚类结果转化为三支聚类结果。通过在人工数据集以及UCI真实数据集的实验验证,该算法的聚类精度和总体性能优于其他5种对比算法。

基于密度网格的分布式数据流聚类算法

提出一种适用于分布式数据流环境的、基于密度网格的聚类算法。利用局部站点快速更新数据流信息,使网格空间反映当前数据流的变化。中心站点负责在接收及合并局部网格结构后,对全局网格结构进行密度网格聚类以及噪声网格优化,形成全局聚类结果。实验结果表明,该算法能减少网络通信量,提高全局聚类精度。

基于z值的分布式密度峰值聚类算法

密度峰值聚类算法由于在发现任意形状簇且不需指定聚类个数等方面具有一定的优势而被广泛关注.但是该算法需要计算数据集中所有点的密度和点对之间的距离,因此不适合处理大规模高维数据集.为此,本文提出了一种基于z值的分布式密度峰值聚类算法,DP-z.本方法利用空间z填充曲线将高维数据集映射到一维空间上,根据数据点的z值信息对数据集分组.为了能够得到正确的结果,需要对分组间数据进行交互,然后并行计算每个点密度和斥群值.DP-z算法在分组间数据交互时采用过滤策略,减少大量无效距离计算和数据传输开销,有效提高算法的执行效率.最后,本文在云计算平台上对DP-z算法进行了验证,实验表明在保证DP-z算法与原始密度峰值聚类算法聚类结果相同的情况下有效的提高了算法执行效率.

面向海量用户用电特性感知的分布式聚类算法

智能电表的普及促进了配用电大数据的发展。通过对用户用电数据的挖掘和用电特性的感知,能够有效识别用户用电模式、评估需求响应潜力、指导电价制定等。然而,用户用电数据一方面随时间不断更新,增长迅速,呈海量态势;另一方面,数据采集点分布在用户侧,具有极强的分散性。针对海量、分散的用电数据带来的挑战,文中提出一种新的分布式聚类算法。首先利用自适应k-means聚类算法对分布在各区域的用电数据进行局部聚类分析,提取各局部数据的典型负荷曲线,构建局部模型;然后利用传统聚类算法对获取的局部模型进行二次聚类分析,获取全局的典型负荷曲线,构建全局模型;最后向局部数据中心反馈全局聚类结果,实现全局聚类分析。通过爱尔兰实际量测用电数据证明了所提出算法的有效性。

基于MapReduce的分布式网络数据聚类算法

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在MapReduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限MapReduce轮数,控制混洗过程所需时间,利用Map内合并技术对网络流量进行控制,在进行中间结果合并时仅对社团合并,而不考虑社团内部节点,以控制内存开销。使用模拟生成的数据在集群中进行实验,结果表明,当数据规模和集群规模增大时,该算法具有较好的加速比和扩展性。

基于近邻传播的分布式数据流聚类算法

针对分布式数据流聚类算法存在的聚类质量不高、通信代价大的问题,提出了密度和代表点聚类思想相结合的分布式数据流聚类算法。该算法的局部站点采用近邻传播聚类,引入了类簇代表点的概念来描述局部分布的概要信息,全局站点采用基于改进的密度聚类算法合并局部站点上传的概要数据结构进而获得全局模型。仿真实验结果表明,所提算法能明显提高分布式环境下数据流的聚类质量,同时算法使用类簇代表点能够发现不同形状的聚簇并显著降低数据传输量。

MapReduce框架下基于抽样的分布式K-Means聚类算法

提出一种MapReduce框架下基于抽样的分布式K-Means聚类算法,解决海量数据环境下并行执行K-Means算法时,时间开销较大的问题.该算法使用抽样方法,在保证数据分布不变的前提下,对数据集的规模进行约减,并在MapReduce框架下对聚类算法进行优化.实验结果表明,该算法在保持良好聚类效果的同时,能有效缩短聚类时间,对大规模数据集具有较高的执行效率和较好的可扩展性.

基于分布式聚类的Peer-to-Peer路由算法

提出了分布式聚类算法,该算法自动对地理邻近的对等结点聚类,消除了集中式聚类算法的单点瓶颈问题,及分布式Binning算法的landmark放置问题;提出了一种基于该聚类的邻居路由算法,该算法消除了na?ve算法路由效率低、IP-snoop算法实现困难及处理开销大、directed算法需要处理超级节点失效时容错问题。实验结果表明,基于分布式聚类的Peer-to-Peer(P2P)路由算法比现有的结构化路由算法减少了近一倍的路由跳转和路由时延。

分布式数据流聚类算法

针对分布式数据流中数据有交叠、不完整的情况和聚类需要较低通信代价的要求,提出了密度和模型聚类思想相结合的分布式数据流聚类算法DAM-Distream。该算法利用混合高斯模型描述数据流的分布概况,可以有效压缩数据量并能较好的反映分布数据流间的交叠性。由于获得模型参数的EM算法对初值敏感,应用Hoeffding界理论和基于密度的算法对数据流进行初聚类,得到比较准确的初始参数,最后采用合并近似模型策略获得全局模型。仿真实验结果表明,DAM-Distream能有效克服EM算法的缺点,获得的模型参数性能更优,在降低系统的通信代价的同时能提高分布式环境下数据流的聚类质量。

基于密度峰值快速搜索聚类的多场景分布式电源规划

针对间歇性分布式电源出力的随机性、负荷需求的不确定性以及分布式电源与负荷之间存在相关性的问题,采用拉丁超立方抽样并结合Spearman秩相关系数的Cholesky分解,得到分布式电源具有相关性的出力与负荷需求样本。通过密度峰值快速搜索聚类算法对相关性样本进行有效削减得到典型场景,以分布式电源投资运行费用和配电网向上级电网购电费用最小为优化目标,建立分布式电源多目标规划模型。最后通过二阶锥松弛将规划模型转化为混合整数二阶锥规划问题,并调用Cplex求解器对规划模型求解。IEEE 33节点算例结果验证了所提模型的合理性。

一种基于网格块的分布式数据流聚类算法

对智能交通系统中面向分布式数据流的聚类问题进行了研究.针对智能交通系统中传感器网络分布式数据流的特点,提出一种基于网格块的分布式数据流的聚类方法.该方法将网格空间划分为网格块,并分布于各计算节点,通过对各网格块进行更新、增量式聚簇、以及网格块的拼合,能够快速响应用户的查询请求,返回任意时间窗口内数据的聚类结果.实验表明,在保证聚类准确性的前提下,该方法能够有效缩短查询响应时间,并具有良好的可扩展性.