电网需求侧资源动态分布式k-means聚类算法

为有效聚合电网需求侧资源,合理、高效利用电网资源,提出基于分布式k-means的电网需求侧资源动态聚类算法。通过基于置信半径的分布式k-means算法聚类采集到的电网需求侧资源数据,在模糊C均值进化神经网络中,以聚类得到的电网需求侧资源数据为输入向量,输出电网需求侧资源场景,依据场景存在概率,以电网侧资源日均峰谷差最小、DG消纳程度最高与日均负荷波动率最小为目标函数,以电网需求侧资源曲线波动率与负荷互补为约束条件,构建电网需求侧资源多场景聚类模型,经动态改变惯性因子(DCW)粒子群算法求解模型后,实现电网需求侧资源多场景聚类。试验结果表明:该方法可实现电网需求侧资源动态聚类,应用该方法聚类不同场景电网需求侧资源时的日负荷率较低,聚类效果较好,可满足实际电力需求侧资源动态聚类工作的需要。

面向海量用户用电特性感知的分布式聚类算法

智能电表的普及促进了配用电大数据的发展。通过对用户用电数据的挖掘和用电特性的感知,能够有效识别用户用电模式、评估需求响应潜力、指导电价制定等。然而,用户用电数据一方面随时间不断更新,增长迅速,呈海量态势;另一方面,数据采集点分布在用户侧,具有极强的分散性。针对海量、分散的用电数据带来的挑战,文中提出一种新的分布式聚类算法。首先利用自适应k-means聚类算法对分布在各区域的用电数据进行局部聚类分析,提取各局部数据的典型负荷曲线,构建局部模型;然后利用传统聚类算法对获取的局部模型进行二次聚类分析,获取全局的典型负荷曲线,构建全局模型;最后向局部数据中心反馈全局聚类结果,实现全局聚类分析。通过爱尔兰实际量测用电数据证明了所提出算法的有效性。

一种基于密度的分布式聚类算法

对基于密度的分布式聚类算法DBDC(density based distributed clustering)进行改进,提出了一种基于密度的分布式聚类算法DBDC*.该算法在局部筛选代表点时结合贝叶斯信息准则BIC,得到少量精准反映局部站点数据分布的BIC核心点,有效降低了分布式聚类过程中的数据通信量,全局聚类时综合考虑了各站点数据的分布情况.实验结果表明,算法DBDC*的效率优于DBDC,聚类效果好.

基于MapReduce的分布式网络数据聚类算法

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络。针对该问题,在MapReduce分布式模型的基础上,提出一种网络数据分布式聚类算法。根据MRC理论设计有限MapReduce轮数,控制混洗过程所需时间,利用Map内合并技术对网络流量进行控制,在进行中间结果合并时仅对社团合并,而不考虑社团内部节点,以控制内存开销。使用模拟生成的数据在集群中进行实验,结果表明,当数据规模和集群规模增大时,该算法具有较好的加速比和扩展性。

MapReduce框架下基于抽样的分布式K-Means聚类算法

提出一种MapReduce框架下基于抽样的分布式K-Means聚类算法,解决海量数据环境下并行执行K-Means算法时,时间开销较大的问题.该算法使用抽样方法,在保证数据分布不变的前提下,对数据集的规模进行约减,并在MapReduce框架下对聚类算法进行优化.实验结果表明,该算法在保持良好聚类效果的同时,能有效缩短聚类时间,对大规模数据集具有较高的执行效率和较好的可扩展性.

基于分布式聚类的Peer-to-Peer路由算法

提出了分布式聚类算法,该算法自动对地理邻近的对等结点聚类,消除了集中式聚类算法的单点瓶颈问题,及分布式Binning算法的landmark放置问题;提出了一种基于该聚类的邻居路由算法,该算法消除了na?ve算法路由效率低、IP-snoop算法实现困难及处理开销大、directed算法需要处理超级节点失效时容错问题。实验结果表明,基于分布式聚类的Peer-to-Peer(P2P)路由算法比现有的结构化路由算法减少了近一倍的路由跳转和路由时延。

一种分布式隐私保护的密度聚类算法

对基于密度的分布式聚类算法DBDC进行改进,提出了一种基于密度的分布式隐私保护聚类算法DBPPDC.在由局部模型确定全局模型时,通过相关安全协议有效地保护了局部模型,同时不影响全局聚类.在利用全局模型更新局部模型时,通过改进算法、应用安全协议保护隐私信息,最终使各站点分布的数据能够安全聚类.理论分析和实验结果表明,DBPPDC算法是有效的.

分布式关联规则挖掘中的聚类分区算法

在分布式关联规则挖掘中首先需要解决分布式环境下的聚类分区问题,该文基于CURE的工作原理,提出了D-CURE算法。实验证明,D-CURE算法可以很好地解决分布式环境下聚类分区问题。

基于Fisher判别的分布式K-Means聚类算法

为了解决集中式聚类算法不能处理海量大数据的问题,提出基于Fisher判别确定置信半径的分布式聚类算法.应用网络上各个节点的计算、存储能力,以及网络的带宽,将聚类所需的时间复杂度和空间复杂度平摊到各个节点.通过应用Fisher线性判别找到节点在同一子类数据上的稠密和稀疏分布,从而快速确定聚类的置信半径并指导下一步的聚类过程,使得保持聚类精度的同时能提高分布式聚类的速度.对算法进行了数值模拟,并使用真实数据完成了试验.结果表明,所提出算法相比DFEKM聚类算法,能根据数据分布的不同在聚类结果和聚类速度上达到很好的平衡,这表明该算法具有更好的健壮性.

基于人工智能技术的分布式数据库重复记录自动检测系统设计

以人工智能技术为基础前提的分布式数据库重复记录自动检测的方式,以提高数据库查询时的准确率以及查询效率。设计系统首先对数据信息进行对应的特征提取,而后通过权衡函数对样本信息进行整合,通过自适应分解得到相应的目标函数并求解,结合灰狼算法以及Shingle完成数据查询。经过算例验证,改进设计方式准确率均超过90%,平均耗时在35 s以内,满足自动查询快速精确的要求。

分布式k-means聚类算法的改进

经典的分布式k-means聚类算法随机选取初始聚类中心,进行多次的迭代,容易使得聚类效率低,网络通信量大,而且聚类结果不稳定。针对这些问题,提出一种改进的分布式k-means聚类算法。该算法通过划分数据集,计算属性最密集的k个数据块作为聚类中心,以确保聚类中心的代表性,进而减少算法的迭代计算次数,提高聚类效率。通过在Hadoop分布式平台上进行实验,结果表明改进算法能减少迭代次数和收敛时间。

一种分布式的K-means聚类算法

提出一种适用于大型数据集的分布式聚类算法。该算法以传统的K-means算法为基础进行合理的改进,使之更适用于分布式环境,并从算法的复杂度分析,将该算法与传统的集中式K-means算法及其他分布式算法进行比较。实验表明,该算法在保持了集中式K-means算法所有必要特性的同时,提高了数据处理速度。

基于随机投影的隐私保护分布式聚类算法研究

为了解决聚类挖掘中隐私保护问题,提出一种基于随机投影的数据扰动方法.该方法首先生成投影矩阵,然后根据生成的投影矩阵对数据进行对称扰动,使得扰动后的数据和原数据在维数、聚类形状等多方面均有较大的不同,能很好地保护隐私信息,且扰动后的数据可用性较高,具备一定的抗攻击性.实例验证了所提算法的有效性.

基于SOA架构的分布式聚类算法的Web服务模型研究

信息化技术的发展,数据挖掘技术为人们提取网络资料提供了便利。本文结合SOA架构及Web技术,提出了基于SOA架构的分布式聚类算法的Web服务模型。通过对DBDC及SDBDC的优化整合及改进,将SOA架构与之结合,运用Triana测试表明,该系统对于大规模数据进行聚类是有效的。

高通信效率的分布式流数据聚类算法

传感器节点的资源是有限的,高的通信开销会消耗大量的电量。为了减小分布式流数据分类算法的通信开销,提出一种高效的分布式流数据聚类算法。该算法包含在线局部聚类和离线全局协同聚类两个阶段。在线局部聚类算法将每个流数据源进行局部聚类,并将聚类后的结果通过序列化技术发往协同节点;协同节点得到来自不同流数据源的局部聚类信息后进行全局聚类。从实验中可以看出,当不断增加窗口的大小时,算法用于数据发送的时间恒定不变,算法的聚类时间和总的时间呈线性增长,即所提出算法的执行时间不受滑动窗口宽度和聚类个数的影响;同时该算法与集中式算法的准确性接近,并且通信开销远远小于相关的分布式算法。实验结果表明,该算法具有很好的可扩展性,可应用于对大规模分布式流数据源进行聚类分析。

分布式聚类算法在航空客票代理人细分中的应用

为了快速分析航空客票代理人在机票销售市场中所扮演的角色,为不同类型的代理人制定相应的合作与销售方案,针对传统分类方法主观性过强以及集中式系统框架难以进行海量数据聚类分析的问题,提出分布式Canopy-K-means算法对航空客票代理人销售数据进行聚类,并将聚类结果结合市场实际情况进行推测,得到代理人在市场中的角色。结果表明,聚类结果与相关代理人的考核结果相符合,具有实际意义,可为航空公司的代理人管理提供参考。

基于MapReduce的分布式AP聚类算法

随着网络的普遍应用,网络中产生的数据急剧增长,大规模数据处理面临严峻挑战。本文在对AP聚类算法进行研究的基础上,利用MapReduce编程模型思想对AP聚类算法进行改进,设计在云平台Hadoop环境下运行的基于MapReduce的分布式AP聚类算法,并在实验中对不同规模的图数据进行聚类测试,实验结果表明分布式的AP聚类算法具有很好的时间效率和加速比。

一种基于K-means的分布式聚类算法

为解决现有的分布式聚类算法效率低下和不能保护数据隐私的问题,在K-Dmeans算法的基础上,提出一种新的分布式聚类算法。该算法利用数据对象间的密度函数值来优化站点初始聚类中心,从而大大降低了聚类的迭代次数;同时各从站点只需向主站点传送其聚簇的特征信息,有效降低分布式聚类过程中的通信量,保护了各个站点的独立性。实验结果表明,该算法有效可行,且在效率和聚类质量上优于K-Dmeans。

基于EOF-DBSCAN-GRU的分布式光伏集群出力预测方法研究

提出一种基于EOF-DBSCAN划分集群的改进统计升尺度的光伏集群出力预测建模方法。针对传统统计升尺度方法子集群中光伏电站出力特性不一致问题,通过皮尔逊相关系数和经验正交函数(EOF)优化特征空间,再根据密度聚类模型(DBSCAN)对区域内光伏电站划分集群,从而增强光伏电站聚类后集群出力特性的一致性。针对待预测日权重系数时间序列动态特性的提取、预测问题,提出一种基于动态时间规整(DTW)的相似日选取算法。最后利用循环神经网络(GRU)模型进行光伏电站出力预测。实验表明该集群预测方法的平均误差百分数(MAPE)约为6.33%,均方根误差(RMSE)约为13.93 kW,均方误差(MSE)为194.25 kW,通过实际光伏电站数据证明了所提方法的准确性和有效性。

多智能体系构架下的属性图分布式聚类算法

近年来属性图聚类受到了广泛关注,其目的是将属性图中的节点划分到若干簇中,使得每一个集群都有紧密的簇内结构和均匀的属性值。现有的理论主要是假设属性图中的节点或对象是为了协助优化某个给定的方程,而忽略了它们在现实生活中本身的属性。同时,一些开放性问题尚未得到有效解决,如异构信息集成、计算成本高等。为此,把属性图聚类问题理解为自身节点代理的集群形成博弈。为了有效地整合拓扑结构和属性信息,提出了基于紧密性和均匀性约束的节点代理策略选择。进一步证明了博弈过程将会收敛到弱帕累托纳什均衡。在实证方面,设计了一个分布式和异构的多智能体系统,给出了一个快速的分布式学习算法。该算法的主要特点是结果分区的重叠率可以由一个事先给定的阈值控制。最后,在现实社交网络上进行了模拟实验,并与目前先进方法进行比较,结果证实了所提算法的有效性。