基于FCM聚类算法的电力企业营销数据预处理研究

利用数据挖掘技术对电力企业数据进行处理使得处理过程更加简洁有效。分析了现有的数据预处理技术,研究了数据预处理中Z-score标准化和FCM聚类算法,设计了新的数据预处理流程,利用电力营销数据验证了数据预处理的有效性。

基于改进PSO-Means算法的大数据聚类处理方法

针对大数据聚类处理存在不同类型数据聚类效果差、聚类耗时长的问题,提出了基于改进PSO-Means(Particle Swarm Optimization Means)算法的大数据聚类处理方法。该方法采用粒子群算法确定一次聚类过程中单位粒子的飞行时间和飞行方向,预先设定初始聚类中心的选择范围,并适当调整单位粒子的惯性权重,以消除粒子振荡造成的聚类缺陷,成功获取基于大规模数据的聚类中心。结合生成树算法,通过从样本偏差和质心偏度两个方面对PSO算法进行优化,并将优化后的聚类中心输入到k-means聚类算法中,实现大数据聚类处理。实验结果表明,改进的PSO-Means方法可以有效地聚类不同类型的数据,并且聚类耗时仅为0.3 s,验证了该方法具备较好的聚类性能和聚类效率。

基于数据预处理的并行分层聚类算法

分层聚类技术在图像处理、入侵检测和生物信息学等方面有着极为重要的应用,是数据挖掘领域的研究热点之一。针对目前基于SIMD模型的并行分层聚类算法处理海量数据时效果不理想的问题,提出一种基于数据预处理的自适应并行分层聚类算法,在O((λn)2/p)的时间内对n个输入数据点进行聚类。其中1≤p≤n/logn,0.1≤λ≤0.3。将提出的算法与现有文献结论进行的性能对比分析表明,本算法明显改进了现有文献的研究结果。

基于自适应聚类的数据预处理算法I

提出了KDD的一种逻辑模型。以数据库或数据仓库中的数据为例 ,根据先验知识或可能的挖掘目标 ,利用SQL命令滤除无关属性 ,形成基于某种概念分层的归纳数据库或汇总数据库。针对数据库中的属性 ,利用非监督学习算法 ,获取相应聚类 ,从而形成面向任务的目标数据子集 。

基于聚类的数据预处理算法在击剑训练负荷分析系统中的应用

数据库及数据仓库极易受到噪声数据的侵扰,而噪声数据的存在,很大程度上影响了数据挖掘的速度和质量。本文在传统的划分聚类方法基础上提出了一种聚类算法,该算法通过在数据预处理阶段有效的平滑噪声数据,显著提高了学习算法的学习效率和收敛速度,从而提高数据挖掘结果的质量。最后给出了在击剑训练负荷分析系统中的应用,仿真试验表明该聚类算法取得了很好的效果,具有较高的应用价值。

基于K-means聚类算法的人事管理异常数据识别和自动处理系统

针对人事管理异常数据影响人事管理水平的问题,设计基于K-means聚类算法的人事管理异常数据识别和自动处理系统。利用全局优化K-means聚类算法,对人事管理数据进行聚类处理。该算法搜寻高密度的人事管理数据作为初始聚类中心,将人事管理数据聚类为多个簇。利用K-means聚类算法构建人事管理数据的自回归模型,确定人事管理数据参量的转移概率序列。转移概率序列非聚类簇中的数据时,对应数据即为人事管理异常数据识别结果。采用指数加权移动平均数方法自动修正处理所识别的人事管理异常数据。系统测试结果表明,所设计系统能够有效识别人事管理考勤数据、薪资数据中的异常数据,能够自动修正异常数据,使人事管理数据恢复正常。

基于分层聚类的并行数据预处理算法

分层聚类技术在图像处理、入侵检测和生物信息学等方面有着极为重要的应用,是数据挖掘领域的研究热点之一。针对目前并行分层聚类算法处理大数据集时速度较慢的特点,提出一种并行数据预处理算法,该算法可使原始输入数据的规模最多减少为原来的1/10,从而可减少总的并行分层聚类时间。在测试数据集上的实验结果表明使用本算法进行预处理后,能显著减少分层聚类的运行时间。

基于加权FCM聚类算法的电力交易数据动态提取模型

海量、冗余的电力交易数据极大地阻碍了电力交易决策,为此,研究基于加权FCM聚类算法的电力交易数据动态提取模型。汇聚预处理电力交易数据,压缩数据体量,基于全排列理论排序处理电力交易数据,提取电力交易数据特征(波动性、趋势性与变动性特征)作为FCM聚类算法的加权依据,获得对应的加权矩阵,应用加权FCM聚类算法聚类提取需求的电力交易数据,实现电力交易数据的动态提取。实验数据表明,该模型获得的电力交易数据聚类参数DBI数值较小,DVI数值较大,电力交易数据动态提取时间较短,应用性能更佳。

基于聚类算法的财务大数据智能分析处理技术研究

本文对基于聚类算法的财务大数据智能分析处理技术进行了研究,旨在处理金融领域管理庞大的财务数据以及更好地应对不断增长的数据挑战。本文在设计财务大数据智能分析系统总架构的基础上,对系统软件部分进行了详细地分析设计。其中数据收集与预处理主要负责获取原始数据,同时确保收集数据的质量与一致性。特征工程提取主要为聚类算法提供有意义的特征,以更好地捕捉数据的模式和结构。聚类建模算法分析是系统的核心部分,其将财务数据划分为不同的簇,整理数据中的内在结构。数据可视化可将复杂的聚类结果以直观的方式呈现给用户。系统性能测试对测试结果进行研究,说明系统在财务大数据分析中具有有效性和可行性。

一种针对分类型数据的熵特征变换FCM聚类算法

针对分类型数据导致聚类性能下降的问题,本文提出一种新的熵特征变换FCM聚类算法。首先根据熵的数学描述形式,定义分类型数据参数的熵特征值,进而生成熵特征变换模型及其增量模型;接着定义模型的矩阵“痕迹”,获取EFTM模型数据的特征集合;然后融合FCM聚类分析,设计一种以熵为特征提取的主体描述形式的聚类算法;最后实验均表明,该算法具有较高的自适应性。

基于改进K-means数据聚类算法的网络入侵检测

随着入侵手段的不断更新和升级,传统入侵检测方法准确率下降、检测时间延长,无法满足网络防御要求。为此,提出一种经过改进K均值(K-means)数据聚类算法,以应对不断升级的网络入侵行为。先以防火墙日志为基础转换数值,然后基于粒子群算法求取最优初始聚类中心,实现K-means数据聚类算法的改进;最后以计算得出的特征值为输入项,实现对网络入侵行为的精准检测。结果表明:K-means算法改进后较改进前的戴维森堡丁指数更小,均低于0.6,达到了改进目的。改进K-means算法各样本的准确率均高于90%,相对更高,检测时间均低于10 s,相对更少,说明该方法能够以高效率完成更准确的网络入侵检测。

基于航迹数据的改进DBSCAN聚类算法研究

为研究模拟训练航迹数据聚类,针对基于密度的噪声应用空间聚类(DBSCAN)算法参数选取不精准、聚类准确度不高的问题,提出一种改进的DBSCAN聚类算法.首先,通过KNN算法计算邻域半径并得到用于DBSCAN聚类的初始化核心数据对象,实现粗聚类;其次,根据数据对象的特点,加入航向特征进行二次聚类,既解决了DBSCAN算法随机初始化核心点和参数选取难的问题,又加入能够反映数据方向的特征;最后,进行了仿真实验.实验结果表明,改进DBSCAN算法比传统DBSCAN算法具有更好的聚类效果.

基于聚类算法的多源信息融合并行处理探析

在多源信息融合并行处理过程中,由于数据的耦合性较强,并且逻辑存在较高序贯性,导致处理时机存在随机性,多源信息融合并行处理的难度大幅增加。为了有效解决多源信息融合并行处理过程中存在的难题,工作人员需要站在不同角度对多源信息融合并行处理进行深入研究。本文根据聚类算法提出了多源信息融合并行处理方法,先对数据融合并行处理分析进行了概述,随后讨论了数据融合并行处理架构,最后对其进行了总结,希望可以强化数据处理的效率,提升精准程度,满足计算要求。经过分析后可以发现,基于聚类算法的多源信息融合并行处理过程具备较强时效性,同时提升了处理容量,增加了扩展性,能够满足使用需求。

基于改进K-means聚类算法的网络异常数据挖掘与分类方法

为了解决网络异常数据挖掘过程中漏报率、误报率较高的问题,文章提出一种基于改进K-means聚类算法的网络异常数据挖掘与分类方法。文章通过构建并行化频繁项集挖掘环境加速数据处理,利用局部离群点检测剔除异常值,同时引入K-means聚类对数据的最大最小距离展开计算,融合隶属度函数与密度峰值优化算法,改进聚类初始中心选择及簇边界调整,从而提高异常识别准确性和分类效率。通过实验结果证明,该方法能够明显改善聚类效果与性能。

MSHC:一种多阶段超图聚类算法

超图作为普通图的高维推广,能够更加灵活地反映节点间的高阶复杂关系.超图聚类旨在发现超图结构中复杂的高阶关联关系.针对目前超图聚类结果不稳定、容易陷入局部最优等问题,结合超图划分思想,提出一种多阶段超图聚类(multi-stage hypergraph clustering,MSHC)算法,该算法将超图聚类过程分为超图约简、超图初始聚类以及优化迁移3个阶段.在超图约简阶段,提出一种不改变超图结构的快速约简方法,降低了后续算法的复杂度;提出基于集对分析理论的超图节点间相似性度量方法,并采用层次聚类方法对超图进行初始聚类,采用4种不同的类簇合并计算方法,增加聚类方案的多样性;将遗传算法应用于优化超图聚类方案的研究中,以此获得最优超图聚类方案.在3个不同规模的数据集上与4个经典的超图聚类方法进行对比实验,结果表明,MSHC算法在Songs_genres数据集和Papers_keywords数据集上超图模块度指数分别提高了0.0797和0.0777,在Movies_genres数据集上仅降低0.0060.

基于WAMS/SCADA数据兼容和改进FCM聚类算法的PMU最优配置

针对当前应用于状态估计的广域量测系统(wide area measurement system,WAMS)和SCADA系统混合量测中相量测量单元(phasor measurement unit,PMU)最优配置点的选取问题,在分析WAMS/SCADA数据差异的基础上,提出一种基于数据兼容和改进模糊C均值(fuzzy C-means,FCM)聚类算法的PMU最优配置方案。采用大数据挖掘理念,通过改进FCM聚类算法对SCADA数据依据相关度分区,在分区内可观测度最大的节点配置PMU,各分区内采用该PMU节点的最优平滑系数进行Vondrak插值,得到满足兼容性的数据,应用于混合模型的状态估计。相对只考虑可观测度的PMU配置方案,新方案不仅可以实现WAMS/SCADA数据有效兼容,提高估计精度,应用混合量测的状态估计还可有效控制系统负荷快速变化时的估计误差。通过在IEEE 39节点系统上模拟日负荷变化,验证了该PMU最优配置方案的有效性。

数据预处理方法对模糊C均值聚类的影响

研究了数据预处理方法对模糊C均值聚类结果的影响。通过对国际标准数据集IRIS和某电力公司所管辖的不同行业电力用户实际负荷数据,利用不同的方法进行预处理,运用模糊C均值聚类算法(FCM)进行聚类,并对实验结果进行了验证和比较。结果显示对于FCM聚类算法,通过总和标准化和极大值标准化方法对数据进行预处理后,FCM的平均准确度最高;Max-Min、平均数方差法两种方法处理后FCM聚类效果较差;用标准差标准化后聚类效果最差。进一步地,对标准差标准化做了相应的改进,改进后FCM聚类效果明显提高。

基于改进模糊聚类算法的大数据随机挖掘仿真

大数据挖掘是从大量有噪声的、随机模糊的大数据中提取有价值信息的过程,由于海量大数据具有多维性、稀疏性以及动态性等特点,准确获取其分布特征的难度较大,随机挖掘难以直接实现。为此提出基于改进模糊聚类算法的大数据随机挖掘方法。利用建立的语义概念树模型获取大数据的特征分布关系,并根据模糊语义分析法得出大数据的语义相似性、关联性条件,提取大数据特征。优先确定最佳聚类数,采用改进模糊聚类算法对其聚类,实现基于改进模糊算法的大数据随机挖掘。实验结果表明,上述方法的大数据模糊聚类效果较好,随机挖掘准确率可达到95%以上,实验所得结果验证了上述方法较强的应用有效性。

用主成份提取进行数据库聚类预处理

按照相关性最小原则提出数据库主成份提取的聚类预处理方法(DCP-PCE)对高维数据进行降维,以数据对象变异最大方向的投影作为特定数据对象集的主成份,实现分层次主成份聚类提取.用DCP-PCE方法验证主成份对于原有信息全面覆盖的特性,同步解决了综合变量覆盖和降维问题,降低了数据对象集合的相异度和维度,实现了数据对象集合的聚类归约.将聚类分析引入高校数据资源的预处理环节,给出应用实例,为深入探索相关模式提供有效的分析方法.

大数据处理中混合型聚类算法的研究与实现

随着信息技术的飞速发展,大数据时代已经来临,对数据的分析与处理成为目前研究的重点,数据挖掘技术更是成为了重中之重,被广泛研究与应用。文章在研究聚类算法的基础上,具体研究了基于划分的聚类算法以及自下而上的基于层次的聚类算法,通过将两种算法优化后再进行融合提出了一种混合型聚类算法。该算法能够避免划分算法中随机选取初始聚类中心的问题,使用基于划分的聚类算法对数据集进行初始化,然后对处理后的数据集进行自下而上的基于层次的聚类分析,最终能够得到理想的分析结果。该算法能够综合两类传统聚类算法的优点,摒除不足之处,做到优势互补,在不损失准确性的基础上提高了算法的运行效率。最后通过R语言工具进行实验仿真,证实了文中提出的混合型聚类算法的有效性以及可行性。