基于线性判别分析和二分K均值的高维数据自适应聚类方法

将线性判别分析和二分K均值聚类耦合在一起,提出了一个适合于高维数据聚类的自适应方法:利用线性判别分析将高维数据集变换成低维数据集,然后在低维数据集上执行二分K均值聚类,并把得到的聚类结果通过一个簇成员指示矩阵H变换到原数据集中.将这样的过程反复进行,直到自适应地得到一个最优结果.基于现实数据集的实验结果证明了该方法的有效性.

基于密度峰值的高维电力负荷数据聚类方法

由于电力能源应用量的暴增,电力负荷数据体量也逐渐加大,隐藏信息挖掘难度越来越大,对负荷数据处理技术提出了更高的要求,为此提出基于密度峰值的高维电力负荷数据聚类方法。深入剖析电力负荷数据特征,检测并修正其中的异常数据,去除负荷曲线基荷部分,完成负荷数据的预处理。确定电力负荷数据局部密度计算公式,引入密度峰值聚类算法制定高维电力负荷数据聚类程序,执行指定程序即可获得负荷数据聚类结果。实验数据显示,应用提出方法后,DBI指标最小值为0.22,FMI指标最大值为0.96,表明其数据聚类效果更好,证实了提出方法的应用性能较佳。

改进的密度聚类精确自适应提取LiDAR电力线点云方法

原有邻域半径r_(Eps)与密度阈值p_(MinPts)两个参数的初始赋值导致电力线点云的提取结果存在不确定性,在密度聚类的基础上增添了点云簇类自适应判别方法,该方法避免人员重复测试初始参数的繁琐过程,采用C++语言完成了对该算法电力线精确提取及电力线拟合程序的开发与测试。结果表明:改进后的密度聚类法在电力线点云提取的损失率仅0.02%,三维重建残差为0.213 m;该方法大幅提高了电力线点云提取的准确性与便捷性,适用于高压电力走廊的电力巡检与三维重建等工作。

异构并行计算下高维混合型数据聚类算法研究

高维数据维度增加,数据空间的体积呈指数增长,容易陷入“维数灾难”,导致聚类算法执行效率低,为此,提出异构并行计算下高维混合型数据聚类算法。构建高维混合型数据相异度矩阵,提取高维混合型数据的统计序列特征值,利用时间窗口进行特征优化。采用K⁃Prototypes聚类算法提取高维混合型数据的统计序列特征,评估数据与类中心的相异性,计算数据与类中心的欧氏距离,实现高维混合型数据聚类。采用异构并行计算技术进行高维混合型数据K⁃Prototypes聚类的并行化处理,合理分配CPU与GPU工作,达到CPU与GPU的工作负载平衡,提高K⁃Prototypes的聚类效率。实验结果表明,此算法对于高维混合型数据的聚类效果好、运行时间短、性能稳定。

蜂窝移动网络大数据聚类异常挖掘方法仿真

蜂窝移动网络可提供话音、数据、视频图像等业务,具有终端移动性、越区切换和跨本地网自动漫游功能,因此上述网络环境中的数据为移动宽带数据流量,数据量巨大,并一直处于自更新状态,导致其聚类过程中易产生异常数据。针对上述问题,提出蜂窝移动网络大数据聚类异常挖掘方法。根据蜂窝移动网络的结构、数据存储结构以及数据特征,对数据属性聚类,并提取异常数据的弱相关特征值。基于以上情况,将提取的弱相关特征值输入至聚类器中,挖掘蜂窝移动网络大数据的异常数据。实验结果表明,蜂窝移动网络大数据量逐渐增多时,研究方法的挖掘准确性仍能保持在98.5%以上,耗时可控制4ms以内,漏检率始终低于1%,误检率不超过2%。以上所得数据说明该方法的应用可靠性更优。

基于烟花算法的智慧城市物联网数据流聚类方法

以往的智慧城市物联网数据流聚类方法对数据特征提取不精准,聚类速度慢。为了提高聚类速度,缩短数据流聚类的耗时,设计了基于烟花算法的智慧城市物联网数据流聚类方法。通过对样本矩阵的标准化计算,降低数据运算的压力,完成对物联网数据的预处理。在烟花算法的支持下,对数据进行去重处理,精准提取数据特征。再根据数据属性不同,计算数据的响应函数,构建数据聚类模型,利用余弦对数据进行聚类分析,实现物联网数据流的聚类。实验结果表明,该聚类方法的聚类平均耗时为15.52 ms,说明该方法能够有效缩短聚类耗时。

基于数据挖掘的电能表云端数据自适应聚类方法

为了提升电能表云端数据自适应聚类质量研究,设计了基于数据挖掘的电能表云端数据自适应聚类方法。通过改进过采样技术处理不平衡的电能表云端数据,引入数据挖掘的模糊C-均值聚类算法提升电能表云端数据聚类的鲁棒性,并且通过自适应蚁群算法优化中心自适应权模糊C-均值聚类算法的参数,利用改进C-均值聚类算法完成电能表云端数据自适应聚类。实验证明:该方法可有效处理不平衡的电能表云端数据,降低数据不平衡率;对于二维与三维电能表云端数据,该方法均可有效自适应聚类数据;在不同程度干扰信息情况下,该方法自适应聚类的归一化互信息指标与芮氏指标均较高。

并行处理网络下半结构化大数据快速聚类方法

半结构化数据量已经超过PB级,在这种大规模数据集上快速响应交互式请求,对关系数据库查询和大数据处理技术都提出了挑战。然而当前的聚类算法均是离线批量处理结构化、非结构化数据。面对半结构化数据对象和应用需求的转变,需要对传统聚类算法针对性地优化和改进。设计一种并行处理网络下半结构化大数据快速聚类方法。首先,在常用的Linux与Windows网络环境中捕获大数据包,并对捕获的多源异构大数据做清洗和集成等预处理操作,完成数据准备工作;然后在并行处理网络下,基于MapReduce框架改进常规CanpoyK-means聚类算法形成BCK-means并行聚类算法,对多源异构大数据进行并行化聚类分析,实现半结构化大数据的快速聚类挖掘。实验结果表明,设计方法在10 s内即可完成不同类别的半结构化数据集的聚类且聚类结果稳定,在半结构化数据聚类挖掘效率方面具有优势。

基于自适应分段云模型的电力异构数据聚类研究

云空间中的电力数据种类繁多、数据维度大、结构复杂,容易引发电力系统运行安全问题。有效的数据聚类可以消除云空间中电力异构的无关、冗余数据。引入自适应分段云模型,提出一种全新的电力异构数据聚类方法。通过Tent映射预处理电力异构数据,使数据空间分布更加均匀,提高了数据聚类精度。利用自适应正态云模型建立云期望曲线方程,获取正态云滴,以确定数据聚类中心。根据熵值定义分段聚合条件,实现异构数据有序聚类。测试结果表明,所提方法在聚类中心空间中的异构数据分布较为均匀,分类聚类面积较大,聚类收敛较快,轮廓系数为0.4。所提方法的电力异构数据聚类效果更优,具有较好的适用性和有效性。

多源异构高维数据特征加权子空间聚类算法

多源异构高维数据存在噪声和异常值,导致聚类中心的确定难度较大。为解决该问题,提出多源异构高维数据特征加权子空间聚类算法。计算簇的所有维信息熵,按自适应函数获取子空间最小值,确定聚类特征子空间。对两簇子空间权重分配,计算两簇相似度。通过相邻稠密单元格合并,确定质心,识别高维维度上的簇。利用数据之间互表示特性分析数据潜在低秩结构,提取数据中无杂质的低秩部分,构建多核子空间聚类目标函数。确定不同类数据之间欧氏距离,保证所有类簇融合为一类簇,实现全部子空间数据完全聚类。由实验结果可知,该算法聚类中心点与理想聚类中心点一致,且聚类结果能够达到理想效果。

基于鲁棒数据流聚类的电梯安全预警方法

本文针对电梯状态数据具有的持续到达、标签不足等特点,基于数据流聚类(Data Stream Clustering,DSC)的方法框架,并通过建立融合漂移检测(Drift Detection)与异常检测(Anomaly Detection)的双重检测机制,提出一种新型的鲁棒数据流聚类(Robust Data Stream Clustering, RDSC),对数据流中持续出现的概念漂移与异常样本进行动态分析与处理,从而提高数据流聚类的方法性能,以实现高效、精准的电梯安全预警。通过分析在多个数据集上的实验结果可以发现,与传统数据流聚类方法相比,本文所提方法在整体聚类精度和聚类稳定性上均有大幅度提升,能够有效增强电梯安全预警效率。

基于大数据聚类的搬运机器人抓取末端控制系统设计

为提高搬运机器人抓取效率,避免损伤货物,设计了基于大数据聚类的搬运机器人抓取末端控制系统。利用主控制器和驱动控制器平稳控制机器人运行,通过在末端执行器内安装红外扫描装置、集成锁相环路解码器LM567,判断货物是否处于抓取末端内部。使用FRS-402敏感电阻,降低力敏感电阻值,提高抓取的稳定性,完成系统硬件设计。基于大数据聚类拟合控制信号,降低数据维度并提取特征向量。通过匀速抓取、反馈减速以及应力松弛3步,实现搬运机器人抓取末端控制系统设计。实验结果表明,所设计系统能够有效减小抓取位置误差,提高搬运效率,降低货物损失。

基于航迹数据的改进DBSCAN聚类算法研究

为研究模拟训练航迹数据聚类,针对基于密度的噪声应用空间聚类(DBSCAN)算法参数选取不精准、聚类准确度不高的问题,提出一种改进的DBSCAN聚类算法.首先,通过KNN算法计算邻域半径并得到用于DBSCAN聚类的初始化核心数据对象,实现粗聚类;其次,根据数据对象的特点,加入航向特征进行二次聚类,既解决了DBSCAN算法随机初始化核心点和参数选取难的问题,又加入能够反映数据方向的特征;最后,进行了仿真实验.实验结果表明,改进DBSCAN算法比传统DBSCAN算法具有更好的聚类效果.

高维数据上的自适应谱聚类降维方法研究

本文从数据挖掘的角度,研究高维数据的有效聚类分析技术,针对高维科学数据提出一种基于子空间的自适应谱聚类方法,该方法通过采用谱分析技术将高维数据投影到低维空间,仿真结果表明,得到了很好的检测效果.

基于交互基函数的数据流聚类算法研究

聚类是数据挖掘的有效工具,数据流聚类成为当前研究热点,目前很多数据流聚类算法已经被提出,但大部分算法将距离作为相似度度量标准,存在对噪点敏感问题,且聚类效果不理想。为了增强数据流聚类算法的灵活性并提升聚类质量,该文将分数阶交互基函数(IBFs)引入数据流聚类,结合模糊ART算法对其进行了扩展,生成柔性决策边策略,提出了新颖的数据流聚类算法IBFs_ART。该算法首先对到达的数据点根据特征之间的相关性通过预计算函数特征扩展,并对原有特征进行分数阶变换,之后再基于交互基函数进行数据流聚类。交互基函数可生成灵活的决策边界且不需要指定软件,预计算函数可以在任何算法中实现,其可用于数据流聚类算法的任何扩展。经过实验表明,使用IBFs实现了较低计算成本生成灵活决策边界来找到最优聚簇,在相同警戒参数下实现了更高聚类质量和纯度,较传统聚类算法拥有更高的聚类精度、对称度量和更小的错误率。

基于图的自适应加权多视图聚类

针对现有的基于图的多视图聚类算法没有考虑不同视图的权重和视图数据存在噪声的问题,提出一种基于图的自适应加权多视图聚类算法。通过自适应邻域学习从原始数据中构造多个关系图,引入视图权重调节参数,减少噪声的影响;通过自适应学习将各个关系图融合成统一关系图,通过秩约束优化使数据点自动划分成所需的簇,从而得到聚类结果。在多视图数据集上的实验结果表明了该算法的有效性。

基于聚类和压缩感知的高维数据发布算法

针对现有高维数据发布机制中因“维度灾难”加入噪音过多,导致数据可用性低的问题,提出一种基于聚类和压缩感知的高维数据发布算法PrivCACS。根据属性敏感度对属性集进行聚类处理,利用互信息作为属性关联度将依赖度强的非敏感属性加至敏感属性集中,将属性集分为非敏感属性集C 1和敏感属性集C 2,进而得到对应的数据子集D 1和D 2。经过压缩感知,将会泄露隐私信息的数据子集D 2降维转变为低维概要进行差分隐私加噪,通过改进正交匹配追踪算法重构出合成数据集,与非敏感数据集D 1合并后进行发布。在真实数据集上的实验结果表明,所提出的PrivCACS算法在SVM分类上优于传统的PrivBayes和Jtree算法,在保障隐私的前提下,数据的可用性更高。

有序聚类算法下数据相似性挖掘仿真

由于数据具有多样性与复杂性等特点,且存在较多难以挖掘的隐藏信息,导致数据相似性挖掘精度低。为此提出一种基于有序聚类算法的数据相似性挖掘方法。通过不同类型数据的变化特点,采用有序聚类算法微聚类特征,存储数据信息,调整动态滑动窗口大小,计算不同数据点和聚类中心之间的距离,更新微聚类特征,实现数据有序聚类。采用网络和密度扩散相结合的方式获取数据位置序列,获取对应字符串,建立广义后缀树,完成数据相似性挖掘。仿真结果表明,采用所提方法可以准确对数据有序聚类,聚类运算时间仅为39.88ms,同时还可以获取满意的数据相似性挖掘结果。

数据增强和自适应自步学习的深度子空间聚类算法

深度子空间聚类通过联合执行自表达特征学习和聚类分配而取得了比传统聚类更好的性能。尽管在各种应用中出现了大量的深度子空间聚类算法,但是多数算法都无法学习到精准的面向聚类的特征。针对深度子空间聚类方法在学习聚类的特征表示时不够精准、影响最终聚类性能等问题,提出一种改进的深度子空间聚类算法。通过随机移位和旋转对原样本进行数据增强,交替地使用增强样本来训练和优化自编码器,同时更新样本的集群分配,从而学习到更稳健的特征表示。在微调阶段,损失函数中每个增强样本的目标都是将原样本分配到集群中心,目标计算可能出错,目标错误的样本会误导自编码器网络训练,为此,利用一种无需额外超参数的自适应自步学习算法,在每次迭代中选择最具说服力的样本来提高泛化能力。在MNIST、USPS、COIL100数据集上进行实验,结果表明,该算法的准确率分别达到0.931 8、0.893 4、0.723 6,消融实验和敏感性分析结果也验证了算法的有效性。

基于自适应轨迹聚类的城市路网提取与更新方法

由于城市路网更新频繁及传统地图更新方法的局限性,很多城市路网地图数据无法及时更新。基于移动轨迹数据的路网地图更新是实现城市路网地图快速、高效更新的有效途径。虽然目前基于移动轨迹数据发展了一些基于栅格化的方法、基于聚类的方法和增量化的方法来提取与更新城市路网,但这些方法对于参数依赖性较强,且难以准确提取较为复杂的道路形状。因此,本文结合移动轨迹数据的特点及道路网的结构特征,提出了一种基于移动轨迹匹配的城市路网地图动态更新方法。首先,通过轨迹点的位置和方向属性进行轨迹点–路段匹配;然后,对未匹配的轨迹点采用顾及方向约束的空间自适应聚类算法进行聚类,并对每个聚类进行最优曲线拟合,获得新增道路;最后,以城市浮动车轨迹数据为例进行实验与对比分析。实验结果表明,与现有方法相比,本文方法需要的参数较少,且能够处理复杂形状道路的提取,具有较高的运行效率。