基于改进模糊聚类算法的大数据随机挖掘仿真

大数据挖掘是从大量有噪声的、随机模糊的大数据中提取有价值信息的过程,由于海量大数据具有多维性、稀疏性以及动态性等特点,准确获取其分布特征的难度较大,随机挖掘难以直接实现。为此提出基于改进模糊聚类算法的大数据随机挖掘方法。利用建立的语义概念树模型获取大数据的特征分布关系,并根据模糊语义分析法得出大数据的语义相似性、关联性条件,提取大数据特征。优先确定最佳聚类数,采用改进模糊聚类算法对其聚类,实现基于改进模糊算法的大数据随机挖掘。实验结果表明,上述方法的大数据模糊聚类效果较好,随机挖掘准确率可达到95%以上,实验所得结果验证了上述方法较强的应用有效性。

基于聚类算法的多源信息融合并行处理探析

在多源信息融合并行处理过程中,由于数据的耦合性较强,并且逻辑存在较高序贯性,导致处理时机存在随机性,多源信息融合并行处理的难度大幅增加。为了有效解决多源信息融合并行处理过程中存在的难题,工作人员需要站在不同角度对多源信息融合并行处理进行深入研究。本文根据聚类算法提出了多源信息融合并行处理方法,先对数据融合并行处理分析进行了概述,随后讨论了数据融合并行处理架构,最后对其进行了总结,希望可以强化数据处理的效率,提升精准程度,满足计算要求。经过分析后可以发现,基于聚类算法的多源信息融合并行处理过程具备较强时效性,同时提升了处理容量,增加了扩展性,能够满足使用需求。

基于自适应布谷鸟优化特征选择的K-means聚类

K-means聚类算法随机确定初始聚类数目,而且原始数据集中含有大量的冗余特征会导致聚类时精度降低,而布谷鸟搜索(CS)算法存在收敛速度慢和局部搜索能力弱等问题,为此提出一种基于自适应布谷鸟优化特征选择的K-means聚类算法(DCFSK)。首先,为提升CS算法的搜索速度和精度,在莱维飞行阶段,设计了自适应步长因子;为调节CS算法全局搜索和局部搜索之间的平衡、加快CS算法的收敛,动态调整发现概率,进而提出改进的动态CS算法(IDCS),在IDCS的基础上构建了结合动态CS的特征选择算法(DCFS)。其次,为提升传统欧氏距离的计算精确度,设计同时考虑样本和特征对距离计算贡献程度的加权欧氏距离;为了确定最佳聚类数目的选取方法,依据改进的加权欧氏距离构造了加权簇内距离和簇间距离。最后,为克服传统K-means聚类目标函数仅考虑簇内的距离而未考虑簇间距离的缺陷,提出基于中位数的轮廓系数的目标函数,进而设计了DCFSK。实验结果表明,在10个基准测试函数上,IDCS的各项指标取得了较优的结果;相较于K-means、DBSCAN(Density-Based Spatial Clustering of Applications with Noise)等算法,在6个合成数据集与6个UCI数据集上,DCFSK的聚类效果最佳。

VANET随机部署环境下基于改进型共享最近邻密度峰聚类的快速分簇算法

针对车辆高速移动场景下,网络拓扑变化过大导致网络分簇结果不稳定的问题,提出一种基于改进型共享最近邻密度峰聚类的快速成簇算法SNNCA(shared nearest neighbor clustering algorithm);通过综合考虑节点的链路生存周期和移动相似性,提出一种全新的节点连接稳定程度评估指标,并将该评估指标应用于节点共享最近邻的计算过程,以组织网络节点为划分合理的多跳簇结构;为适应网络环境的动态变化,提出一种簇维护策略,其中每个层级的簇成员承担着维护下一层级簇成员的任务,该策略能够对簇成员进行批量分离或合并,从而实现了算法的分布式快速收敛;根据随机部署场景中进行的仿真实验结果显示,相比其他较新算法,SNNCA算法降低了74%的簇数量,并且簇成员的平均存活时间增加了近1倍,表现出更好的网络稳定性和健壮性。

基于聚类算法的有限制单纯形均匀随机抽样研究

针对单纯形在抽样算法设计方案中无法适用复杂限制情况下的条件分布以及满足高维情形要求,需要提出一种行之有效的抽样算法,即Gibbs抽样算法,来为有限制单纯形均匀随机抽样提供一个可靠算法框架,同时为了获得有限制单纯形上均匀分布的代表点,此研究引入了3种聚类算法。从数值模拟结果可以看出,提出的抽样方法能够获取到较为均匀的样本,能够广泛应用至各种有限制或高维等复杂条件中,且对聚类算法的抽样算法框架有显著提升试验点的价值属性。

利用Transformer的组合聚类算法在蛋白质数据分析中的应用

该研究将Transformer模型适配于蛋白质特征降维场景,通过其特有的自注意力机制,赋予模型对长程依赖关系的较好建模性能,同时,多头注意力设计使得模型能够从不同角度捕获特征间的相互作用,进一步提升降维结果的表达力和鲁棒性。文章提出了一种新型的GRKM组合聚类算法,在原始K-means算法中引入了灰狼优化算法(Grey Wolf Optimization Algorithm)确定聚类的K值,以随机游走算法(Random Walk)确定初始聚类中心,以马氏距离(Markov Distance)来衡量样本间的相似性。研究中,对5种具有代表性的蛋白质数据集进行了实验验证,得到了改进后算法在轮廓系数以及DB指数等方面相较于改进前都有较大提升的结论。最终的结果分析选取APP蛋白质数据,将蛋白质聚为8类,探讨了各类别的生物功能,在解释性方面也取得了较为明显的效果。所提算法为深入理解蛋白质功能、发现潜在生物标志物以及指导药物设计等实际应用提供了参考工具。

结合指数函数改进的随机近邻嵌入式短文本聚类

近年来深度学习在短文本聚类方面发挥巨大作用,最近提出的短文本聚类(Short Text Clustering, STC)算法在此方面取得不错的成效。为进一步提高聚类准确率并优化算法性能,基于指数函数提出改进的随机近邻嵌入算法。该算法用指数函数度量样本点与聚类中心差距,放大不同特征差别,并在后期使用k-means++算法预先确定聚类中心与聚类数目。在Stackoverflow数据集上的实验证明,随机指数嵌入聚类模型(e-STC)在准确率与标准互信息上均优于原STC模型,准确率相对提高3.2%,互信息相对提高2.9%。

基于二进制蜉蝣优化的特征选择及文本聚类算法

针对文本冗余特征导致聚类精度较低的问题,提出一种基于二进制蜉蝣优化的特征选择及文本聚类算法.首先,对传统蜉蝣算法的位置更新、交配与变异策略进行改进;然后,将其与特征选择模型相结合,以逆文档频率为目标函数对文本特征进行选择;最后,在新特征子集的基础上,利用K-means++算法对文本进行聚类,得到最优文本聚类结果.在多个数据集上进行实验的结果表明,该算法能有效缩短特征维数,提高文本聚类效率.

基于改进灰狼优化的文本聚类多阶段特征选择算法

为了降低文本特征维度,提高聚类准确度,提出改进灰狼优化多阶段特征选择与特征提取算法。结合平均绝对差和平均中位数作相关特征选择,利用合并/交叉融合特征子集;根据余弦相似性作特征提取,得到初选特征子集;基于初选特征子集,设计改进二进制灰狼优化算法(IBGWO)求解最优特征子集,利用累计词频和文档频率定义适应度,引入反向学习、非线性收敛系数衰减及精英反向学习机制,提升灰狼优化寻优性能。结果表明,该算法的聚类准确率、召回率及F1值指标优于同类算法,可以有效降低特征维度,提升聚类效率。

基于随机取样的选择性K-means聚类融合算法

由于缺少数据分布、参数和数据类别标记的先验信息,部分基聚类的正确性无法保证,进而影响聚类融合的性能;而且不同基聚类决策对于聚类融合的贡献程度不同,同等对待基聚类决策,将影响聚类融合结果的提升。为解决此问题,提出了基于随机取样的选择性K-means聚类融合算法(RS-KMCE)。该算法中的随机取样策略可以避免基聚类决策选取陷入局部极小,而且依据多样性和正确性定义的综合评价值,有利于算法快速收敛到较优的基聚类子集,提升融合性能。通过2个仿真数据库和4个UCI数据库的实验结果显示:RS-KMCE的聚类性能优于K-means算法、K-means融合算法(KMCE)以及基于Bagging的选择性K-means聚类融合(BA-KMCE)。

基于k-means聚类算法的A商贸公司库存管理优化研究

1.前言近几年,企业间竞争加剧,无论是大企业还是小企业,都处于机遇与挑战并存的状态。库存管理作为企业成本控制中的重要环节之一,对中小企业至关重要,科学合理的库存管理系统,可以提升仓储作业的效率,降低存货的成本费用,提升企业的盈利空间,从而使企业在市场竞争中获得更强大的竞争力[1]。本文主要基于A商贸公司库存管理的现状及问题分析,使用ABC分类法和K-means聚类算法,对A商贸公司库存商品进行分类,通过对比选择分类最优的方法,制定相应的库存管理策略。

基于改进TFIDF算法的文本特征选择和聚类分析

为了提高大量文本数据的特征选择能力,采用全覆盖粒计算方法对特征选择算法的数据高维性与稀疏性进行分析。针对TFIDF算法存在的缺陷,设计了一种经过改进后的TFIDF_SP算法,以区分文档内处于不同部位的特征词重要性,并根据不同特征选择方法对比结果判断算法有效性。研究结果表明,采用bLDA主题模型提取细主题粒度的时候也无法获得理想聚类效果,此时会对相同主题特征词造成弱化,将其判断为不同主题类型的特征词。在γ取值等于0.8时可以获得最优聚类效果,此时改进TFIDF算法能促进权重的进一步提升。所提出的改进TFIDF算法可以获得比TFIDF和bLDA主题模型更好的结果结合高1.62%的聚类准确率,表明当特征词方式词性与位置变化时会引起文档表达效果的显著影响。

融合聚类及随机配置网络的短期光伏功率预测

为了降低天气因素对光伏发电功率的输出值预测精度的影响,从聚类分析和信号分解两方面入手,提出了一种融合聚类算法(KDGMM),改进的变分模态分解(VMD)与随机配置网络(SCN)的预测模型。首先通过KDGMM聚类将气象数据划分成晴天、阴天和雨天,针对阴天难以准确预测的问题,采用灰色关联度分析(GRA)选择相似日,其次引入莱维飞行北方苍鹰优化算法(LNGO)优化VMD得到最优参数,从而降低阴天光伏功率的非平稳性。最后构建SCN预测模型对光伏功率数据进行预测,输出其预测结果。通过实验分析,所提方法的均方根误差(RMSE)和平均绝对百分比误差(MAPE)仅为1.44和1.3%,拟合优度指标R^(2)高达0.99,与其他预测方法相比,本文所提方法有较高的预测精度。

基于谱聚类算法的高速网络数据流快速分类方法研究

当前高速网络数据流分类处理时,忽略了冗余数据对分类结果的影响,使得分类结果 F1值较低。因此,提出了基于谱聚类算法的高速网络数据流快速分类方法。采用主成分分析法对高速网络数据流进行降维处理。对所有数据流相关性特征进行选择,去除冗余特征,保留有效的特征信息。应用支持向量机算法构建网络数据流快速分类模型,结合谱聚类算法对多数类样本进行聚类,组成新的数据集并将其输入到分类模型中得出相关的分类结果。实验结果表明,所提方法的平均F1值为0.95,F1值越大分类结果越准确,说明该方法能够满足高速网络数据流快速准确分类,具有优越的数据分类性能,应用价值更高。

改进的密度峰值聚类算法的差分隐私保护方案

针对改进的密度峰值聚类(AdDPC)算法在计算局部密度时产生的隐私泄露问题以及算法的一次分配策略,提出一种改进的密度峰值聚类算法的差分隐私保护方案。该方案在算法计算局部密度的过程中添加Laplace随机噪声,使得即使攻击者拥有最大背景知识,也无法通过添加或者删除数据集中的某一点来获取相应的信息,从而利用差分攻击获取目标数据点的信息,达到保护隐私数据的目的,并且在分配非聚类中心点时引入可达定义改进AdDPC算法的分配策略,避免因为一次分配策略导致数据点分配错误的问题。实验对比了DP-rcCFSFDP算法、AdAPC-rDP算法、IDP K-means算法的F-Measure和ARI,结果表明:当隐私预算大于1.5时,所提算法的F-Measure和ARI优于其他算法,所提算法能够在保护敏感数据的同时保证数据的可用性。

一种基于克隆选择的聚类算法

将克隆选择原理同典型的划分聚类方法结合起来,提出一种克隆选择聚类算法.该算法具有完成任意形状数据集聚类的能力,可以自动确定簇的数目并得到簇的描述信息,计算量小,参数设置容易,适用于具有实值连续属性的数据集.基于模拟数据集和基准数据集分别进行实验,结果表明该算法是有效的.

基于随机抽样和聚类特征的聚类算法

在分析BIRCH算法不足的基础上,提出了一种基于随机抽样和聚类特征的聚类算法(CLAP).该算法采用随机抽样技术,从数据库中抽取一部分数据进行聚类的预处理过程,这样大大降低了运行时间.CLAP通过设立索引树的叶节点的直径和聚类直径,提高了聚类的精度,并采用全局搜索和局部搜索相结合的方式,消除了输入顺序对聚类质量的影响.测试结果表明,CLAP算法不仅提高了聚类速度,而且改善了聚类质量.

基于遗传算法及聚类的基因表达数据特征选择

特征选择是模式识别及数据挖掘等领域的重要问题之一。针对高维数据对象(如基因表达数据)的特征选择,一方面可以提高分类及聚类的精度和效率,另一方面可以找出富含信息的特征子集,如发现与疾病密切相关的重要基因。针对此问题,本文提出了一种新的面向基因表达数据的特征选择方法,在特征子集搜索上采用遗传算法进行随机搜索,在特征子集评价上采用聚类算法及聚类错误率作为学习算法及评价指标。实验结果表明,该算法可有效地找出具有较好可分离性的特征子集,从而实现降维并提高聚类及分类精度。

基于聚类排序选择方法的进化算法

为提高进化算法的效率,提出了聚类排序选择方法。主要工作有:(1)提出了新的种群内个体相似度度量,并使用种群所包含不同簇的数量来描述和度量种群的多样性;(2)为解决早熟问题提出了新的基于种群聚类和排序选择的聚类-排序选择方法;(3)导出了选择压力-种群多样性(SP-PD)方程,该方程能描述进化过程中选择压力随种群多样性变化的规律。在基于全面学习粒子群算法环境中作了详实的实验,对16个多峰函数进行了优化。实验结果表明,在10维和30维条件下,在15个函数优化中,新方法明显优于指数排序选择方法,最高能使精度提高4个数量级。

基于有效性指标的聚类算法选择

为数据集选择合适的聚类算法是获得高质量聚类结果的前提和保障.提出了基于有效性指标的聚类算法选择方法,通过对不同聚类算法的聚类结果的质量评价为数据集选择最适合的聚类算法.该方法的优点是在对数据集的情况了解甚少的情况下,也能有效地保障聚类质量.实验结果表明本文方法十分有效,为实验数据集正确选择出最适合的聚类算法,并获得了高质量的聚类结果.