基于改进模糊聚类算法的大数据随机挖掘仿真

大数据挖掘是从大量有噪声的、随机模糊的大数据中提取有价值信息的过程,由于海量大数据具有多维性、稀疏性以及动态性等特点,准确获取其分布特征的难度较大,随机挖掘难以直接实现。为此提出基于改进模糊聚类算法的大数据随机挖掘方法。利用建立的语义概念树模型获取大数据的特征分布关系,并根据模糊语义分析法得出大数据的语义相似性、关联性条件,提取大数据特征。优先确定最佳聚类数,采用改进模糊聚类算法对其聚类,实现基于改进模糊算法的大数据随机挖掘。实验结果表明,上述方法的大数据模糊聚类效果较好,随机挖掘准确率可达到95%以上,实验所得结果验证了上述方法较强的应用有效性。

基于聚类算法的多源信息融合并行处理探析

在多源信息融合并行处理过程中,由于数据的耦合性较强,并且逻辑存在较高序贯性,导致处理时机存在随机性,多源信息融合并行处理的难度大幅增加。为了有效解决多源信息融合并行处理过程中存在的难题,工作人员需要站在不同角度对多源信息融合并行处理进行深入研究。本文根据聚类算法提出了多源信息融合并行处理方法,先对数据融合并行处理分析进行了概述,随后讨论了数据融合并行处理架构,最后对其进行了总结,希望可以强化数据处理的效率,提升精准程度,满足计算要求。经过分析后可以发现,基于聚类算法的多源信息融合并行处理过程具备较强时效性,同时提升了处理容量,增加了扩展性,能够满足使用需求。

利用Transformer的组合聚类算法在蛋白质数据分析中的应用

该研究将Transformer模型适配于蛋白质特征降维场景,通过其特有的自注意力机制,赋予模型对长程依赖关系的较好建模性能,同时,多头注意力设计使得模型能够从不同角度捕获特征间的相互作用,进一步提升降维结果的表达力和鲁棒性。文章提出了一种新型的GRKM组合聚类算法,在原始K-means算法中引入了灰狼优化算法(Grey Wolf Optimization Algorithm)确定聚类的K值,以随机游走算法(Random Walk)确定初始聚类中心,以马氏距离(Markov Distance)来衡量样本间的相似性。研究中,对5种具有代表性的蛋白质数据集进行了实验验证,得到了改进后算法在轮廓系数以及DB指数等方面相较于改进前都有较大提升的结论。最终的结果分析选取APP蛋白质数据,将蛋白质聚为8类,探讨了各类别的生物功能,在解释性方面也取得了较为明显的效果。所提算法为深入理解蛋白质功能、发现潜在生物标志物以及指导药物设计等实际应用提供了参考工具。

BIRCH数据聚类算法优化研究及仿真分析

近年来在数据分析中最广泛研究的问题之一就是在多维数据集中识别聚类或密集区域。为了解决大型数据集和最小化I/O成本的问题。由此提出一种基于层次结构的数据聚类方法——平衡迭代和聚类方法 BIRCH。论文中对BIRCH聚类算法性能从时间/空间效率、对算法参数改变下的Calinski-Harabasz指数和聚类质量等方面进行了评估,并和经典的CLARANS算法进行了性能比较。

VANET随机部署环境下基于改进型共享最近邻密度峰聚类的快速分簇算法

针对车辆高速移动场景下,网络拓扑变化过大导致网络分簇结果不稳定的问题,提出一种基于改进型共享最近邻密度峰聚类的快速成簇算法SNNCA(shared nearest neighbor clustering algorithm);通过综合考虑节点的链路生存周期和移动相似性,提出一种全新的节点连接稳定程度评估指标,并将该评估指标应用于节点共享最近邻的计算过程,以组织网络节点为划分合理的多跳簇结构;为适应网络环境的动态变化,提出一种簇维护策略,其中每个层级的簇成员承担着维护下一层级簇成员的任务,该策略能够对簇成员进行批量分离或合并,从而实现了算法的分布式快速收敛;根据随机部署场景中进行的仿真实验结果显示,相比其他较新算法,SNNCA算法降低了74%的簇数量,并且簇成员的平均存活时间增加了近1倍,表现出更好的网络稳定性和健壮性。

基于聚类算法的有限制单纯形均匀随机抽样研究

针对单纯形在抽样算法设计方案中无法适用复杂限制情况下的条件分布以及满足高维情形要求,需要提出一种行之有效的抽样算法,即Gibbs抽样算法,来为有限制单纯形均匀随机抽样提供一个可靠算法框架,同时为了获得有限制单纯形上均匀分布的代表点,此研究引入了3种聚类算法。从数值模拟结果可以看出,提出的抽样方法能够获取到较为均匀的样本,能够广泛应用至各种有限制或高维等复杂条件中,且对聚类算法的抽样算法框架有显著提升试验点的价值属性。

基于k-means聚类算法的A商贸公司库存管理优化研究

1.前言近几年,企业间竞争加剧,无论是大企业还是小企业,都处于机遇与挑战并存的状态。库存管理作为企业成本控制中的重要环节之一,对中小企业至关重要,科学合理的库存管理系统,可以提升仓储作业的效率,降低存货的成本费用,提升企业的盈利空间,从而使企业在市场竞争中获得更强大的竞争力[1]。本文主要基于A商贸公司库存管理的现状及问题分析,使用ABC分类法和K-means聚类算法,对A商贸公司库存商品进行分类,通过对比选择分类最优的方法,制定相应的库存管理策略。

基于二进制蜉蝣优化的特征选择及文本聚类算法

针对文本冗余特征导致聚类精度较低的问题,提出一种基于二进制蜉蝣优化的特征选择及文本聚类算法.首先,对传统蜉蝣算法的位置更新、交配与变异策略进行改进;然后,将其与特征选择模型相结合,以逆文档频率为目标函数对文本特征进行选择;最后,在新特征子集的基础上,利用K-means++算法对文本进行聚类,得到最优文本聚类结果.在多个数据集上进行实验的结果表明,该算法能有效缩短特征维数,提高文本聚类效率.

基于改进灰狼优化的文本聚类多阶段特征选择算法

为了降低文本特征维度,提高聚类准确度,提出改进灰狼优化多阶段特征选择与特征提取算法。结合平均绝对差和平均中位数作相关特征选择,利用合并/交叉融合特征子集;根据余弦相似性作特征提取,得到初选特征子集;基于初选特征子集,设计改进二进制灰狼优化算法(IBGWO)求解最优特征子集,利用累计词频和文档频率定义适应度,引入反向学习、非线性收敛系数衰减及精英反向学习机制,提升灰狼优化寻优性能。结果表明,该算法的聚类准确率、召回率及F1值指标优于同类算法,可以有效降低特征维度,提升聚类效率。

基于网格结构的二次CLARANS聚类算法

针对CLARANS算法聚类效率低、聚类效果依赖初始节点等问题,提出一种基于网格的二次CLARANS算法(Twi-CLAR-ANS)。首先利用网格聚类算法划分数据空间,提取出密集网格中的所有数据对象,用CLARANS算法进行初次聚类,然后将第一次聚类得到的局部最优解作为第二次聚类的初始参照点,对原始数据样本进行第二次聚类,最大程度上避免孤立点信息的丢失,防止聚类结果陷入局部最优。实验结果表明,与CLARANS算法相比,Twi-CLARANS算法具备更优的准确性和执行效率,并且保证了信息的完整性。

QPSO优化的改进CLARANS聚类算法

CLARANS算法是一种有效且广泛应用的聚类算法,适合发现任意形状的聚类结果,但CLARANS算法在搜索过程中容易陷入局部最优解,从而忽略全局最优解。为了避免CLARANS算法在搜索中心点时易受局部最优解的影响,提出一种将CLARANS算法中的邻接点作为QPSO算法的量子粒子,结点代价作为适应度函数对其进行寻优的改进CLARANS算法。将该改进算法应用于UCI数据集,结果表明该算法聚类效果好、收敛快,算法的稳定性、收敛性及寻优能力都有很大提高。

基于遗传算法和CLARANS的一种改进聚类算法

阐述了CLARANS(Clustering Large Applications based on RANdomized Search-基于随机搜索的大规模应用聚类)聚类算法的工作原理,同时为了解决CLARANS聚类挖掘算法效率低,费时长等问题,本文将遗传算法的思想引入CLAR-ANS算法,利用遗传算法的隐并行性对其进行改进,提出一种GA-CLARANS算法,有效地降低了聚类所花费的时间。实验证明GA-CLARANS算法在运行效率方面相比CLARANS算法有较好的表现,是可行且有效的。

基于改进TFIDF算法的文本特征选择和聚类分析

为了提高大量文本数据的特征选择能力,采用全覆盖粒计算方法对特征选择算法的数据高维性与稀疏性进行分析。针对TFIDF算法存在的缺陷,设计了一种经过改进后的TFIDF_SP算法,以区分文档内处于不同部位的特征词重要性,并根据不同特征选择方法对比结果判断算法有效性。研究结果表明,采用bLDA主题模型提取细主题粒度的时候也无法获得理想聚类效果,此时会对相同主题特征词造成弱化,将其判断为不同主题类型的特征词。在γ取值等于0.8时可以获得最优聚类效果,此时改进TFIDF算法能促进权重的进一步提升。所提出的改进TFIDF算法可以获得比TFIDF和bLDA主题模型更好的结果结合高1.62%的聚类准确率,表明当特征词方式词性与位置变化时会引起文档表达效果的显著影响。

基于谱聚类算法的高速网络数据流快速分类方法研究

当前高速网络数据流分类处理时,忽略了冗余数据对分类结果的影响,使得分类结果 F1值较低。因此,提出了基于谱聚类算法的高速网络数据流快速分类方法。采用主成分分析法对高速网络数据流进行降维处理。对所有数据流相关性特征进行选择,去除冗余特征,保留有效的特征信息。应用支持向量机算法构建网络数据流快速分类模型,结合谱聚类算法对多数类样本进行聚类,组成新的数据集并将其输入到分类模型中得出相关的分类结果。实验结果表明,所提方法的平均F1值为0.95,F1值越大分类结果越准确,说明该方法能够满足高速网络数据流快速准确分类,具有优越的数据分类性能,应用价值更高。

基于自适应布谷鸟优化特征选择的K-means聚类

K-means聚类算法随机确定初始聚类数目,而且原始数据集中含有大量的冗余特征会导致聚类时精度降低,而布谷鸟搜索(CS)算法存在收敛速度慢和局部搜索能力弱等问题,为此提出一种基于自适应布谷鸟优化特征选择的K-means聚类算法(DCFSK)。首先,为提升CS算法的搜索速度和精度,在莱维飞行阶段,设计了自适应步长因子;为调节CS算法全局搜索和局部搜索之间的平衡、加快CS算法的收敛,动态调整发现概率,进而提出改进的动态CS算法(IDCS),在IDCS的基础上构建了结合动态CS的特征选择算法(DCFS)。其次,为提升传统欧氏距离的计算精确度,设计同时考虑样本和特征对距离计算贡献程度的加权欧氏距离;为了确定最佳聚类数目的选取方法,依据改进的加权欧氏距离构造了加权簇内距离和簇间距离。最后,为克服传统K-means聚类目标函数仅考虑簇内的距离而未考虑簇间距离的缺陷,提出基于中位数的轮廓系数的目标函数,进而设计了DCFSK。实验结果表明,在10个基准测试函数上,IDCS的各项指标取得了较优的结果;相较于K-means、DBSCAN(Density-Based Spatial Clustering of Applications with Noise)等算法,在6个合成数据集与6个UCI数据集上,DCFSK的聚类效果最佳。

改进的密度峰值聚类算法的差分隐私保护方案

针对改进的密度峰值聚类(AdDPC)算法在计算局部密度时产生的隐私泄露问题以及算法的一次分配策略,提出一种改进的密度峰值聚类算法的差分隐私保护方案。该方案在算法计算局部密度的过程中添加Laplace随机噪声,使得即使攻击者拥有最大背景知识,也无法通过添加或者删除数据集中的某一点来获取相应的信息,从而利用差分攻击获取目标数据点的信息,达到保护隐私数据的目的,并且在分配非聚类中心点时引入可达定义改进AdDPC算法的分配策略,避免因为一次分配策略导致数据点分配错误的问题。实验对比了DP-rcCFSFDP算法、AdAPC-rDP算法、IDP K-means算法的F-Measure和ARI,结果表明:当隐私预算大于1.5时,所提算法的F-Measure和ARI优于其他算法,所提算法能够在保护敏感数据的同时保证数据的可用性。

不确定性目标的CLARANS聚类算法

在传统CLARANS聚类算法基础上,提出一种针对不确定性目标的CLARANS聚类算法。在该算法中,待聚类的每个不确定性目标都被表示成高斯混合模型,即高斯分布的一个加权和,并将Kullback-Leibler散度作为不确定性目标间的距离测度。在图片数据库上的实验结果表明,该算法具有较高的聚类精度。

结合指数函数改进的随机近邻嵌入式短文本聚类

近年来深度学习在短文本聚类方面发挥巨大作用,最近提出的短文本聚类(Short Text Clustering, STC)算法在此方面取得不错的成效。为进一步提高聚类准确率并优化算法性能,基于指数函数提出改进的随机近邻嵌入算法。该算法用指数函数度量样本点与聚类中心差距,放大不同特征差别,并在后期使用k-means++算法预先确定聚类中心与聚类数目。在Stackoverflow数据集上的实验证明,随机指数嵌入聚类模型(e-STC)在准确率与标准互信息上均优于原STC模型,准确率相对提高3.2%,互信息相对提高2.9%。

基于随机森林和K-Means算法的高校学生评教指标的应用研究

本文旨在探讨随机森林和K-means算法在高校学生评教体系中的应用及其有效性。首先,通过构建随机森林模型对评教数据进行拟合,分析模型的均方误差和拟合优度,验证其预测能力。进一步利用随机森林的特征重要性评估功能,筛选出对评教结果影响较大的指标,为优化评教体系提供科学依据。同时,对评教指标进行相关性分析,揭示指标间的相互关系。其次,采用K-means算法对评教数据进行聚类分析,通过轮廓系数确定最佳聚类数,并成功将数据划分为三个具有明显差异的聚类。聚类结果揭示了不同教师在教学理念、风格和要求上的多元性,为教学改进和提升提供了参考依据。本文的方法论和结果对优化高校学生评教体系、提升教学质量具有重要意义。

基于t-SNE降维和放射传播聚类算法的低压配电网相位识别

智能电表的广泛普及和高级测量体系(advancedmeteringinfrastructure,AMI)的建立为分析配电网运行情况提供了大量监测信息与测量数据,而台区用户的相位信息变动又为准确掌握台区运行情况带来难题。针对台区用户的相位识别问题,提出了一种基于用户电压数据的t分布随机邻接嵌入(t-distributed stochastic neighbor embedding,t-SNE)特征提取及放射传播(affinity propagation,AP)聚类算法的相位识别方法。先对提取出的用户电压数据进行Z-score数据标准化处理,由t-SNE降维提取出数据特征,再采用放射传播聚类算法对用户进行相位识别。选取某市2个小区进行算例分析,采用评价指标比较了不同识别方法的识别效果,并分析了数据采集频率和计量误差对识别效果的影响。实际台区算例分析验证了所提方法的准确性,说明所提方法能够有效解决台区用户相位识别问题。