基于K-mean聚类算法的海量数据分析方法

海量数据高效精准聚类是信息时代数据内部知识深度挖掘的基本要求.文章首先在Hadoop分布式并行处理框架下运用MapReduce模型运行K-mean聚类算法,再利用遗传算法将K-mean聚类算法的聚类问题转化为求极值问题,解决聚类中心确定的随机性.经测试,此方法在聚类效率与聚类精度上取得了理想效果,对深度挖掘数据内部知识规律有所效用.

基于k-mean聚类算法的加密云数据排序搜索仿真

密钥加密索引向量生成加密数据索引时,会产生数据维度升高问题,导致加密云数据排序搜索时间较长,搜索结果不准确,资源利用率低。为此提出基于k-mean聚类算法的加密云数据排序搜索方法。采用k-mean聚类算法对加密云数据进行预处理,选取质心点,并对数据点进行重新聚类,计算出最新的质心点;根据获取的数据聚类结果,选取文档中具有高代表性的关键词作为文档的索引,同时引入加密搜索插件,对索引向量进行维度缩减,使其在检索时形成和用户检索相关的文档摘要,从而能够发送摘要供用户选择目标文档,得到排序搜索结果,实现加密云数据排序搜索。仿真结果表明,所提方法的搜索结果准确率较高,能够有效提升资源利用率,缩短搜索时间。

一种基于量子进化算法改进的k-mean聚类算法

聚类分析是模式识别中的一个重要问题,是非监督学习的重要方法。K-means算法是其中最经典的聚类算法之一。但是这种方法面对大规模数据的时候工作量非常巨大,并且保证不了聚类结果的最优性。提出了一种基于量子进化算法的改进的K-means聚类算法。该方法结合了两个方法的优点,用量子进化算法进行优化,并且改进了量子进化算法中的交叉算子和更新算子,提高了基于量子进化算法的K-means算法局部搜索能力。实验结果表明,改进算法取得了较好的效果。

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于改进K-means数据聚类算法的网络入侵检测

随着入侵手段的不断更新和升级,传统入侵检测方法准确率下降、检测时间延长,无法满足网络防御要求。为此,提出一种经过改进K均值(K-means)数据聚类算法,以应对不断升级的网络入侵行为。先以防火墙日志为基础转换数值,然后基于粒子群算法求取最优初始聚类中心,实现K-means数据聚类算法的改进;最后以计算得出的特征值为输入项,实现对网络入侵行为的精准检测。结果表明:K-means算法改进后较改进前的戴维森堡丁指数更小,均低于0.6,达到了改进目的。改进K-means算法各样本的准确率均高于90%,相对更高,检测时间均低于10 s,相对更少,说明该方法能够以高效率完成更准确的网络入侵检测。

基于改进K-means聚类和遗传算法的混合算法求解异构车辆路径问题

由于目前单一车型配送存在资源浪费和效率低下等问题,选取确定数量的不同车型对各客户点进行配送服务往往可以得到更优的配送路径方案。针对这一点,描述了一种异构车辆路径问题,并建立了具有固定车辆数且考虑固定成本、可变成本以及时间窗惩罚成本的混合整数规划模型。同时,提出了一种基于改进K-means聚类和遗传算法的混合算法对模型进行求解。实验仿真先求解不考虑时间窗的问题初步证明混合算法的有效性,再在带时间窗的问题中求解不同规模算例的单一及异构车型结果,以证明异构车型配送更优。最后,对该混合算法的求解结果与其他混合算法的求解结果进行对比分析,证明了混合算法的优越性。研究结果表明:该混合算法求解的异构车型结果优于单一车型,并且比其他混合算法求解的异构车型结果更优,异构车辆配送使用的配送车辆数更少,总成本也更低,该混合算法具有更好的效率和性能。

基于蚁群算法的三支k-means聚类算法

在聚类分析中,三支k-means聚类算法较具有较强的处理边界不确定数据的能力,但仍然存在对初始聚类中心敏感的问题.通过将蚁群算法和三支k-means聚类算法相结合,给出了一种基于蚁群算法的三支k-means聚类算法来解决这一问题.利用蚁群算法中随机概率选择策略和信息素的正负反馈机制,动态调整权重的方法,对三支k-means聚类算法进行优化.在UCI数据集上实验证明,该方法对聚类结果的性能指标有所提高.

启发式k-means聚类算法的改进研究

启发式k-means聚类算法通过在k-means第一次迭代后查看附近的集群来预测每个数据点可能会被划分到的集群子集,有效地加快了算法的运行速度。但由于启发式算法存在随机选择初始聚类中心以及无法有效识别数据集中离群点的缺陷,导致聚类结果的误差平方和较大并且轮廓系数偏小。针对这一问题,提出了CHk-means算法,该算法引入仔细播种方法,克服了启发式k-means算法随机选择初始聚类中心带来的局部最优解问题;该算法引入局部异常因子LOF算法对离群点进行检测,降低了离群点数据对聚类结果的影响。在多个数据集上对3种算法进行对比试验,结果表明CHk-means算法可有效降低聚类结果的误差平方和,增强聚类的轮廓系数,使聚类质量得到明显改善。

基于k-means聚类算法的兴义维蚋幼虫龄数的估算

目的探讨基于k-means聚类算法估算兴义维蚋幼虫的龄数,以明确虫龄与日龄及鳃斑发育阶段的关系。方法采集贵州青岩河流中兴义维蚋虫卵,于实验室的蚋类饲养系统中培育至幼虫,每日收集幼虫至大量化蛹,持续20 d;收集到幼虫1112头,于体视显微镜下测量头壳长(HCW)、后颊长(PGL)、上颚基横骨长(MPL)及体长(BL),观察不同虫龄幼虫的破卵器、鳃斑及性腺的形态学特征,并判断其龄期、分析虫龄与日龄和鳃斑发育关系;选取具有明显腮斑发育的兴义维蚋幼虫10头、制作石蜡切片,采用HE染色鉴定精巢和卵巢、辅助确认性别鉴定结果;采用k-means聚类方法划分形态计量学数据、利用Brooks-Dyar定律检测k-means聚类结果,R语言下行聚类与Brooks-Dyar定律检验、t检验等,根据拟合度分析判断兴义维蚋幼虫龄数。结果1112头兴义维蚋幼虫中有破卵器89头,出现鳃斑发育334头,6~7龄幼虫320头,有预蛹特征34头;Brooks-Dyar定律与破卵器、鳃斑形态特征显示7龄幼虫假设符合昆虫幼虫生长规律;组织学观察见幼虫精巢为椭圆形、体积大、外有几丁质层包裹,卵巢为长条形、体积小、后端有色素细胞包裹;鉴定6、7龄幼虫性别结果,仅7龄幼虫雌雄性PGL有差异(P<0.05);幼虫虫龄与日龄、鳃斑发育关系结果显示,约2~3 d对应1个幼虫生长龄期,第17天首见幼虫蛹化,6龄幼虫出现明显的鳃斑。结论兴义维蚋幼虫具7龄,实验室下幼虫发育约需3周,最短17 d;腮斑发育起始于6龄,7龄出现明显形态学特征。

一种融合乌鸦搜索算法的K-means聚类算法

传统的K-均值聚类算法(K-means)对初始聚类中心的选择敏感,容易陷入局部最优解,并且需要预先设定聚类数量K,这在实际操作中往往难以实现。为了解决这些问题,提出了一种融合乌鸦搜索算法的K-means聚类算法。该算法利用乌鸦搜索算法的全局搜索能力,自动确定最佳的聚类数目K,从而提高聚类的质量和效率。通过在Seeds数据集进行实验计算卡林斯基-哈拉巴斯(Calinski-Harabasz)指数等评价指标,发现该算法聚类效果明显优于传统的K-means算法。

基于改进K-means聚类算法的网络异常数据挖掘与分类方法

为了解决网络异常数据挖掘过程中漏报率、误报率较高的问题,文章提出一种基于改进K-means聚类算法的网络异常数据挖掘与分类方法。文章通过构建并行化频繁项集挖掘环境加速数据处理,利用局部离群点检测剔除异常值,同时引入K-means聚类对数据的最大最小距离展开计算,融合隶属度函数与密度峰值优化算法,改进聚类初始中心选择及簇边界调整,从而提高异常识别准确性和分类效率。通过实验结果证明,该方法能够明显改善聚类效果与性能。

一种基于K-means聚类算法的沙尘天气客观识别方法

鉴于以往基于污染物浓度时间序列进行分析的沙尘天气识别方法在判断标准上存在一定的主观性,本文提出一种基于K-means聚类算法的沙尘天气客观识别方法。本方法利用环境监测总站的PM2.5和PM10小时浓度资料进行聚类,首先选取最优的分类数目K进行聚类,其次对聚类结果中离散程度较高的类别进行再次聚类,直到无需分类。将本方法应用于西安市2018年2~4月沙尘天气的识别中,结果表明,本方法可有效识别主要沙尘天气。此外,利用本方法可得到沙尘天气典型特征:PM2.5占PM10浓度的比例小于43.5%、PM10浓度高于228μg/m^(3,)符合沙尘天气期间PM10浓度较高且以粗颗粒物为主的物理特征。总体上看,本方法物理基础清晰,可操行性强,适用于大规模数据处理,具有较好的实用价值和应用前景。

一种基于改进差分进化的K-Means聚类算法研究

为改进传统K-Means聚类算法中因随机选取初始聚类中心而导致聚类结果不稳定且效率低的缺点,提出一种基于改进差分进化的K-Means聚类算法(AGDE-KM)。首先,设计自适应操作算子来提升算法前期的全局搜索能力和后期的收敛速度;其次,设计多变异策略并引入权重系数,在算法的不同进化阶段发挥不同变异策略的优势,平衡算法的全局和局部搜索能力,加快算法的收敛速度;最后,提出一种基于当前种群最佳个体的高斯扰动交叉操作,为个体提供更优进化方向的同时保持种群在“维”上的多样性,避免算法陷入局部最优。将算法停止执行时输出的最优解作为初始聚类中心替代传统K-Means随机选取的聚类中心。将提出算法在UCI公共数据库中的Vowel、Iris、Glass数据集和合成数据集Jcdx上进行对比实验,误差平方和(SSE)相对于传统K-Means分别减小5.65%、19.59%、13.31%、6.1%,聚类时间分别减少83.03%、81.33%、77.47%、92.63%。实验结果表明,提出的改进算法具有更快的收敛速度和更好的寻优能力,显著提升了聚类的效果、效率和稳定性。

基于K-means聚类与集成学习算法的小流域山洪灾害易发性评估

为了更好地分析空间异质性对山洪灾害易发性评估的影响,建立了基于K-means聚类与集成学习算法的小流域山洪灾害易发性评估模型。首先,选取中国江西省12338个小流域为研究区,对各时段不同频率降雨量指标进行K-means聚类。其次,以误差平方和与平均轮廓系数为聚类效果评价指标,将小流域分为2个类内聚集、类外分散的子集。最后,针对不同子集,从几何特征、环境特征以及降水特征3个方面选取平均坡度、形心高程、形状系数、最长汇流路径比降、地形湿度指数、归一化植被指数、距离河流最近距离、降雨量、洪峰模数以及汇流时间10个山洪影响因素,应用自适应增强算法与极致梯度提升算法进行山洪灾害易发性评估。研究发现,降水是导致山洪灾害的重要因素,江西省高降水区域山洪灾害易发程度普遍高于低降水区,同时省内高风险区分布较为分散,主要分布在东北区域与西北边缘区域。对聚类后两类相似小流域分别进行山洪易发性评估,接受者操作特征曲线下面积值均在0.90以上,精度较聚类前有所提高。聚类策略作为易发性评估模型的前驱过程,可以有效解决小流域异质性问题。

电网需求侧资源动态分布式k-means聚类算法

为有效聚合电网需求侧资源,合理、高效利用电网资源,提出基于分布式k-means的电网需求侧资源动态聚类算法。通过基于置信半径的分布式k-means算法聚类采集到的电网需求侧资源数据,在模糊C均值进化神经网络中,以聚类得到的电网需求侧资源数据为输入向量,输出电网需求侧资源场景,依据场景存在概率,以电网侧资源日均峰谷差最小、DG消纳程度最高与日均负荷波动率最小为目标函数,以电网需求侧资源曲线波动率与负荷互补为约束条件,构建电网需求侧资源多场景聚类模型,经动态改变惯性因子(DCW)粒子群算法求解模型后,实现电网需求侧资源多场景聚类。试验结果表明:该方法可实现电网需求侧资源动态聚类,应用该方法聚类不同场景电网需求侧资源时的日负荷率较低,聚类效果较好,可满足实际电力需求侧资源动态聚类工作的需要。

基于融合改进K-means聚类算法的数据检测技术

针对现有医疗财务数据分析系统平台老旧,采用传统K-means算法进行数据处理时性能较差的问题,文中设计了一种财务异常数据检测算法。对于传统K-means算法存在的分类效果不佳、运行效率偏低等不足,该算法结合密度峰值法对样本点的局部密度和高密度距离进行计算,进而优化簇中心的选择。同时融合PCA降维算法减少了数据的冗余信息,进一步提高了运行效率。通过引入LOF离群检测算法对分簇后的数据进行检测,从而得到异常数据结果。实验测试中,所提算法在人工数据集上的平均ARI指标为0.844,真实数据集的准确率则达到了79.2%,在所有对比算法中均为最优,表明该算法具有良好的性能,可以对财务异常数据进行准确地检测。

基于K-means聚类的多种群麻雀搜索算法

为改善麻雀搜索算法(SSA)在单种群搜索中收敛速度过快导致其收敛速度出现冗余,易忽略优质解而陷入局部最优的缺陷,提出一种基于K-means聚类的多种群麻雀搜索算法(KSSA)。将多种群机制引入SSA,减弱单种群的收敛能力,并减小陷入局部最优的概率;采用K-means聚类划分子种群,增加子种群间的差异性,同时使子种群内个体在小范围内专注搜索,提升前期搜索效率;借助加权重心交流策略改善种群间交流的质量,减少自身种群的干扰,同时消减因某一子种群陷入局部最优而导致所有子种群陷入局部最优的风险;引入动态反向学习到警戒者中,增强其反捕食行为,改善因子种群数量增加而带来的收敛速度变慢和收敛精度不足的缺陷。经测试函数仿真实验表明:较SSA等算法,KSSA具有更优的寻优性能。

基于K-means聚类算法的洁净厂房无线网络AP布局优化设计

基于K-means聚类算法,将无线网络使用点作为聚类对象进行聚类计算,输出不同聚类簇下的AP布局点,并通过检测优化前后相同使用点的无线网络信号强度评估优化效果。在使用相同AP数量的情况下,优化后的布局方案使用点的平均信号强度能明显提升。同时如果要增加AP数量以提高所有使用点的信号强度,该算法也给出了较好的指导方案。该算法可以给出提高洁净厂房无线网络使用点信号强度的AP布局优化设计方案。

融合异常检测与区域分割的高效K-means聚类算法

传统K-means及其众多改进算法缺乏显式处理异常样本的能力,导致其聚类性能容易受到异常样本的影响。针对此问题,提出一种融合异常检测与区域分割的高效K-means聚类算法。首先,通过构建统一聚类模型,形成异常检测与聚类之间的交互协同,以提高聚类性能。其次,利用近邻簇搜索技术对各类簇进行自适应的区域分割,以减少冗余计算,提高算法执行效率。最后,为验证所提方法的有效性,在多个合成数据集和真实数据集上分别进行测试。实验结果表明:所提算法聚类性能和执行效率优于其他算法;在添加10%异常样本的Wine数据集上准确度可达0.911。

基于优化K-means算法的高校成绩聚类分析研究

针对经典K均值算法在聚类中心易受异常值影响,导致聚类结果不稳定的问题,提出基于样本分布密度的优化K-means算法,以提高聚类稳定性和准确性;聚类后通过CH指数和分类区间占比总体两种方法,客观评价3种离散化方法,结果表明,优化的K-means算法避免了区间分类不合理现象,更加准确地反映了成绩样本的分布特点。