改进的k-prototypes算法及应用

文中提出了一种改进的k-prototypes算法,该算法可以解决具有数值和分类混合类型数据的聚类问题,将它应用于对某高校网站的Web服务器日志进行数据分析,发现有意义的信息,建立规则库,并验证了算法的有效性。

改进的K-prototypes算法在农民工养老参保中的应用研究

农民工养老问题一直备受社会关注。许多学者对该问题展开了调研,并采用Logistic回归模型来分析调研结果。但是,Logistic回归模型要避免变量间的多元共线性。农民工养老保险参保调研数据各变量之间往往存在关联性,而且数据维度高。针对Logistic回归模型的局限性和调研数据维度高的问题,本文改进了K-prototypes聚类算法,并用于分析农民工未购买养老保险的原因。基于该方法得到的分析结果可以为相关部门制定针对性政策提供参考。

基于改进k-prototypes算法的Web日志分析系统的设计与实现

设计了一个基于改进k-prototypes算法的Web日志分析系统,结合学校网站采集的数据针对相关技术算法进行了应用及分析。

模糊K-Prototypes算法中的加权指数研究

模糊K Prototypes(FKP)算法融合了K Means和K Modes对数值型和符号型数据的处理方法,适合于混合类型数据的聚类分析。同时,模糊技术使得FKP适合于处理含有噪声和缺少数据的数据库。但是,在使用FCM(FuzzyC Meansalgorithm)或FKP算法时,如何选取加权指数α仍是悬而未决的问题。许多研究者基于他们的实验结果给出FCM中的最佳加权指数可能位于区间 [1. 5,2. 5],本文则提出了一个FKP中加权指数的探寻算法。在多个实际数据集上的实验结果表明,为进行有效的聚类,FKP中加权指数应该小于 1. 5。

基于在线梯度下降的Mini Batch K-Prototypes算法

K-Prototypes算法每次迭代都需要花费大量时间来计算所有样本与每个簇中心的相异度以将其划分到各个聚类簇中,这导致K-Prototypes算法在处理大型数据集时运行时间急剧增加。根据在线梯度下降算法对K-Prototypes算法的迭代过程进行优化,减少算法每次迭代所需的计算量从而降低算法的时间复杂度,提升算法运行效率。实验结果表明,提出的基于在线梯度下降的K-Prototypes聚类算法,可以在不影响算法收敛性和有效性的前提下降低算法的时间复杂度,提升算法运行效率。

基于分布式的K-prototypes算法设计

聚类算法已经在很多领域有着广泛的应用,对于大多数的数据集,其中的属性不完全是数值型的,这就给聚类带来了困难。K-Prototypes算法的出现,解决了混合型属性聚类的困难,但其计算重复繁琐,给编程人员带来了大量的困难。Hadoop分布式系统的出现,给编写并行化的K-Prototypes算法提供了可能,这就能提高程序的并行化从而大幅度提高程序的效率。文章正是在此技术前提下,设计的并行化程序。

基于K-prototypes的混合属性数据聚类算法改进

属性数据分为数值型数据和分类型数据,一般情况下对于数值型数据运算前要进行标准化处理,但是对于数值型数据差异大的数据,由于大数掩盖小数的影响,按照K-prototypes聚类算法,数值型数据标准化后而且不对相应的分类数据有任何预处理或者在计算时没有进行任何改变,很可能提高分类数据在聚类中的影响,并且分类型数据并未进一步地细分,不能满足不同要求的混合属性聚类。该文在将数值型数据标准化的基础上,将分类数据细分为二元数据和类型数据,并用相异度系数距离计算分类数据之间的距离,并且赋予二元和类型数据相应的权重,来改进K-prototypes聚类算法,使该算法满足不同要求的混合属性数据聚类,最后通过C#语言,在ArcEngine2010版本上实现。

基于K-prototypes的混合属性数据聚类算法

通过对基于K-prototypes算法对混合属性数据处理的聚类问题进行研究,改进了K-prototypes算法中分类属性相异度计算公式,使之能更加精确反映样本间的差异;在此基础上提出了一种用于处理混合属性数据的聚类算法,并将改进后的算法应用于英语借词数据的聚类分析中。实验结果表明,与K-prototypes算法相比,改进后的算法具有更好的稳定性和更高的精度。

基于平均差异度的改进k-prototypes聚类算法

针对k-prototypes聚类算法随机选取初始聚类中心导致聚类结果不稳定,以及现有的大多数混合属性数据聚类算法聚类质量不高等问题,提出了基于平均差异度的改进k-prototypes聚类算法.通过利用平均差异度选取初始聚类中心,避免了初始聚类中心点选取的随机性,同时利用信息熵确定数值数据的属性权重,并对分类属性度量公式进行改进,给出了一种混合属性数据度量公式.结果表明,改进后的算法具有较高的准确率,能够有效处理混合属性数据.

量子遗传算法的模糊K-prototypes聚类

聚类分析是数据挖掘中应用最多的一种技术,它在许多领域都有重要应用。模糊h-prototypes算法是当前聚类分析中最有效算法之一,但是存在对初始值敏感、容易陷入局部极小值的问题。为了克服该缺点,提出了一种基于量子遗传算法和FKP算法的混合聚类算法,首先利用量子遗传算法确定FKP的初始聚类中心,再将量子遗传算法聚类结果作为后续FKP算法的初始值。实验结果显示,算法具有良好的收敛性和稳定性,聚类效果优于单一使用FKP算法和相关改进的算法。

基于信息增益的模糊K-prototypes聚类算法

K-prototypes聚类算法结合了K-means算法和K-modes算法,可用于分析混合属性的数据对象。传统的K-prototypes聚类算法在计算数据对象的相异度时,未考虑各个属性对于最终聚类结果的影响程度,而现实世界中,各属性的重要程度是不同的。使用了信息论中信息增益的计算方法,来获得各个属性的权值。在计算各属性的差异度时,乘以这些权值,从而可以获得更为准确的聚类结果。为了增加算法处理模糊问题的能力,本算法引用了模糊理论,从而使其具有较好的抗干扰能力和处理不确定性问题的能力。通过对四个UCI数据集的聚类分析实验,表明了本算法的有效性。

一种与k-prototypes混合的蚁群聚类算法的浅探

本文介于k-prototypes和蚁群聚类算法的优、缺点,将两种算法进行改进后,交替使用,相互弥补、扬长避短,形成一种全新的算法,既缩短了聚类时间也能形成高效的聚类结果。

数值型和分类型混合数据的模糊K-Prototypes聚类算法(英文)

由于数据库经常同时包含数值型和分类型的属性 ,因此研究能够处理混合型数据的聚类算法无疑是很重要的 .讨论了混合型数据的聚类问题 ,提出了一种模糊 K- prototypes算法 .该算法融合了 K- means和 K- modes对数值型和分类型数据的处理方法 ,能够处理混合类型的数据 .模糊技术体现聚类的边界特征 ,更适合处理含有噪声和缺失数据的数据库 .实验结果显示 。

模糊k-prototypes聚类算法的一种改进算法

模糊k-prototypes算法是当前聚类分析中最有效算法之一.简述了模糊k-prototypes算法的发展进程和主要性质;并在此基础上,指出它在处理数值型和分类型混合数据时的不足,进而提出一种改进算法;最后,将算法应用到英语借词之中,给出计算结果.结果表明,改进算法具有较好的稳定性和较高的精确度.

一种增强的K-prototypes混合数据聚类算法

针对K-prototypes算法处理混合数据时精度不高等问题,提出了一种增强的K-prototypes混合数据聚类算法(An Enhanced K-prototypes Mixed Data Clustering Algorithm,EKPCA).首先定义了一种新的距离计算公式,扩大了数据之间的差异性,有利于对簇边缘数据进行合理划分;其次选取较多初始原型来覆盖数据的整体信息;最后迭代消去多余原型,得到数据集的真实分类.在8个UCI数据集上对算法进行评测,实验结果表明EKPCA算法有较高聚类精度.

结构化模糊K-prototypes聚类算法

尽管综合了K-means和K-modes的K-prototypes算法已能有效地处理符号数据,但用聚类中的符号模(modes)来表示聚类中的数据均值将引起大量的信息丢失。为此,本文提出了一种适合于混合类型数据的结构化模糊K-prototypes算法(SFKP),在不增加时空开销的情况下提高聚类能力。实际数据集上的实验结果显示,SFKP算法能够进行更加有效的聚类。

基于K-Prototypes聚类算法的股票分析师行为划分

股票分析师作为信息中介,通过发布研报的形式提供股票内在投资价值的信息,其行为越发受到广大投资者的关注。由于股票分析师数量众多、研报风格迥异、质量良莠不齐,投资者缺乏相关知识经验难以去选择适合自身偏好的分析师研报。本文利用K-prototypes聚类算法分析具有混合属性的股票分析师行为数据,解决了股票分析师群体数据量大且分散的特性。通过刻画不同股票分析师群体的特征,帮助投资者了解分析师群体获取更多有价值的数据信息,进行理性投资降低投资风险,同时其结果为后续的多元分析提供数据基础。

数智时代情报分析中算法分类、演进及应用研究

[目的/意义]数智时代随着算法广泛应用于情报分析中,揭示当前情报分析中算法使用的现状不但能帮助情报学领域学者把握学术研究热点,还能指导更多研究者更好地利用算法来解决情报分析过程中的实际问题。[方法/过程]重点梳理近10年情报学领域5本核心期刊与情报分析算法相关文献,尝试梳理数智时代应用于情报分析中的算法分类,并从算法演进、算法应用角度全方位展示这些算法的特征。[结果/结论]从演进来看,近10年情报学领域应用算法的论文持续上升,而LDA是情报分析中运用最多的算法,自2020年起BERT算法呈现出新生演进特征;从应用来看,突发事件下的网络舆情、专利分析等应用呈现出不断细化、继承演进的趋势;图书馆、图书情报、电子商务、物流信息等应用逐渐衰退,取而代之的是数字人文、智慧图书馆、颠覆性技术等。

国内外算法风险研究:框架、特征及展望

[目的/意义]随着ChatGPT的横空出世,算法应用越来越多地支配着人类的生活,算法黑箱、算法操控、算法共谋、算法偏见、算法歧视等风险也随之而来,这些风险严重影响社会稳定乃至国家安全。对全球算法风险的形势进行研判能够有助于防范与识别算法风险,并为应对全球算法风险治理难题提供中国智慧与构想。[方法/过程]通过系统梳理国内外主要数据库915条核心文献,构建基于“学科领域—研究主题—治理工具—治理措施”的算法风险研究框架,并分析算法风险具有学科的交叉性、复杂的交织性、突出的人为性、泛化的不确定性等特征。[结果/结论]从加强情报学学科对算法风险研究、加强对人工智能算法可解释性研究、加强算法应用向善和算法服务从善研究、加强对全球算法风险治理中国智慧与构想研究4个方面对算法风险研究问题进行展望。

k-center问题的算法研究综述

k-center问题是设施选址的基础问题,同样是NP难问题,在分配、紧急服务等领域也有着实际的应用。随着问题规模的扩大,原有的算法已不再适用,需要进一步优化或者改进。为了找到求解该问题的高效算法,对现有算法进行研究。对各类求解k-center问题的算法进行梳理,将求解算法划分为精确算法、启发式算法、元启发式算法、近似算法等,从算法原理、改进思路、性能和精度等方面进行对比综述。精确算法在求解小规模k-center问题时可在多项式时间内得到最优解,但是算法效率低,不适用于大规模问题;启发式算法可以在多项式时间内给出相对最优解,但是没有理论保证,无法衡量与最优解的关系;元启发式算法可对目前存在的智能优化算法进行改进,给出相对最优解,但是解的质量无法保证;利用近似算法得到的解具有近似比保证,有较大的理论研究价值,但是实用价值较弱。目前求解k-center问题的元启发式算法已取得一定的研究成果,但是在求解时间、求解规模、算法效率等方面仍待突破,这将是未来k-center问题的研究重点。