SWFP-Miner： an efficient algorithm for mining weighted frequent pattern over data streams

Previous weighted frequent pattern （WFP） mining algorithms are not suitable for data streams for they need multiple database scans. In this paper, we present an efficient algorithm SWFP-Miner to mine weighted frequent pattern over data streams. SWFP-Miner is based on sliding window and can discover important frequent pattern from the recent data. A new refined weight definition is proposed to keep the downward closure property, and two pruning strategies are presented to prune the weighted infrequent pattern. Experimental studies are performed to evaluate the effectiveness and efficiency of SWFP-Miner.

融合关联规则Apriori和Weighted-Slope One算法的模型研究

针对于Slope One算法不精确不具有解释性的缺点提出了一种融合关联规则Apriori和WeightedSlope One的算法模型。利用关联挖掘Apriori找出互相关联的物品集大大提高了Slope One算法的推荐精度。融合后的AW-Slope One的算法在Movielens数据集上的对比实验结果表明,在数据集稀疏以及邻居数目较少的情况下,平均绝对误差(MAE)大大降低。

基于改进FP-growth算法的食品风险因素关联分析方法

为解决传统食品安全监督抽检“随机抽”模式存在的抽检决策主观性强、靶向性不高的问题,本研究提出一种基于改进Frequent Pattern-growth(FP-growth)算法的食品风险因素关联分析方法。首先,采用熵权法分别对食品种类的风险指标进行权重分配,以计算出不同食品种类的风险指数。其次,以风险指数为特征,基于小批量K均值算法(MiniBatchKmeans)进行风险聚类,得到食品的风险等级。最后,采用带约束的改进FP-growth算法进行食品风险因素关联规则挖掘,挖掘食品风险等级与食品种类、时间、地域属性信息之间的关联关系,并对挖掘出的结果进行关联分析,从而为精准靶向引导抽检决策提供指导。本研究依托2019年中国某些地区的食品抽检数据进行分析,对其进行指标赋权,计算风险指数;后经过风险聚类为低风险、中风险和高风险;最后,将数据导入改进FPgrowth算法,得到食品风险因素关联规则。通过对比实验得到结果:对于17214条抽检数据,本研究提出的改进FP-growth算法相较于Apriori算法运行时间短;相较于传统FP-growth算法,删除了无效规则,提高了对食品风险因素关联规则的分析效率,从而为食品监管部门抽检工作提供了准确、高效的决策依据。

基于频繁路径挖掘的数据序列化方法储存系统

为实现不同结构类型数据的统一储存,设计一种基于频繁路径挖掘的数据序列化方法储存系统。系统设计分为三个模块,在数据挖掘模块中,利用频繁序列挖掘中的PrefixSpan算法,实施多种数据结构下的数据挖掘。在数据序列化处理模块中,通过嵌套型JSON数据优化算法实施数据序列化处理与反序列化处理,实现数据的统一存储或传输。在序列化储存模块设计中,基于算子权值设计缓存序列化储存策略,挑选有缓存价值的序列来储存,实现数据序列化储存模块的设计。测试结果表明,该系统的储存能力强,平均序列化处理延时低于4000 ms,IOPS大于350个。

一种改进的加权关联规则挖掘方法

考虑属性数量和属性权值对关联规则的影响,提出一种新的加权支持度和加权置信度计算方法,在挖掘加权关联规则时通过改进加权支持度设置模型保持Apriori算法的频繁集向下封闭特性。与Apriori算法和水平加权关联规则挖掘方法的比较结果证明该方法能快速有效地挖掘重要的关联规则。

基于加权余弦相似度的XML文档聚类研究

在实际应用中,XML(eXtensible Markup Language)文档中的一些结构经常被改变。为了挖掘XML文档在历史变化过程中经常改变的结构所蕴含的知识,提出了发现频繁变化结构的方法。该方法用一组频繁变化结构组成的文档向量模型代表一个XML文档,将频繁变化结构在簇中的出现比例作为权值,使用加权余弦相似度对XML文档进行聚类。经过实验分析,根据XML文档历史变化过程中的频繁变化结构能较好地将XML文档进行聚类。用加权余弦相似度对XML文档进行聚类,其聚类结果的正确率、召回率和簇内部距离均优于使用非加权余弦相似度对XML文档进行聚类得到的结果。

基于加权频繁模式树的通信网络告警规则挖掘方法

传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则自动挖掘方法,将原始告警数据按时间窗口方式进行分段处理,通过BP神经网络、支持向量机、层次分析法生成告警设备的权重信息,并采用WFP-tree算法自动挖掘加权频繁项集。实验结果表明,与传统Apriori和FP-growth算法相比,WFP-tree算法在通信网络告警分析方面具有更好的频繁项压缩效果及更强的重要关联规则发现能力。

加权最大频繁子图挖掘算法的研究

如何从大量的图中挖掘出令人感兴趣的子图模式已经成为数据挖掘领域研究的热点之一。传统的频繁子图挖掘方法对满足最小支持度阈值的子图同等对待,但在真实数据库中不同的子图往往具有不同的重要程度。为解决上述问题,提出了一种深度优先的挖掘加权最大频繁子图的新算法。首先给出了一种新的用于计算图的邻接矩阵规范编码的结点排序策略,大大降低了求图规范编码的复杂度,并可以加速子图规范编码匹配的速度。其次,给出了加权最大频繁子图的定义,不仅可以找出较为重要的最大频繁子图,而且可以使挖掘结果同样具有反单调性,从而可加速剪枝。实验结果表明,提出的算法不仅可以有效地减少挖掘结果的数量,而且具有较高的效率。

一种加权时态关联规则挖掘算法

许多现实数据库都存在时态语义问题,因此在挖掘关联规则时附加上时态约束会使规则更具有实际意义。但目前提出的大多数时态关联规则挖掘算法,一般都认为每个数据项的重要性相同,而从决策者角度出发,往往会优先考虑利润较高的项目。提出了一种加权时态关联规则挖掘算法,以项目的生命周期作为时间特征,允许用户设定不同的项目权重。实验结果证明,该算法不仅能有效地发现加权时态关联规则,而且挖掘出的规则更有价值。

基于加权频繁项集的文本分类规则挖掘

针对特征向量分量的权重和文本大小对分类规则产生的影响,提出一种可以提高关联文本分类性能的文本分类规则挖掘方法,提出了加权频繁项集的概念和相应的加权频繁项集挖掘算法,在分类规则中突出特征向量权重大的向量分量;提出一种特征向量预处理方法,消除文本大小对挖掘分类规则的影响。实验表明,解决上述两个问题将可以很好的提高文本分类的性能。

一种改进的加权频繁项集挖掘算法

FP-growth算法是挖掘频繁项集的经典算法,它利用FP-树这种紧凑的数据结构存储事务数据库与频繁项集挖掘相关的全部信息,但对于挖掘加权频繁项集并不合适。分析了现有加权频繁项集挖掘算法中存在的问题,并对FP-树进行改进,构造新的加权FP-树,提出了有效挖掘加权频繁项集的算法。最后举例说明了算法的挖掘过程,并通过实验验证了算法的有效性。

改进的频繁词集短文本特征扩展方法

针对短文本结构短小、语义不足、难以建模的特点,提出一种利用改进频繁词集进行短文本特征扩展的方法。通过计算单词集的支持度和置信度,挖掘出具有共现关系和类别同向关系的频繁二元词集,并在挖掘出的频繁词集基础上定义关联关系对所选词集进一步扩充。同时,在TF-IDF的基础上引入词语信息增益表示词语在文本集合中的类别分布信息,以加强词语权重。由频繁词集通过改进后的词语权重构造出词语相似性矩阵,利用非负矩阵分解技术将其扩展至短文本特征空间,从而得到短文本模型。实验结果表明,该方法构造的短文本模型能显著提升短文本的聚类性能。

基于加权的无线传感器网络优化覆盖算法

针对无线传感器网络探测网络环境的自适应休眠算法(Probing Environment and Adaptive Sleeping,PEAS)在节点调度过程中,存在节点能耗不均衡、网络的生命周期较短的问题,提出一种基于加权的优化覆盖算法。该算法对最小频繁项的目标所对应的传感节点按能量高低进行划分集合,使各集合能够独立覆盖最小频繁项的目标,以达到局部的优化。考虑到传感节点覆盖目标数和剩余能量对无线传感网络生存周期的影响,对边缘未覆盖的目标节点采用加权的方式进行覆盖。仿真结果表明:该算法能够均衡网络节点的能耗,有效地延长了网络的生命周期。

基于加权频繁子树相似度的网页评论信息抽取

针对现有网页信息抽取方法普遍存在人工耗时大、抽取准确率低等问题,提出了一种基于加权频繁子树相似度的网页评论信息抽取方法 WTS。首先通过视觉特征对网页进行剪枝处理;然后,通过深度加权的相似度度量方法抽取最佳频繁子树;最后,通过子树对齐方法抽取评论路径并解析评论内容。通过对京东、苏宁等网站的评论内容抽取实验,验证了WTS方法比D-EEM、POL等方法在抽取产品评论信息上具有一定的优势。

一种利用差集的加权频繁项集挖掘算法

挖掘加权频繁项集是多种数据挖掘应用中的关键问题,为提高传统加权频繁项集挖掘算法的性能,在研究概念格模型和差集Diffsets理论的基础上,构建一种利用差集的加权频繁项集格结构,该格结构通过差集性质快速计算加权支持度,满足向下封闭特性,更有利于高效生成加权频繁项集.最后给出了相应的FWIL-Diffsets构造算法,该算法仅对数据库进行一次扫描,通过性质定理有效减少项集生成中的计算量.研究结果表明:该方法能显著提高生成加权频繁项集的效率.

一种挖掘加权频繁项集的改进算法

分析了New-Apriori和MWFI(Mining Weighted Frequent Itemsets)算法之不足,提出了一种挖掘加权频繁项集的New-MWFI算法。该算法按属性的权值对事务进行分类,并依次求出每个类别内的加权频繁项集。由于每个类别内的频繁项集满足Apriori性质,因而可以利用Apriori算法或其他改进算法进行挖掘,从而克服了原来算法的不合理和效率低下的缺陷。实验表明该算法能更有效地从数据集中挖掘出加权频繁项集。

通信网告警加权关联规则挖掘算法的研究

关联规则挖掘算法是通信网告警相关性分析中的重要方法。在处理数量庞大的告警数据库时,算法的效率显得至关重要,而经典的FP-growth算法会产生大量的条件模式树,加权算法MINWAL(O)则需要多次扫描数据库,使得在通信网环境下挖掘关联规则的难度非常大。该文提出了一种高效的基于加权频繁模式树的通信网告警关联规则挖掘算法,算法性能测试表明,该算法与已有的加权关联规则挖掘算法相比较,节约了大量的存储空间,提高了算法的挖掘速度,对通信网的故障诊断和故障定位有着积极的意义。

基于项权值变化的完全加权正负关联规则挖掘

本文提出一种基于项权值变化的完全加权正负关联规则挖掘算法,解决了基于项权值变化的负模式挖掘问题.该算法考虑项权值依赖于事务记录的特点,采用新的项集剪枝方法和模式评价框架,通过项集的项内权值比和维数比的简单计算和比较,挖掘有效的完全加权正负关联规则.实验结果表明,与现有无加权正负关联规则挖掘算法比较,本文算法能避免无效的模式出现,其挖掘时间和候选项集数量明显减少,减幅最大分别可达94.09%和88.16%.

加权关联规则研究及其在个性化推荐系统中的应用

传统的关联规则挖掘没有考虑各项目的重要程度,因此实际过程中缺乏一定的针对性.在New-Apriori算法的加权支持度基础上结合Fp-growth算法思想,提出了基于Fp-树的加权关联规则算法,并给出了关联规则的个性化推荐的一般过程.利用Web日志文件采用网页被用户选择的频率作为权重值,实现了个性化推荐系统的算法.实验结果表明该算法具有较高的准确性和效率.

基于项权值变化的矩阵加权关联规则挖掘

提出一种矩阵加权关联模式支持度计算方法及其相关定理,给出矩阵加权项集剪枝策略,基于该剪枝策略提出一种基于项权值变化的矩阵加权关联规则挖掘算法MWAR-Miner(matrix-weighted association rules-miner)。该算法克服现有的项无加权和项权值固定条件下挖掘关联规则的缺陷,采用新的剪枝技术和模式支持度计算方法挖掘有效的矩阵加权关联规则,避免无效的和无趣的模式产生。以中文数据集CWT200g和英文数据集NTCIR-5为实验数据,理论分析和实验结果表明,与现有矩阵加权模式挖掘算法和基于无加权的挖掘算法比较,该算法挖掘的候选项集数量和挖掘时间明显减少,挖掘效率得到极大提高。