融合关联规则Apriori和Weighted-Slope One算法的模型研究

针对于Slope One算法不精确不具有解释性的缺点提出了一种融合关联规则Apriori和WeightedSlope One的算法模型。利用关联挖掘Apriori找出互相关联的物品集大大提高了Slope One算法的推荐精度。融合后的AW-Slope One的算法在Movielens数据集上的对比实验结果表明,在数据集稀疏以及邻居数目较少的情况下,平均绝对误差(MAE)大大降低。

改进加权方法的告警关联分析算法

以往告警关联分析算法中将告警重要性视为相同,为区分不同告警的重要性差异,以及告警中包含信息量的差异性,提出一种改进加权方法的告警关联分析算法。首先将告警信息中有关告警重要性的属性量化,并使用极端梯度提升(XGBoost:eXtreme Gradient Boosting)集成学习模型训练,得到告警属性的权重值,并对告警数据赋予权重;然后,将网络拓扑数据加入滑动窗口中,改进传统滑动窗口划分事务存在的问题,改进后的滑动窗口划分的事务集更加真实可靠;最终将加权后的告警事务集使用加权FP-Growth(Frequent Pattern Growth)算法挖掘频繁告警和关联规则。通过实验验证了该改进加权方法的告警关联分析算法在挖掘频繁告警、重要关联规则和时间上都有很好的性能。

基于改进序列模式挖掘算法的告警关联模型

在电力故障发生时,会产生大量的电力故障告警信息数据,如何从电力故障告警信息中挖掘出可靠的关联规则,对后续电力的调度运维有着重要的影响。广义序列模式(Generalized Sequential Pattern,GSP)算法通过增加时间上的约束条件提高算法的效率,适合应用于电力故障告警信息挖掘的场景。针对GSP算法中的关键参数多和不同的参数组合影响算法的准确性和可靠性的问题,将遗传算法与GSP算法相结合,自适应地得到一组较好的参数,将参数代入GSP算法,从而得到更加可靠的关联规则,以此来解决在电力故障告警信息应用中很难为不同的数据集找到合适的参数组合的问题。通过实例验证,电力故障告警信息数据应用遗传算法结合GSP算法能够有效地得到更加准确和可靠的计算结果。

Web日志挖掘中的用户序列模式识别

为研究W eb日志挖掘中的序列模式识别问题,针对传统关联规则算法中阈值固定不变,大序列的数目与序列长度成反向增长的问题,对传统的关联规则算法进行改进,提出IAx算法,使长序列只需较小的支持度技术就能达到阈值,从而发现更多有意义的序列模式,同时运用理论证明该方法的正确性.

基于加权频繁模式树的通信网络告警规则挖掘方法

传统通信网络告警处理方法主要由维护专家依据经验判断形成处理规则并固化在网络告警系统中进行实现,然而该人工维护方式难以适应海量数据环境下实时通信告警规则的处理需求。为此,提出一种基于加权频繁模式树(WFP-tree)算法的告警规则自动挖掘方法,将原始告警数据按时间窗口方式进行分段处理,通过BP神经网络、支持向量机、层次分析法生成告警设备的权重信息,并采用WFP-tree算法自动挖掘加权频繁项集。实验结果表明,与传统Apriori和FP-growth算法相比,WFP-tree算法在通信网络告警分析方面具有更好的频繁项压缩效果及更强的重要关联规则发现能力。

NPSP:一种高效的序列模式增量挖掘算法

提出了一种称为"异构树"的数据结构,采用一套编号规则对异构树的分支进行编号,使具有相同编号的分支代表相同的候选序列,编号不同的分支代表不同的候选序列,极大地简化了候选集计数过程.在此基础上提出了具有增量挖掘功能的序列模式高效挖掘算法NPSP,并从理论分析和实验两方面证明了其挖掘结果集的完备性和算法的高效性.

一种基于改进的AprioriAll算法的Web路径模式挖掘

对路径模式挖掘的原理做了详细的阐述,并且针对挖掘对象的特性,对AprioriAll算法中生成侯选序列的函数做了相应的改进。最后通过实例说明了改进的AprioriAll算法在路径模式挖掘中的有效性。

一种面向入侵检测的数据挖掘算法研究

为提高入侵检测的精确性和有效性,通过对基本序列模式挖掘算法(Aprior算法)的分析,针对其缺点并结合入侵检测数据的特殊性,设计了改进的Aprior算法用于序列模式挖掘算法,算法将数据属性分成多个等级,侧重于多属性的序列模式挖掘,算法首先寻找高频轴属性值事件,再迭代降低支持度并增加新的低频轴属性值,用于比较长的频繁项集。同时以网络数据和日志文件数据为实验基础,从算法的精确性和适应性方面进行了比较。

重用最大频繁模式的可持续进化算法

为了重用进化过程中沉淀在优秀个体集中的信息,设计了最大频繁序列模式挖掘算法,并在其基础上提出了重用最大频繁模式的可持续进化算法(MFPEA).该算法设置了多个不同层次的种群为不同适应度水平的个体提供生存空间,采用最大频繁序列模式挖掘算法挖掘种群中的优良基因,并将具有优良基因模块的新个体注入到不同适应度水平的种群中.文中还设计了针对不同问题动态调整进化种群规模的函数,通过一组统计数据研究了平衡计算时间与进化质量的相关参数.实验结果表明,MFPEA在维持遗传信息稳定性、避免早熟收敛方面表现良好,且获得了xit1083问题的新最优解记录(3611.496).

一种序列模式的概念及挖掘算法

介绍了一种时间序列模式的形式和概念 ,讨论了其相关的挖掘算法 .将时间序列模式既用于具有时间关系的购买行为的分析 ,以揭示购买行为后面一种序列关系信息 ,又用于其他有时间关联的事件分析 .挖掘算法由以下几部分构成 :建立频繁物品集 ,进行数据处理和转换 ,并生成候选子序列 ,通过验证后 ,得到长度为 2 ,3 ,…的序列集合 ,从中选出独立最大序列即为所求 .通过实例指出了该算法和传统的Aprioriall算法的不同之处 .结果表明 ,这种序列模式在网络通信。

基于BIDE的多核并行闭合序列模式挖掘

基于经典的BIDE算法,提出一种多核并行闭合序列模式挖掘算法——MT_BIDE。该算法在频繁序列扩展判断前进行剪枝,在扩展过程中动态调整频繁序列及其伪投影数据集,平衡不同线程间挖掘闭合序列模式的计算量差异。实验结果表明,该算法具有较高的运行效率和加速比。

基于加权序列模式的推荐算法研究

由于考虑了用户的访问顺序,基于序列模式的推荐方法正在成为推荐系统研究的热点之一。为提高推荐结果的个性化程度,提出了一种基于加权序列模式的推荐算法PRWSP。首先,给出了新的加权序列模式模型,该模型在设置权重时充分考虑了项目在不同序列中的不同重要程度。其次,通过近似估计序列权重的方式,论证了挖掘加权序列模式时同样满足反单调性,从而约简了搜索空间。最后,定义了序列模式匹配程度的度量标准。实验结果表明,PRWSP算法具有较高的挖掘效率和推荐精度。

基于最大频繁项目序列集挖掘DMFIA算法的改进

为了有效地解决客户序列视图数据库的数据挖掘问题,借鉴了关联规则挖掘最大频繁项目集DMFIA算法的相关思想。详细阐述了该算法,针对原算法不能有效地解决客户序列视图数据库的数据挖掘这一问题,在原算法的基础上结合序列模式提出了改进的DMFIA算法,并在原算法的基础上有了较大的改进。为了验证算法的正确性,运用Ora-cle9i数据库的PL/SQL进行了相应的验证。实验结果证实了改进算法的有效性和实用性,并具有较好的创新性和理论价值。

攻击案例综合学习系统研究

随着入侵检测系统在安全领域的广泛应用,入侵报警学习和分析已经成为一个研究热点。针对目前入侵报警泛滥和知识贫乏等问题,设计了一个完整的攻击案例学习系统框架。该学习系统分为两个阶段:入侵报警精简和典型攻击案例挖掘。前者利用改进的密度聚类方法实现相似报警聚合以及报警聚类的自动精简表示,后者利用序列模式挖掘方法挖掘频繁入侵事件序列。进一步提出一种基于入侵执行顺序约束关系的攻击案例评估算法实现典型攻击案例的自动筛选。最后,利用真实入侵报警数据测试了该攻击案例学习系统,结果表明该系统能够实现高效报警精简和典型攻击案例的准确学习。

序列模式挖掘的两种典型算法及比较

序列模式挖掘是数据挖掘的重要分支,GSP算法与PSP算法是序列模式挖掘中的两种典型算法。本文介绍了这两种算法并对其进行了分析与比较。

基于完井业务流程的加权序列模式挖掘算法研究

针对完井移动平台Web访问模式中用户对整体上符合完井业务流程习惯的序列模式更加感兴趣的特点,提出一种基于完井业务流程的加权序列模式挖掘算法。通过对完井业务流程模型和完井Web访问日志作分析,确定完井业务依赖强度计算模型并作为序列的权重,同时在加权挖掘的过程中采用k-最小加权支持数技术,对PrefixSpan算法进行改进。该算法在加权挖掘的过程中可以舍弃一大批不满足业务流程的访问序列,有效地避免候选组合爆炸的发生。实验表明该算法能快速地挖掘出有意义的完井访问序列模式。

序列模式挖掘在网格调度优化中的应用

提出了一种基于数据挖掘的网格调度优化方法,其思想是通过将网格监控信息转化为时序数据库,对其进行多维序列模式挖掘以获得用户行为模式,利用挖掘结果构造优化逻辑,并使用这些信息对网格调度过程进行优化.

基于改进GSP算法的软件故障诊断研究

提出了基于软件运行序列和改进序列模式挖掘GSP算法进行软件故障诊断的方法。首先利用软件黑匣子进行软件运行序列的提取,然后通过改进的GSP算法进行软件故障诊断定位。实例分析结果表明,该方法能有效地挖掘隐藏在软件运行序列中的信息,实现软件故障诊断。

序列模式数据挖掘算法的并行化研究

序列模式在许多领域都有着重要的应用,大量的数据和模式需要高效的、可扩展的并行算法。针对目前序列模式挖掘算法存在的普遍问题,在对串行序列模式数据挖掘算法研究的基础上,本文提出了一种并行的序列模式数据挖掘算法。通过理论分析与实验验证可知:该并行数据挖掘算法,在海量数据的情形下,能很好地提高数据挖掘的效率。

基于MapReduce的序列模式挖掘算法

针对传统GSP算法需要多次扫描数据库、I/O开销巨大的缺点,提出了一种基于MapReduce编程框架的序列模式挖掘算法MR-GSP(GSP algorithm based on MapReduce)。MR-GSP算法将原序列数据库划分为多个子序列数据库并分发到多个Map节点,Map函数扫描存放在Map节点内存中的子序列数据库,产生局部序列模式,Reduce函数对所有局部序列模式合并,扫描原序列数据库,计算局部序列模式的支持度,得到最终的序列模式。相比于传统GSP算法,MR-GSP算法只需扫描两次原始数据库即可得到所有序列模式。实验结果表明,MRGSP算法在对大数据集进行序列模式挖掘时,可充分利用云计算技术的优势,提高挖掘效率。