基于情境感知和序列模式挖掘的气象学习资源推荐算法

随着互联网的快速发展,气象部门职工作为学习者可以获得的学习资源得到极大丰富。信息超载导致检索合适的在线学习资源时遇到了困难;学习者在不同学习环境和序列访问模式上也有不同的学习需求。但是,现有的推荐系统,如基于内容的推荐和协同过滤,没有结合学习者的情境和序列访问模式,推荐结果准确度不高。本文提出了一种结合情境感知、序列模式挖掘和协同过滤算法的混合推荐算法来为学习者推荐学习资源。混合推荐算法中,情境感知被用来整合学习者的情境信息,如知识水平和学习目标;序列模式挖掘被用来对网络日志进行挖掘,发现学习者的序列访问模式;协同过滤被用来根据学习者的情境数据和序列访问模式为目标学习者计算预测并生成建议。实验和应用效果表明,该混合推荐算法推荐的质量和准确性方面优于其他推荐算法。

高效的一次性弱间隙序列模式挖掘算法

间隙约束序列模式挖掘作为序列模式挖掘的一个重要分支,可以发现模式在序列中的重复出现。然而,当前研究主要针对单项序列进行挖掘,并且序列中每一项都被认为具有相同意义。为解决该问题,提出一次性弱间隙序列模式挖掘(OWP)算法,该算法由准备阶段、支持度计算和候选模式生成3个步骤组成。在准备阶段,建立倒排索引,并对不频繁的项进行剪枝;在支持度计算方面,利用倒排索引结构记录出现位置,避免对原始数据集的重复扫描;在候选模式生成方面,采用模式连接策略,减少冗余候选模式的生成。在项集序列和单项序列共6个真实数据集上的实验结果表明,OWP算法相比OWP-p、Ows-OWP和OWP-e算法在运行时间上分别提升了2.653、1.348、3.592倍,在内存消耗上分别减少了3.51%、0.07%、5%,说明OWP算法可以更高效地挖掘出用户感兴趣的模式。此外,OWP算法在以D1数据集为基础的6倍大小的数据集上的运行时间比D1数据集增长了3.763倍,内存消耗增长了2.310倍,运行时间和内存消耗的增加倍数均小于数据集大小的增加倍数,说明OWP算法具有良好的可扩展性。

一次性条件下top-k高平均效用序列模式挖掘算法

针对传统序列模式挖掘(SPM)不考虑模式重复性且忽略各项的效用(单价或利润)与模式长度对用户兴趣度影响的问题,提出一次性条件下top-k高平均效用序列模式挖掘(TOUP)算法。TOUP算法主要包括两个核心步骤:平均效用计算和候选模式生成。首先,提出基于各项出现位置与项重复关系数组的CSP(Calculation Support of Pattern)算法计算模式支持度,从而实现模式平均效用的快速计算;其次,采用项集扩展和序列扩展生成候选模式,并提出了最大平均效用上界,基于该上界实现对候选模式的有效剪枝。在5个真实数据集和1个合成数据集上的实验结果表明,相较于TOUP-dfs和HAOP-ms算法,TOUP算法的候选模式数分别降低了38.5%~99.8%和0.9%~77.6%;运行时间分别降低了33.6%~97.1%和57.9%~97.2%。TOUP的算法性能更优,能更高效地挖掘用户感兴趣的模式。

具有周期间隙约束的负序列模式挖掘

间隙约束的序列模式挖掘是一种特殊形式的序列模式挖掘方法,该方法能够揭示一定间隔下的频繁出现(发生)的子序列。但当前间隙约束的序列模式挖掘方法只关注正序列模式的挖掘,忽略了事件中的缺失行为。为解决该问题,探索了周期间隙约束的负序列模式(Negative Sequential Pattern with Periodic Gap Constraints,NSPG)挖掘方法,该方法能够更灵活地反映元素与元素之间的关系。为高效求解NSPG挖掘问题,提出了NSPG-INtree(Incomplete Nettrees)算法,该算法主要包括两个步骤:候选模式生成和支持度计算。在候选模式生成方面,为了减少候选模式的数量,该算法采用模式连接策略;在支持度计算方面,为了提高模式支持度计算效率并减少空间消耗,该算法采用不完整网树结构计算模式支持度。实验结果表明,NSPG-INtree算法不仅具有较高的挖掘效率,而且能同时挖掘间隙约束的正序列模式和负序列模式。与其他间隙约束的序列模式挖掘算法相比,NSPG-INtree能够多发现209%~352%的模式;与不同策略的对比算法相比,NSPG-INtree能够缩短6%~38%的运行时间。

基于改进序列模式挖掘算法的告警关联模型

在电力故障发生时,会产生大量的电力故障告警信息数据,如何从电力故障告警信息中挖掘出可靠的关联规则,对后续电力的调度运维有着重要的影响。广义序列模式(Generalized Sequential Pattern,GSP)算法通过增加时间上的约束条件提高算法的效率,适合应用于电力故障告警信息挖掘的场景。针对GSP算法中的关键参数多和不同的参数组合影响算法的准确性和可靠性的问题,将遗传算法与GSP算法相结合,自适应地得到一组较好的参数,将参数代入GSP算法,从而得到更加可靠的关联规则,以此来解决在电力故障告警信息应用中很难为不同的数据集找到合适的参数组合的问题。通过实例验证,电力故障告警信息数据应用遗传算法结合GSP算法能够有效地得到更加准确和可靠的计算结果。

多时间粒度序列模式挖掘

序列模式挖掘是数据挖掘的一个重要问题.传统的序列模式仅能揭示频繁出现的项目以及出现的顺序,但不能揭示在前续项目出现的情况下,后续项目出现的时间.在本文中,引入一种新的多时间粒度序列模式,模式中相邻项目之间的转换时间采用从原数据集中导出的、多时间粒度下的最小有界时间区间和平均时间标注.建立了多时间粒度序列模式挖掘模型,提出了一种新的多时间序列模式挖掘算法MG-PrefixSpan.实验表明,算法是有效的.

基于不确定数据的可能频繁闭序列模式挖掘

对于不确定数据的频繁序列模式挖掘,会导致可能频繁模式数量的指数级出现,其中有些无用的挖掘结果会引起频繁序列的冗余。针对上述不足,提出了可能频繁闭序列模式(p-FCSPs)的定义,以及一种基于不确定数据的可能频繁闭序列挖掘算法U-FCSM。此算法中,基于一种元组不确定数据模型计算序列的可能频繁性,应用BIDE算法的闭序列思想判断可能频繁序列是否是可能频繁闭序列模式;为了减少搜索空间与避免冗余的计算,应用了几个剪枝与边界技术。U-FCSM算法的有效性与效率通过大量的实验得以表明。

改进的PrefixSpan算法及其在序列模式挖掘中的应用

由于序列模式挖掘需要花费大量计算时间,并需要占用大量存储空间.减少计算量、节省存储空间开销成为序列模式挖掘的关键.因PrefixSpan算法不产生候选,而适当应用Bitmap数据结构可避免重复扫描数据库,基于此,本文提出了BM-PrefixSpan算法,用于序列模式挖掘,设计并构造了PFPBM(Prefix of First Position on BitMap)表用于记录序列中的每个项在位图中第1次出现的位置.实验结果表明,BM-PrefixSpan算法综合了PrefixSpan和SPAM算法的优点,能够更快、更好地挖掘出序列模式.

序列模式图及其构造算法

序列模式挖掘是数据挖掘的一个重要分支 ,在序列事务及有关信息处理中有着广泛的应用 .目前已有许多序列模式模型及相应的挖掘算法 .该文在对序列模式挖掘问题及挖掘算法进行分析的基础上 ,定义了一种称为序列模式图的序列模式框架 ,用于表示序列模式挖掘过程发现的所有序列模式 .序列模式图是由离散状态的序列集到统一的图结构的桥梁 ,可以将序列模式挖掘结果统一到序列模式图中来 .基于序列模式图进行研究可发现某些结构化的新知识 ,称之为后序列模式挖掘 .文中还给出了序列模式图的有关性质及构造算法 .

基于频繁序列模式挖掘的卡口短时交通量预测

基于数据的城市交通管理和控制方法是广大学者和交通管理部门的关注重点。以频繁序列模式挖掘算法为基础,对卡口车辆轨迹序列进行时空特征分析。选用7种典型的机器学习算法进行预测,并分析了卡口空间区位、交通量以及连接道路等级对预测精度的影响。研究结果表明,集成学习算法特别是RF的预测性能最好,误差较小且训练速度快;SVR和神经网络算法(MLP、LSTM)在预测误差表现上相近,但是基于神经网络算法的预测模型耗时较长。此外,不同模型的预测误差在空间上的分布具有相似性,在卡口密布的区域预测精度更高,在外围边缘区域误差较大;卡口交通量越大、连接的道路等级越高,预测精度越高。随着城市交通电子卡口设备在路网中的完善,该预测方法的准确性可以进一步提高。

本地化差分隐私下的频繁序列模式挖掘算法PrivSPM

序列数据中可能包含大量敏感信息,因此直接对序列数据的频繁模式进行挖掘存在泄露用户隐私信息的风险。本地化差分隐私(LDP)能够抵御具有任意背景知识的攻击者,可以对敏感信息提供更全面的保护。序列数据内在序列性和高维度的特点为LDP应用于频繁序列模式挖掘带来了挑战。为解决这个问题,提出一种满足ε-LDP的top-k频繁序列模式挖掘算法PrivSPM。该算法结合填充和采样技术、自适应频率估计算法与频繁项预测技术来构造候选集;基于新域,利用基于指数机制的策略对用户数据进行扰动,并结合频率估计算法识别最终的频繁序列模式。理论分析证明了该算法满足ε-LDP。在3个真实数据集上的实验结果表明,PrivSPM算法在纳真率(TPR)和归一化累积排名(NCR)上明显高于对比算法,能有效提高挖掘结果的准确度。

闭合负序列模式挖掘

针对负序列模式挖掘的候选序列数量巨大的问题,在负序列模式算法PNSP的基础上提出了一种闭合负序列模式算法NPos D.经分析发现,NPos D算法能够挖掘出更加精简有效的负序列模式,算法是可行有效的.

闭合序列模式挖掘算法

提出了一种新的挖掘闭合序列模式的PosD算法,该算法利用位置数据保存数据项的顺序信息,并基于位置数据列表保存数据项的顺序关系提出了两种修剪方法:逆向超模式和相同位置数据。为了确保栅格存储的正确性和简洁性,另外还针对一些特殊情况做处理。试验结果表明,在中大型数据库和小支持度的情况下该算法比CloSpan算法更有效。

路由器日志序列模式挖掘

随着网络技术的发展,人们对网络质量的要求也越来越高,作为网络传输中重要环节之一的路由器的工作状态的变化直接影响到网络运行质量。从路由器日志中挖掘出的知识既可用于评价网络质量,又可用于改善网络信息服务。本文分析了路由器日志中一些常见信息,采用序列挖掘方法对日志进行了挖掘,并对挖掘结果进行了解释和分析。

基于序列模式的Servlet容器缓存替换

Servlet缓存能够有效地提高Servlet容器的吞吐量,缩短用户请求的响应时间.然而,Servlet缓存的性能受到缓存替换算法的影响.Servlet容器中的Servlet对应着一定的业务功能,挖掘Servlet之间的业务关联来指导缓存替换算法的设计可以提高Servlet缓存的命中率,进而提高Servlet容器的性能.然而,目前常见的LRU(least recently used),LFU(least frequently used),GDSF(greedy dual size frequency)等缓存替换算法均没有考虑上述问题.将Servlet对应的业务关联定义为Servlet容器序列模式,并提出k步可缓存转移概率图的概念加以表示,给出了序列模式发现算法KCTPG_Discovery.最后,基于Servlet容器序列模式设计了缓存替换算法KP-LRU(k-steps prediction least recently used)和KP-GDSF(k-steps prediction least frequently used).实验结果表明,KP-LRU与KP-GDSF算法比对应的LRU算法和GDSF算法具有更高的缓存命中率,有效地提高了Servlet容器的性能.

基于隐私保护的序列模式挖掘

基于隐私保护的数据挖掘是信息安全和知识发现相结合的产物.提出一种基于隐私保护的序列模式挖掘算法PP-SPM.算法以修改原始数据库中的敏感数据来降低受限序列模式的支持度为原则,首先构建SPAM序列树,根据一定的启发式规则,从中获得敏感序列,再进一步在原始数据库中找到敏感数据,对其做布尔操作,实现数据库的清洗.实验表明,该算法在完全保护隐私的情况下,对于D6C10T2.5S4I4数据集,当修改3.5%的原始数据后,其序列模式丢失率为2%.

多维序列模式挖掘算法

提出一种基于最大频繁模式、模式相似与属性描述相结合的多维序列模式挖掘算法MSP,该算法包括3个步骤:挖掘数据集中的最大频繁模式,每个频繁模式成为一个模式类;比较数据中各序列项序列与各模式类的包含与相似关系;按照一定的规则抽取与各模式类相关的属性,给出以属性为前件、模式类为后件的多维序列规则为形式的多维序列模式挖掘结果。对算法进行分析表明,该算法是有效的,且具有较好的可扩展性。

基于支持量的并发序列模式挖掘方法

在研究并发序列模式性质的基础上,设计实现基于支持量的并发序列模式挖掘算法。通过为每个序列模式及并发序列模式集求支持量,在遍历序列模式同时利用支持量的求与操作尽可能多的将序列模式加入并发集中。在生成数据和真实数据上的实验验证了该算法效率较高,得到了有意义并发序列模式集。

使用序列模式精简基挖掘序列模式

传统的序列模式挖掘方法在挖掘由短的频繁序列模式组成的数据库时有良好的性能．但在挖掘长的序列模式或支持 度阈值很低时,这些方法可能遇到固有的困难,因为产生的频繁序列模式的数量经常太大．在许多情况下,用户可能只需要那些 覆盖许多短模式的长模式．此外,在很多应用中,只要得到产生的频繁序列模式的近似支持度就已足够,而不需要它们的精确支 持度．介绍了能将误差控制在确定范围内的频繁序列模式精简基的概念,并开发了一个挖掘这种序列模式精简基的算法．实验 结果显示计算频繁序列模式精简基是很有前途的．

移动环境中的最大移动序列模式挖掘(英文)

在移动通信环境中 ,移动序列模式挖掘对于有效的提高位置管理的服务质量具有重大的意义。移动序列模式挖掘和传统的序列模式挖掘是不同的 ,首先 ,前者需要考虑更多的时间因素 ;其次 ,移动序列模式中的项之间是连续的 ,因为关心移动用户的下一次移动情况。本文提出了一种挖掘移动序列模式的新技术 :聚类的思想引入到移动序列模式挖掘来处理移动历史的时间离散化 ,并且提出了一个高效的PrefixTree算法来挖掘移动序列。性能研究表明 ,PrefixTree算法优于PrefixSpan