基于情境感知和序列模式挖掘的气象学习资源推荐算法

随着互联网的快速发展,气象部门职工作为学习者可以获得的学习资源得到极大丰富。信息超载导致检索合适的在线学习资源时遇到了困难;学习者在不同学习环境和序列访问模式上也有不同的学习需求。但是,现有的推荐系统,如基于内容的推荐和协同过滤,没有结合学习者的情境和序列访问模式,推荐结果准确度不高。本文提出了一种结合情境感知、序列模式挖掘和协同过滤算法的混合推荐算法来为学习者推荐学习资源。混合推荐算法中,情境感知被用来整合学习者的情境信息,如知识水平和学习目标;序列模式挖掘被用来对网络日志进行挖掘,发现学习者的序列访问模式;协同过滤被用来根据学习者的情境数据和序列访问模式为目标学习者计算预测并生成建议。实验和应用效果表明,该混合推荐算法推荐的质量和准确性方面优于其他推荐算法。

高效的一次性弱间隙序列模式挖掘算法

间隙约束序列模式挖掘作为序列模式挖掘的一个重要分支,可以发现模式在序列中的重复出现。然而,当前研究主要针对单项序列进行挖掘,并且序列中每一项都被认为具有相同意义。为解决该问题,提出一次性弱间隙序列模式挖掘(OWP)算法,该算法由准备阶段、支持度计算和候选模式生成3个步骤组成。在准备阶段,建立倒排索引,并对不频繁的项进行剪枝;在支持度计算方面,利用倒排索引结构记录出现位置,避免对原始数据集的重复扫描;在候选模式生成方面,采用模式连接策略,减少冗余候选模式的生成。在项集序列和单项序列共6个真实数据集上的实验结果表明,OWP算法相比OWP-p、Ows-OWP和OWP-e算法在运行时间上分别提升了2.653、1.348、3.592倍,在内存消耗上分别减少了3.51%、0.07%、5%,说明OWP算法可以更高效地挖掘出用户感兴趣的模式。此外,OWP算法在以D1数据集为基础的6倍大小的数据集上的运行时间比D1数据集增长了3.763倍,内存消耗增长了2.310倍,运行时间和内存消耗的增加倍数均小于数据集大小的增加倍数,说明OWP算法具有良好的可扩展性。

一次性条件下top-k高平均效用序列模式挖掘算法

针对传统序列模式挖掘(SPM)不考虑模式重复性且忽略各项的效用(单价或利润)与模式长度对用户兴趣度影响的问题,提出一次性条件下top-k高平均效用序列模式挖掘(TOUP)算法。TOUP算法主要包括两个核心步骤:平均效用计算和候选模式生成。首先,提出基于各项出现位置与项重复关系数组的CSP(Calculation Support of Pattern)算法计算模式支持度,从而实现模式平均效用的快速计算;其次,采用项集扩展和序列扩展生成候选模式,并提出了最大平均效用上界,基于该上界实现对候选模式的有效剪枝。在5个真实数据集和1个合成数据集上的实验结果表明,相较于TOUP-dfs和HAOP-ms算法,TOUP算法的候选模式数分别降低了38.5%~99.8%和0.9%~77.6%;运行时间分别降低了33.6%~97.1%和57.9%~97.2%。TOUP的算法性能更优,能更高效地挖掘用户感兴趣的模式。

一种对比序列模式挖掘算法

对比序列模式挖掘作为序列模式挖掘领域的一个重要分支,可以有效识别不同类别间差异显著的模式,并被广泛应用在序列分类、特征提取等场景中.但传统的对比序列模式挖掘仅考虑了模式在序列中是否出现,忽略了模式在序列中的重复性;并且需要用户预先设置间隙约束值,导致算法的灵活性较差.为了解决上述问题,本文提出一次性条件下自适应对比序列模式挖掘算法OSCP,该算法采用逆向填充策略计算模式支持度,不仅关注了模式在序列中的具体出现情况,还提高了算法的计算效率;同时采用模式连接策略以减少候选模式数量.此外,本文采用自适应间隙,无需用户预先设置间隙约束,可基于序列的实际特征计算模式的支持度.实验结果表明,OSCP算法的挖掘性能和分类效果均优于其他对比算法.

一次性条件下的三支序列模式挖掘

一次性条件下的序列模式挖掘旨在从序列数据中挖掘出带有间隙约束的重复序列模式。然而,现有方法不考虑用户的兴趣度,将序列中的每个字符视作同等重要,导致许多用户不感兴趣的冗余模式被发现。为了解决这个问题,将三支决策思想引入序列模式挖掘领域,提出了一次性条件下的三支序列模式挖掘问题及其求解算法。在支持度计算方面,该算法基于深度优先搜索和回溯的策略,结合三支模式的特点以高效求解模式支持度。在候选模式生成方面,该算法采用模式连接策略缩减候选模式数量。此外,该算法还采用了并行化方案充分利用现代处理器的多核性能,提高算法的挖掘效率。最后,实验结果验证了研究一次性条件下的三支序列模式挖掘问题的意义和算法的高效性。

基于改进序列模式挖掘算法的告警关联模型

在电力故障发生时,会产生大量的电力故障告警信息数据,如何从电力故障告警信息中挖掘出可靠的关联规则,对后续电力的调度运维有着重要的影响。广义序列模式(Generalized Sequential Pattern,GSP)算法通过增加时间上的约束条件提高算法的效率,适合应用于电力故障告警信息挖掘的场景。针对GSP算法中的关键参数多和不同的参数组合影响算法的准确性和可靠性的问题,将遗传算法与GSP算法相结合,自适应地得到一组较好的参数,将参数代入GSP算法,从而得到更加可靠的关联规则,以此来解决在电力故障告警信息应用中很难为不同的数据集找到合适的参数组合的问题。通过实例验证,电力故障告警信息数据应用遗传算法结合GSP算法能够有效地得到更加准确和可靠的计算结果。

基于频繁序列模式挖掘的卡口短时交通量预测

基于数据的城市交通管理和控制方法是广大学者和交通管理部门的关注重点。以频繁序列模式挖掘算法为基础,对卡口车辆轨迹序列进行时空特征分析。选用7种典型的机器学习算法进行预测,并分析了卡口空间区位、交通量以及连接道路等级对预测精度的影响。研究结果表明,集成学习算法特别是RF的预测性能最好,误差较小且训练速度快;SVR和神经网络算法(MLP、LSTM)在预测误差表现上相近,但是基于神经网络算法的预测模型耗时较长。此外,不同模型的预测误差在空间上的分布具有相似性,在卡口密布的区域预测精度更高,在外围边缘区域误差较大;卡口交通量越大、连接的道路等级越高,预测精度越高。随着城市交通电子卡口设备在路网中的完善,该预测方法的准确性可以进一步提高。

本地化差分隐私下的频繁序列模式挖掘算法PrivSPM

序列数据中可能包含大量敏感信息,因此直接对序列数据的频繁模式进行挖掘存在泄露用户隐私信息的风险。本地化差分隐私(LDP)能够抵御具有任意背景知识的攻击者,可以对敏感信息提供更全面的保护。序列数据内在序列性和高维度的特点为LDP应用于频繁序列模式挖掘带来了挑战。为解决这个问题,提出一种满足ε-LDP的top-k频繁序列模式挖掘算法PrivSPM。该算法结合填充和采样技术、自适应频率估计算法与频繁项预测技术来构造候选集;基于新域,利用基于指数机制的策略对用户数据进行扰动,并结合频率估计算法识别最终的频繁序列模式。理论分析证明了该算法满足ε-LDP。在3个真实数据集上的实验结果表明,PrivSPM算法在纳真率(TPR)和归一化累积排名(NCR)上明显高于对比算法,能有效提高挖掘结果的准确度。

具有周期间隙约束的负序列模式挖掘

间隙约束的序列模式挖掘是一种特殊形式的序列模式挖掘方法,该方法能够揭示一定间隔下的频繁出现(发生)的子序列。但当前间隙约束的序列模式挖掘方法只关注正序列模式的挖掘,忽略了事件中的缺失行为。为解决该问题,探索了周期间隙约束的负序列模式(Negative Sequential Pattern with Periodic Gap Constraints,NSPG)挖掘方法,该方法能够更灵活地反映元素与元素之间的关系。为高效求解NSPG挖掘问题,提出了NSPG-INtree(Incomplete Nettrees)算法,该算法主要包括两个步骤:候选模式生成和支持度计算。在候选模式生成方面,为了减少候选模式的数量,该算法采用模式连接策略;在支持度计算方面,为了提高模式支持度计算效率并减少空间消耗,该算法采用不完整网树结构计算模式支持度。实验结果表明,NSPG-INtree算法不仅具有较高的挖掘效率,而且能同时挖掘间隙约束的正序列模式和负序列模式。与其他间隙约束的序列模式挖掘算法相比,NSPG-INtree能够多发现209%~352%的模式;与不同策略的对比算法相比,NSPG-INtree能够缩短6%~38%的运行时间。

改进的PrefixSpan算法及其在序列模式挖掘中的应用

由于序列模式挖掘需要花费大量计算时间,并需要占用大量存储空间.减少计算量、节省存储空间开销成为序列模式挖掘的关键.因PrefixSpan算法不产生候选,而适当应用Bitmap数据结构可避免重复扫描数据库,基于此,本文提出了BM-PrefixSpan算法,用于序列模式挖掘,设计并构造了PFPBM(Prefix of First Position on BitMap)表用于记录序列中的每个项在位图中第1次出现的位置.实验结果表明,BM-PrefixSpan算法综合了PrefixSpan和SPAM算法的优点,能够更快、更好地挖掘出序列模式.

移动环境中的最大移动序列模式挖掘(英文)

在移动通信环境中 ,移动序列模式挖掘对于有效的提高位置管理的服务质量具有重大的意义。移动序列模式挖掘和传统的序列模式挖掘是不同的 ,首先 ,前者需要考虑更多的时间因素 ;其次 ,移动序列模式中的项之间是连续的 ,因为关心移动用户的下一次移动情况。本文提出了一种挖掘移动序列模式的新技术 :聚类的思想引入到移动序列模式挖掘来处理移动历史的时间离散化 ,并且提出了一个高效的PrefixTree算法来挖掘移动序列。性能研究表明 ,PrefixTree算法优于PrefixSpan

多时间粒度序列模式挖掘

序列模式挖掘是数据挖掘的一个重要问题.传统的序列模式仅能揭示频繁出现的项目以及出现的顺序,但不能揭示在前续项目出现的情况下,后续项目出现的时间.在本文中,引入一种新的多时间粒度序列模式,模式中相邻项目之间的转换时间采用从原数据集中导出的、多时间粒度下的最小有界时间区间和平均时间标注.建立了多时间粒度序列模式挖掘模型,提出了一种新的多时间序列模式挖掘算法MG-PrefixSpan.实验表明,算法是有效的.

含负项的高效用序列模式挖掘算法

高效用模式挖掘在现实中有广泛的应用,也是数据挖掘研究的热点.数据库中的事务在以序列形式存在的情况下,又引申出高效用序列模式挖掘问题.序列模式的搜索空间比一般模式的大,所以计算复杂度比高效用模式挖掘大.目前对高效用序列模式算法研究比较少,且都没有考虑序列数据库中项的外部效用值为负的情况.面对含负项的外部效用值,首次提出了含负项的高效用序列模式挖掘算法EHUSN,该算法提出1-2-UM和2-2-UM结构模型,结合效用信息列表能快速剪枝非候选序列,从而使挖掘算法在时空效率上的得到提升.

带通配符和One-Off条件的序列模式挖掘

很多应用领域产生大量的序列数据.如何从这些序列数据中挖掘具有重要价值的模式,已成为序列模式挖掘研究的主要任务.研究这样一个问题:给定序列S、支持度阈值和间隔约束,从序列S中挖掘所有出现次数不小于给定支持度阈值的频繁序列模式,并且要求模式中任意两个相邻元素在序列中的出现位置满足用户定义的间隔约束.设计了一种有效的带有通配符的模式挖掘算法One-Off Mining,模式在序列中的出现满足One-Off条件,即模式的任意两次出现都不共享序列中同一位置的字符.在生物DNA序列上的实验结果表明,One-Off Mining比相关的序列模式挖掘算法具有更好的时间性能和完备性.

周期性一般间隙约束的序列模式挖掘

序列模式挖掘是从给定序列中发现出现频率高的模式的一种方法,目前已在诸多领域被广泛应用.假定子模式p_i和p_j(i<j)可以分别匹配事件A和事件B,传统的序列模式挖掘方法能够对事件B在事件A之后的序列进行检测,而不能对事件B发生在事件A之前的序列进行识别.为了解决此问题,文中提出了周期性一般间隙约束的序列模式挖掘问题,该问题具有如下5个特点:间隙约束的最小值可为负值的一般间隙约束;每个间隙约束都相同的周期性模式;在支持数统计方面无特殊约束,即允许序列中事件多次使用;该挖掘问题满足Apriori性质;挖掘支持率大于给定的频繁度阈值的频繁模式.为了进行有效地挖掘,采用深度优先的方式建立模式树.文中采用模式匹配技术,在一遍扫描序列数据库的情况下,建立其所有超模式的不完整网树森林(不完整网树是网树的最后一层结点,可以存储在一个数组中,可以有效地表示一个模式在一个序列中的支持数),并对这些超模式的支持率进行有效地计算,进而挖掘出所有频繁模式,有效地提高了序列模式挖掘速度.实验结果验证了文中算法的可行性和有效性.

一种基于大项集重用的序列模式挖掘算法

在重新定义序列模式的长度、增加了序列模式的挖掘粒度的基础上,提出一种基于大项集重用的序列模式挖掘算法HVSM·该算法采用垂直位图法表示数据库,先横向扩展项集,将挖掘出的所有大项集组成一大序列项集,再纵向扩展序列,将每个一大序列项集作为“集成块”,在挖掘k大序列时重用大项集·并以兄弟节点为种子生成候选大序列,利用1st-TID对支持度进行计数·实验表明,对于大规模事务数据库,该算法有效地提高了挖掘效率·

序列模式挖掘研究与发展

序列模式挖掘是数据挖掘的一个重要研究课题,它在很多领域中都有着广泛的应用。首先讨论了序列模式挖掘的相关背景,然后对序列模式挖掘进行分类,并在此基础上对每一类序列模式挖掘算法的特点进行了介绍和比较;最后,对序列模式挖掘未来的研究重点进行展望,以便研究者对序列模式挖掘做进一步的研究。

4种序列模式挖掘算法的特性研究

序列模式挖掘是数据挖掘中的一个重要研究方向,对序列模式挖掘中的4种算法(AprioriAll、GSP、FreeSpan、Prefixspan)的执行过程及其特点进行了研究,并对这几种算法的时空执行效率进行了定性和定量的分析比较,指出了4种算法各自的适用范围,得出的结果对序列模式挖掘系统的设计具有一定的参考价值。

序列模式挖掘的一种渐进算法

序列模式挖掘是数据挖掘中最重要的研究课题之一．基于时序相关数据的序列模式挖掘有其自身的特色．作者提出一种渐进式序列模式挖掘算法ＩＭＳＰ，目的是在数据库变化不大时，能够利用前次的结果，加速本次挖掘过程．

一种基于序列末项位置信息的序列模式挖掘算法

针对PrefixSpan算法中反复扫描投影数据库寻找局部频繁项并重复构造挖掘大量重复投影数据库的不足,提出一种基于序列末项位置信息的序列模式挖掘算法SPM-LIPT。通过连接2-序列位置信息表(LIPT)找到序列模式的下一项,实现序列模式增长,避免对投影数据库反复扫描;同时通过检查相同末项序列首位置信息表(SLIFPT)进行前向剪枝;消除大量重复投影的构建。最后通过实验证明了算法的有效性。