改进PrefixSpan的行为轨迹数据挖掘算法

针对用户行为轨迹数据挖掘PrefixSpan算法构造投影数据库过程中重复扫描而造成时空开销过大的问题,提出一种改进的序列模式挖掘算法TDM-PrefixSpan(trajectory data mining based on prefixSpan algorithm)。依据时间序列分布特征,采用具有轨迹数据预处理的SMM(statistical mobility model)算法,通过分段合并和自适应调整方法去除异常数据,解决轨迹数据存在大量pingpong效应的问题。采用频繁项集逆序挖掘序列模式,通过已挖掘序列模式集迭代去除冗余项集得到待挖掘序列模式集,缩短扫描候选数据库时间。数据集测试结果表明:SMM算法预处理后,原始数据库数据规模减小;通过对比可知,TDM-PrefixSpan算法能够有效降低时间复杂度,提升挖掘效率。

基于PrefixSpan的序列模式挖掘改进算法

针对序列模式挖掘算法PrefixSpan在挖掘过程中需要构造大量投影数据库的不足,提出IPMSP算法,在递归挖掘过程中,通过检查序列数据库关于前缀的前缀,避免对同一频繁前缀模式构造重复投影数据库,同时舍弃对非频繁项的存储并在投影序列数小于最小支持度时停止扫描投影数据库,从而提高PrefixSpan算法的时空性能。实验结果证明,IPMSP算法在时间和空间性能上优于PrefixSpan算法。

PrefixSpan算法与CloSpan算法的分析与研究

数据挖掘领域的一个活跃分支就是序列模式的发现,即在序列数据库中找出所有的频繁子序列。介绍序列模式挖掘的基本概念,然后对序列模式中的经典算法PrefixSpan算法和基于PrefixSpan框架的闭合序列模式CloSpan算法进行了描述,并对它们的执行过程及其特点进行了分析与比较,总结了各自的优缺点,指出PrefixSpan算法适用于短序列方面挖掘,而CloSpan算法在长序列或者阈值较低时胜过PrefixSpan算法且CloSpan算法挖掘大型的数据库有更好的性能,得出的结果对序列模式挖掘的设计有重要的参考价值。

GSP与PrefixSpan算法的比较与分析

针对序列模式挖掘中的两种经典算法GSP算法与PrefixSpan算法执行过程及其特点进行了比较,并对这两种算法的时空执行效率进行了定性分析比较,指出了两种算法各自的适用范围,得出的结果对序列模式挖掘系统的设计有重要的参考价值。

视频目标轨迹分析的改进PrefixSpan方法

从序列模式挖掘的角度对视频目标运动轨迹的分析和应用问题进行了研究,提出了一种基于改进PrefixSpan的频繁轨迹模式挖掘算法,并给出了基于所挖掘的频繁模式进行在线目标运动异常检测的方法。该方法对目标的运动轨迹进行量化编码,采用改进的PrefixSpan算法挖掘其中连续出现的频繁模式,通过字符串近似匹配的方法来检测当前运动轨迹所表示的目标行为是否异常。由于不需要计算两两轨迹之间的相似性,该方法可以应用于规模较大、分布模式数目难以确定场合下的视频目标轨迹分析问题。对仿真和真实场景的实验验证了该方法的有效性。

恶意代码检测中的PrefixSpan算法应用

结合数据挖掘和专家系统技术解决主机恶意代码检测问题,提出一个基于行为的恶意代码检测系统。数据挖掘算法采用改进的序列模式挖据算法——PrefixSpan,该算法用简约投影数据库代替原PrefixSpan算法的投影数据库。PrefixSpan从恶意代码行为序列库中挖掘关联规则,专家系统将获取的主机行为与规则匹配,从而达到检测恶意行为的目的。实验结果证明了该算法的正确性和有效性。

一种改进的PrefixSpan算法及其在Web用户行为模式挖掘中的应用

序列模式挖掘是从序列数据库中挖掘相对时间或其他模式出现频率高的模式。针对PrefixSpan算法构造投影数据库时开销巨大、扫描效率不高的问题,通过以序列扩展代替项集进行扩展、放弃挖掘序列数小于阈值min_support的投影数据库以及直接递归局部频繁项等方式进行改进,并将改进方法应用于Web用户行为模式挖掘中,对日志记录中的规律进行分析和研究。实验分析表明,相比PrefixSpan算法,该改进算法在算法效率方面有一定的提高。

改进的PrefixSpan算法在Web挖掘中的应用

针对PrefixSpan算法不足,采用修改Prefix策略与舍弃非频繁项的方法,减少内存与外存之间频繁地交换,减小在挖掘过程中产生的投影数据库规模,降低构建、扫描投影数据库的时空耗费,从而改进算法。实验结果表明,在长序列模式挖掘中,算法在改进后运行效率比原来提高35%以上,更适用于Web挖掘。

改进的PrefixSpan算法在旅游热门路线上的应用

PrefixSpan算法是目前比较经典且较为高效的挖掘频繁序列模式的算法,而应用在旅游热门路线的搜索上,仍存在着连续性不足的问题.为了改善该算法的连续性,从改变频繁序列模式的生成过程方面对算法进行了改进优化.实验结果表明,改进的PrefixSpan算法在旅游热门路线的搜索上具有更好的连续性,且比原算法效率更高,更适用于旅游热门路线的搜索.

基于属性相关和时间约束的PrefixSpan算法

针对计算机入侵检测中网络安全审计数据的特点,提出一个改进的PrefixSpan算法,引入时间约束和属性相关的特征指导挖掘,应用M矩阵和Apriori特性减少投影数据库的数量,并缩减投影数据库规模,提高了序列模式挖掘的效率和有用性。通过检测一个网络审计记录的实验,进行结果分析。

改进的PrefixSpan算法在客流计数中的应用

序列模式挖掘是基于关联规则的频繁项集的挖掘,其实质是在关联模型中加入时间属性。利用改进的PrefixSpan算法对客流计数系统中不同时段的数据进行挖掘分析,给出不同时段的客流高峰的频繁序列模式,对于提高客流计数系统的精度,给管理决策者调配人力,物力,财力提供技术支持,对于最大限度地发掘购物中心的潜力,提高利润,具有重要的经济意义。

一种基于日志分析的Web负载测试方法

提出一种基于日志分析的Web负载测试方法。通过序列模式挖掘得到用户访问的频繁序列模式,日志分析得到负载的相关参数,并据此构造出逼近于真实的测试负载。利用性能测试工具LoadRunner对Web应用系统进行负载测试。将测试日志与真实日志进行对比,验证了测试负载与真实负载的相似性。

基于序列模式挖掘的读者借阅行为分析

针对图书馆读者借阅事务中存在的序列特征,提出一种基于序列模式挖掘的读者借阅行为分析方法,其思想是通过将借阅事务转化为序列数据库,基于PrefixSpan算法来识别读者借阅行为序列模式。以某高校图书馆读者借阅事务数据为例,通过序列模式挖掘实验表明,此方法可有效获取读者借阅行为的时序规律,其结果在图书馆信息服务中具有一定的应用价值。

公共交通乘客个体活动链的日相似性研究

刷卡数据为研究公共交通乘客长期出行规律提供了数据基础.利用北京市2018年4~5月的刷卡数据,通过提取乘客活动地,推断居住地位置和识别活动类型3个步骤构建乘客个体活动链;基于PrefixSpan算法提取普通卡、老年卡、学生卡乘客活动链的频繁序列模式,采用Levenshtein距离度量3类乘客活动链日维度的相似性.结果表明:每类用户中约70%乘客的频繁活动序列是对称模式;普通卡和学生卡用户的相似性高于老年卡用户,平均值分别为0.645、0.649和0.530;3类乘客的工作日与非工作日活动链具有明显差异,而工作日之间或非工作日之间具有较高相似性.本文有助于定量解析公共交通乘客的出行活动规律,为科学优化公共交通服务提供依据.

基于Map Reduce的序列模式挖掘算法

传统数据挖掘算法在处理海量数据集时计算能力有限。为解决该问题,提出一种基于Map Reduce的分布式序列模式挖掘算法MR PrefixSpan。在PrefixSpan算法的基础上,对模式挖掘任务进行分割,利用Map函数处理由不同前缀得到的序列模式,并行构造投影数据库,从而提高挖掘效率及简化搜索空间。采用Reduce函数对中间结果进行规约,得到全局序列模式。在Hadoop集群上的实验结果表明,MR PrefixSpan能减少数据库扫描时间,具有较高的并行加速比和较好的可扩展性。

Web访问序列模式挖掘算法的研究

针对现有Web访问序列模式挖掘算法和PrefixSpan算法存在的问题,提出一种基于投影位置的Web访问序列模式挖掘算法(PWSPM)。该算法通过序列模式分析,发现用户的行为模式,预测用户对网页的访问模式,进而改进站点的性能和组织结构,提高用户查找信息的质量和效率,以及对用户开展个性化的信息服务。实验和应用结果表明,提出的算法具有更好的执行效率,适用于Web日志挖掘,可用于构建智能化Web站点和解决个性化的信息服务问题。

基于用户画像的异常行为检测模型

入侵检测技术在大数据环境下面临人工规则提取限制、数据处理能力不足、难以精准定位等新问题。文章在入侵检测技术中引入用户画像技术,提出基于用户画像的入侵检测模型,实现入侵检测粒度的细化,将大数据技术引入网络安全领域,发掘其潜在研究及实用价值,使入侵检测技术具有大数据技术特性。实验结果表明,基于用户画像的入侵检测模型能够提高入侵检测技术指标的评价效果,有较好的实用价值。

机场航站楼内员工的频繁路径挖掘技术研究

门禁管理系统在机场航站楼内的推广应用会产生海量的员工路径数据。为了挖掘员工的频繁路径,提出一种基于路径编码的改进Prefix Span算法。在递归挖掘过程中,只检查投影序列关于前缀的最近后缀,避免产生非法的投影数据库,在投影序列数小于最小支持数时停止扫描。实验结果表明,该算法在时间和空间上比Prefix Span算法优越,能合理有效地挖掘出员工的频繁路径。

基于角色异常行为挖掘的内部威胁检测方法

为检测信息系统中日益增加的内部威胁,针对审计日志中角色行为特征进行分析处理,提出一种基于角色异常行为挖掘的内部威胁检测方法。根据序列模式挖掘原理挖掘角色正常行为,使用KMP算法进行模式匹配,判断角色当前行为是否存在异常。实验数据表明,该方法可有效实现对角色正常行为的挖掘和对角色异常行为的检测,减少模式挖掘时间,在异常行为检测精确度上有所提高。

基于航站楼门禁日志挖掘的物理入侵检测技术

针对国内大型航站楼门禁系统的安全性需求,以及门禁日志数据的特殊性,传统的数据挖掘方法难以取得良好的效果,为解决这一问题,提出一种改进的适用于门禁日志数据的Prefix Span算法。实验结果表明,此算法可以很好的建立正常行为模式,然后运用基于先序遍历树的子序列精确匹配定位算法检测异常行为模式,实现了异常入侵检测,显著改善航站楼的安全防范能力及机场的工作效率。