基于序列频繁模式挖掘的95598客服工单关联研析

随着社会经济的不断发展和人们生活水平的提高,人们对电力的需求也日益增加,对供电企业的供电能力和工作人员的服务水平的要求也日益提高。这就给供电企业带来了更大的压力和挑战,而其中较为突出的挑战就是如何处理好客户的投诉。为了减少用户投诉,需要根据以为工单用户的来电轨迹而对用户今后是否投诉进行预测。因此在投诉预测中,基于用户来电轨迹的频发模式挖掘显的尤为重要。

基于频繁序列模式挖掘的卡口短时交通量预测

基于数据的城市交通管理和控制方法是广大学者和交通管理部门的关注重点。以频繁序列模式挖掘算法为基础,对卡口车辆轨迹序列进行时空特征分析。选用7种典型的机器学习算法进行预测,并分析了卡口空间区位、交通量以及连接道路等级对预测精度的影响。研究结果表明,集成学习算法特别是RF的预测性能最好,误差较小且训练速度快;SVR和神经网络算法(MLP、LSTM)在预测误差表现上相近,但是基于神经网络算法的预测模型耗时较长。此外,不同模型的预测误差在空间上的分布具有相似性,在卡口密布的区域预测精度更高,在外围边缘区域误差较大;卡口交通量越大、连接的道路等级越高,预测精度越高。随着城市交通电子卡口设备在路网中的完善,该预测方法的准确性可以进一步提高。

本地化差分隐私下的频繁序列模式挖掘算法PrivSPM

序列数据中可能包含大量敏感信息,因此直接对序列数据的频繁模式进行挖掘存在泄露用户隐私信息的风险。本地化差分隐私(LDP)能够抵御具有任意背景知识的攻击者,可以对敏感信息提供更全面的保护。序列数据内在序列性和高维度的特点为LDP应用于频繁序列模式挖掘带来了挑战。为解决这个问题,提出一种满足ε-LDP的top-k频繁序列模式挖掘算法PrivSPM。该算法结合填充和采样技术、自适应频率估计算法与频繁项预测技术来构造候选集;基于新域,利用基于指数机制的策略对用户数据进行扰动,并结合频率估计算法识别最终的频繁序列模式。理论分析证明了该算法满足ε-LDP。在3个真实数据集上的实验结果表明,PrivSPM算法在纳真率(TPR)和归一化累积排名(NCR)上明显高于对比算法,能有效提高挖掘结果的准确度。

差分隐私下的一种频繁序列模式挖掘方法

频繁序列模式挖掘是数据挖掘领域的1个基本问题,然而模式本身及其支持度计数都有可能泄露用户隐私信息.差分隐私(differential privacy,DP)作为一种新出现的隐私保护技术,定义了一个相当严格的攻击模型,通过添加噪音使数据失真达到隐私保护的目的.由于序列数据内在序列性和高维度的特点,给差分隐私应用于频繁序列模式挖掘带来了挑战.对此提出了一种基于交互式差分隐私保护框架的频繁序列模式挖掘算法Diff-FSPM(differential-privacy frequent sequential pattern mining).该算法利用指数机制获取最优序列长度,并采用一种维规约策略获得原始序列数据集的规约表示,有效降低序列维度的影响;应用前缀树压缩频繁序列模式,利用拉普拉斯机制产生的噪音扰动频繁模式的真实支持度计数,同时采用闭频繁序列模式和Markov假设,有效分配隐私预算,并利用一致性约束后置处理,增强输出模式的可用性.理论角度证明算法满足ε-差分隐私,实验结果验证算法具有较好的可用性.

一种基于逻辑的频繁序列模式挖掘算法

传统的类Apriori频繁序列模式挖掘算法都是基于支持度框架理论,需要预先设定支持度阈值,而这通常需要较深的领域知识或大量的实践,因此目前仍没有一种很好的设定方法。同时,序列模式的挖掘结果往往数量很大且不易理解,可用性较低。针对上述问题,提出了一种基于逻辑的频繁序列模式挖掘算法即LFSPM算法,并首次在频繁序列模式挖掘算法中引入了逻辑的思想,通过逻辑规则过滤,大大优化了结果集。实验证明,该算法较好地解决了支持度设置问题及挖掘结果可理解性不高的问题。

基于频繁序列模式压缩技术的网站结构优化

基于频繁序列模式压缩技术的网站结构优化算法旨在发现用户在浏览过程中频繁访问的序列关联,为优化站点结构提供有力的依据。分析了现有频繁模式聚类算法的不足,提出了在模式聚类函数的基础上生成一个压缩的偏序(Partial Order)的算法,实验结果显示该算法可以对频繁序列模式进行高效、高质量的压缩,可以得到数量更少、信息量更大的模式,从而提高发现的频繁访问序列的兴趣性。

基于不确定数据的可能频繁闭序列模式挖掘

对于不确定数据的频繁序列模式挖掘,会导致可能频繁模式数量的指数级出现,其中有些无用的挖掘结果会引起频繁序列的冗余。针对上述不足,提出了可能频繁闭序列模式(p-FCSPs)的定义,以及一种基于不确定数据的可能频繁闭序列挖掘算法U-FCSM。此算法中,基于一种元组不确定数据模型计算序列的可能频繁性,应用BIDE算法的闭序列思想判断可能频繁序列是否是可能频繁闭序列模式;为了减少搜索空间与避免冗余的计算,应用了几个剪枝与边界技术。U-FCSM算法的有效性与效率通过大量的实验得以表明。

基于最大频繁序列模式挖掘的App-DDoS攻击的异常检测

为了动态、准确、高效地描述用户的访问行为,实现对不同应用层分布式拒绝服务(Application-layerDistributed Denial of Service,App-DDoS)攻击行为的透明检测,该文提出基于最大频繁序列模式挖掘的ADA_MFSP(App-DDoS Detection Algorithm based on Maximal Frequent Sequential Pattern mining)检测模型。该模型在对正常Web访问序列数据库(Web Access Sequence Database,WASD)及待检测WASD进行最大频繁序列模式挖掘的基础上,引入序列比对平均异常度,联合浏览时间平均异常度、请求循环平均异常度等有效检测属性,最终实现攻击行为的异常检测。实验证明:ADA_MFSP模型不仅能有效检测各类App-DDoS攻击,且有良好的检测灵敏度。

基于偏序压缩技术的频繁序列模式数据挖掘

基于频繁序列模式的压缩技术旨在提高数据挖掘结果的可用性和可理解性,从庞大的序列模式中发现有用的知识。分析了现有频繁模式压缩算法的不足,提出了在模式聚类函数的基础上生成一个压缩的偏序(Partial Order)的算法,实验结果显示该算法可以对频繁序列模式进行高效,高质量的压缩,可以得到数量更少、信息量更大的模式,从而提高发现的频繁访问序列的兴趣性。

基于最大频繁序列模式树的个性化页面推荐

提出一种基于最大频繁序列模式的页面推荐技术,由于考虑了用户会话的页面访问顺序,比一些不考虑页面访问顺序的推荐技术有更高的准确率。通过引入一树型结构,其上压缩存储了所有最大频繁序列,由于前缀相同的序列共享共同的树结点,从而大大节省了存储空间。推荐引擎截取用户活动会话中最近被访问的页面子序列,与树的部分路径进行匹配,无需在整个模式库中搜索相同或相似的模式,加快模式匹配的速度,更好地满足页面推荐的实时要求。实验证明,方法是有效的。

基于包含索引的频繁闭序列模式挖掘的新算法

频繁闭序列模式惟一确定全体频繁序列模式,且规模小得多。传统的闭序列模式挖掘算法对每个频繁项目都进行扩展,往往会产生大量的非闭合序列。为解决这一问题,提出了一种新的基于包含索引的频繁闭序列模式挖掘算法,其主要思想是只对闭项集进行扩展,大大减少了非闭合序列的产生。首先,论证了闭序列模式只能由闭项集组成;其次,说明了如何利用包含索引来快速发现闭项集;最后,给出了一种深度优先的挖掘频繁闭序列模式的新算法。实验结果表明,该算法具有较高的效率。

基于频繁闭合序列模式挖掘的学生程序雷同检测

针对学生程序抄袭导致考核可信度降低而人工检测抄袭工作量巨大的问题,提出了程序雷同检测模型,首先通过词法分析将程序转换成token序列,并将其散列映射为数字序列;然后采用BIDE挖掘算法挖掘频繁闭合序列;在此基础上,识别相似代码片段,并计算程序之间的相似度,进而判定程序是否雷同。实验结果表明,与目前应用广泛的雷同程序检测工具MOSS相比,本文方法提高了雷同检测的准确性,不但可以准确地给出雷同统计信息,还能够较为直观地显示雷同代码片段。

基于改进FP-Tree的Web频繁序列模式挖掘技术

WebLog挖掘的基本思想是将数据挖掘技术应用于Web服务器的日志文件,且客户对服务器的访问模式是一种序列模式。本文在基于一种简化站点结构的基础上,构造并改进FP-Tree,该结构有较好的伸缩性,在其上实施频繁序列模式挖掘,具有较理想的效率。

基于频繁轨迹序列模式挖掘的路径推荐方法

出行路径推荐是智能交通领域的重要研究内容之一。传统路径推荐方法往往基于路径最短或通行时间最短等单一因素进行路径推荐,而忽略了城市人群出行模式对路径推荐过程的影响。针对上述问题,提出了一种基于频繁轨迹序列模式的路径推荐方法,在数据预处理阶段基于历史轨迹数据库挖掘城市不同时段的频繁序列模式,并以此构建频繁路径序列模式库。在路径推荐阶段,对于给定起止点后确定的一组候选路径集合,利用所提出的长短模式权重评估模型对其进行量化评估并进行排序。然后,取出其评估值为Top-n的路径为用户进行推荐。通过4组模拟场景对推荐结果进行分析,结果表明该推荐方法具备合理性,同时将推荐结果和传统的最短路径和测试集比较分析,证明其推荐的路径更优,与传统的路径推荐算法相比其运行速度也更快。

CuMen:基于最大频繁序列模式的聚类算法及其在基因拼接中的应用

基因组序列拼接的主流方法是将整条序列随机打断成小片段,然后根据片段间重叠关系连接成长序列。由于较多噪音存在,算法复杂度高,加之生物数据的海量增长,序列拼接处理导致巨大的时空开销而无法完成。本文提出一种基于最大频繁序列模式的聚类算法,将整个数据集分成若干个子集,分别高效地处理,实现了一个基因拼接网格系统、透明动态的资源管理,大大扩展了基因拼接计算能力。基于最大频繁序列模式聚类算法及挖掘算法,针对生物数据的特性做出了优化。

一种有效的带通配符约束的频繁序列模式挖掘算法

从序列数据库里挖掘出带通配符约束的频繁序列模式成为现代数据挖掘领域中的一个焦点,也有一些高效率的算法。本文在分析Disc-all算法的思想基础上设计出一种带有通配符约束的频繁序列模式挖掘算法。实验证明,在平均长度不长的序列数据库中,该算法有着明显的时间上的优势。

多变量时间序列模式挖掘的研究

多变量时间序列数据集合在许多领域中存在,由于其观测变量之间的相互关联性,往往需要进行综合分析。使用基于时间序列相似性的多变量时间序列模式挖掘方法,从历史数据中寻找出相似的多变量时间序列。将多变量的数据集分段平均为连续矩阵,并采用基于主成分分析和奇异值分解的方法来对矩阵进行相似性比较,最后通过相邻片断的合并以组成更高层次的时序片断,以提高模式的匹配的范围。并在地震前兆数据进行了实现。

基于主题序列模式的旅游产品推荐引擎

旅游产品推荐是当前推荐系统研究领域中的新兴议题之一.由于旅游产品描述信息维度多样复杂、"用户-产品"关联矩阵极为稀疏且冷启动问题突出,已经在电子商务领域获得成功的协同过滤推荐往往难以直接被应用于旅游产品推荐.提出基于主题序列模式的旅游产品推荐引擎SECT,试图通过在线旅游网站点击日志的挖掘产生推荐.首先,从页面语义描述文本中挖掘主题,以在泛化层面捕捉用户行为模式;其次,从页面访问时间序列数据中挖掘频繁序列模式及其候选产品集,形成序列模式库;最后,提出Markov n-gram模型,完成用户实时点击流与模式库匹配计算.为了提升在线匹配计算的效率,设计一种新的多叉树数据结构PSC-tree用于存储历史模式库,并与在线计算模块无缝衔接.在真实旅游数据集上的实验结果表明:该推荐引擎比传统推荐算法具有更优越的性能,而且能有效提升冷启动用户的推荐率和准确率.此外,针对长尾物品的推荐,SECT也优于基准算法.

基于改进频繁模式聚类算法的网站结构优化

分析了现有频繁模式聚类算法的不足,提出了距离函数改进,并在模式聚类函数的基础上生成一个压缩的偏序(partial order)的算法(FCWSO算法)。实验结果显示该算法可以对频繁序列模式进行高效、高质量的压缩,可以得到数量更少、信息量更大的模式,从而提高发现的频繁访问序列的兴趣性。

基于闭合有间隔频繁子序列的点击流聚类

对网站日志文件中记录的点击流序列聚类可以发现用户使用模式,从而对用户归类。而传统聚类方法面临着难以提取点击流中有代表性的特征向量以及点击流及其特征向量存在数据稀疏性的问题。针对上述情况,提出一种基于闭合有间隔频繁子序列模式挖掘的点击流聚类方法。该方法从点击流中提取子序列模式的频繁支持度,构建特征向量,利用基于双向映射欧氏距离的模糊距离度量判断向量间相似度,增强BIRCH聚类算法对点击流数据的聚类效果。