大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.

基于域名系统属性的速变服务网络检测方法

基于对速变服务网络(Fast-flux service network,FFSN)的工作原理、申请流程、相关特征等分析,设计FFSN的检测流程,并提出了一种区分速变服务网络与合法网络的方法:详细分析两者相关域名系统属性的差异,构建检测特征,使用决策树算法检测速变服务网络的存在。实验证明,该方法可有效识别FFSN,具有较高的检测率。

在数据流管理系统中实现快速决策树算法(英文)

在数据流管理系统(data stream management system,DSMS)中嵌入数据挖掘算法对数据库研究者是一项新的挑战,而在数据流管理系统中嵌入快速决策树(very fast decision tree,VFDT),尚未见报道。利用DSMS原有的机制在Esper中实现了VFDT算法。其主要思想是将VFDT算法转换为Esper的数据查询语言(Esper query language,EQL)。给出了在DSMS中实现VFDT算法的两种方法:普通方法。直接将VFDT算法转化为EQL语言并在DSMS中实现(记作DVFDT);改进方法。通过Esper中固有的批量处理模式来实现(记作optimal-DVFDT)。通过一系列实验比较分析了两种方法对海量数据流分类的准确率和性能;将提出的两种方法与用Java实现的VFDT算法(记作JVFDT)在分类精度和时间上进行比较。结果表明,在DSMS中实现的VFDT算法具有较好的性能,并且该算法对大规模数据流数据的子集同样具有较高的性能。