区块链框架下基于优化决策树模型的大数据分类算法研究

近年来,虽然我国大数据技术的发展水平有所提升,但是分类算法存在分类准确性问题和计算能力问题,而在区块链框架体系下,以优化决策树模型为基础的大数据分类算法,具有数据加密的特点,能够形成分布类型的决策树模型,精准进行数据的分类处理,优化决策树算法,有效解决传统大数据分类算法的问题。基于此,分析区块链框架下基于优化决策树模型的大数据分类算法应用意义,提出几点算法技术的应用措施,旨在为增强技术发展水平而提供帮助。

区块链框架下基于优化决策树模型的大数据分类算法研究

现有大数据分类算法存在并行计算能力差、分类准确率低等不足,为此在区块链框架体系下提出一种基于优化决策树模型的大数据分类算法研究。利用区块链在数据加密方面的优势,构建分布式决策树模型,以信息熵和信息增益率为基础对目标数据集做预测分类,并对经典决策树算法进行优化,预留出用于缓冲的空节点,避免分类终止情况的发生。在每一次节点分裂后,用全部样本的平均梯度修改下一个叶子节点的权重,提升整个算法的迭代寻优能力和分类性能。仿真结果显示,提出的分类算法具有更强的数据吞吐能力和并行计算能力,针对10种不同大数据集的平均分类准确率达到了97.75%。

基于Spark的分布式交通流数据预测系统

在大数据时代,在城市复杂交通环境中,实现实时、准确的交通流预测,是实现智能交通系统的必要前提。提出了一种在Spark平台上基于梯度优化决策树的分布式城市交通流预测模型(distributed urban traffic prediction with GBDT,DUTP-GBDT);并提出了分布式情况下梯度优化决策树模型实现的优化方法,包括切分点抽样、特征装箱和逐层训练三种,提高了分布式情况下梯度优化决策树训练效率。基于Spark分布式计算平台高效、可靠、弹性可扩展的优势,以及梯度优化决策树模型准确率较高和时间复杂度较低的优点,利用时间特征、道路状况特征以及天气特征等特征参数,建立了DUTP-GBDT模型,实现了实时、准确的交通流预测。通过与GABP、GA-KNN、MSTAR等模型的对比,证明了利用Spark平台,DUTP-GBDT模型在分布式环境下准确率和训练速度方面均有所提高,符合城市交通流预测系统的各项要求。