基于网络爬虫的电网大数据智能挖掘技术研究

传统Libpcap电网大数据挖掘策略不能对网络占用资源进行按需分配,为解决此问题,设计基于网络爬虫的新型电网大数据智能挖掘技术模型。通过设置网络爬虫TCP/IP协议栈的方式,对电网大数据进行布局分配,进而达到校验与拷贝数据的目的,完成电网大数据的采集分析。在此基础上,利用最大挖掘权限匹配结果与网络爬虫聚类普的智能排序准则,解决层次结构间的挖掘数据传输问题,实现新型电网大数据智能挖掘技术模型的搭建。对比实验结果表明,与传统方法相比,应用所提技术模型后未占用网络资源上限提升明显,单位时间内资源分配量突破8.0×109T,网络占用资源实现了真正意义上的按需分配。