基于Hadoop的钢铁生产大数据存储平台研究

大数据平台在钢铁企业的部署对产业转型和升级有重要作用。钢铁产业大数据具有明显的实时性、动态性和不确定性等特点。为应对Hadoop分布式文件系统在处理实时工业数据流显现出的一些不足,提出了基于分布式Name Node节点的HDFS。对基于分布式Name Node节点的HDFS进行了总体设计,包括Top Name Node和分布式Name Node的主要功能和工作机制。分析了分布式Name Node节点的HDFS的性能优点。提出了在虚拟化资源管理平台上搭建基于Hadoop的动态可伸缩的分布式文件存储平台。将基于知识工程的方法和基于数据驱动的方法相结合,建立了一种新的混合故障诊断模型。最后对分布式钢铁生产大数据存储平台的优势进行分析。