基于煤矿数据模型的移动监控系统

随着大型煤炭基地设备监控和业务系统的数据和系统大量增加,以及矿井移动终端设备的普及,如何有效管理多个煤矿不同系统的生产数据、监控画面,提高系统整体使用水平的问题日益突出。本文设计并实现一种移动监控系统、统一的数据模型,按照设备和业务系统分组管理生产数据,统一的设备监控画面模型,规范不同业务系统的监控内容;统一的用户权限管理,保证移动端的安全控制访问。该系统主要解决煤矿数据监控难题,随时随地监控生产过程,实现煤矿生产的精细化管理。

基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。

智慧煤矿数据驱动检测技术研究

数据驱动检测技术是智慧煤矿发展的有效组成部分,其在无需知道智慧煤矿大数据系统精确解析模型的情况下完成对未来对象系统行为的预测。针对智慧煤矿的生产运行智能化、安全生产本质化、运营模式科学化等难题,分析了数据驱动检测技术在煤矿设备故障诊断、胶带运输异物检测、煤矸检测辨识等3个方面的应用现状。展望了数据驱动检测技术在这3个方面的发展趋势:①模糊数学与人工神经网络应更加有效融入煤矿设备故障诊断中;②视频防抖、图像分割及目标检测技术应更加有效融入胶带运输异物检测中;③分拣机器人、计算机视觉及图像识别技术应更加有效融入煤矸检测辨识中,提高算法普适性将是煤矸图像识别发展的方向之一。

煤矿数据安全保护的研究与实现

随着科技水平的不断提高和经济建设的需要,煤矿开发需求量不断加大,同时要保证煤矿安全事故发生系数在可控范围内。煤矿由于自身条件限制,工作环境相对恶劣,工作人员操作不规范、设备的性能限制等因素都易引发安全事故。安全事故的发生,将会对煤矿企业的人、财、物等造成损失,影响企业的正常生产,造成严重的不良社会影响,文章对煤矿数据安全保护进行研究,以提高企业的安全生产水平。

智能煤矿数据中台架构及关键技术研究

数据中台是智能煤矿建设的数据底座,是煤矿大数据应用的基础。提出了包含数据汇聚、数据开发、数据存储、数据资产管理、数据服务等的智能煤矿数据中台建设思路;设计了智能煤矿数据中台架构,分析了数据中台的数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务、运维保障等功能模块;探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案。应用表明,智能煤矿数据中台实现了数据汇聚、数据开发,以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练、数据服务等,使得煤矿多源异构数据从数据资源变为数据资产,可提供基于大数据的调度决策、灾害风险分析、设备健康诊断、预防性维护等应用,解决了煤矿信息孤岛严重、数据难集成、智能化分析水平低等问题。

智能化煤矿数据仓库建模方法

煤矿海量数据存在“数据孤岛”、关联性弱、因缺乏数据管理体系而导致数据质量差等问题,难以充分利用,无法为煤矿智能化提供分析决策支撑。数据仓库可满足煤矿多源异构数据集成需求,为煤矿智能化应用提供数据基础。通过分析煤矿数据类型、特点及实际数据智能化应用需求,研究了智能化煤矿数据仓库建模方法。首先,构建了智能化煤矿数据仓库分层架构,分析了原始数据层、明细数据层、基础指标层、服务数据层、公共维度层数据模型特点;其次,以综采工作面数据为例,从业务数据分析、应用需求分析、分层架构设计等方面阐述了数据仓库建模过程;再次,介绍了煤矿数据仓库中数据模型构建方法,即通过维度对齐、维度关联、维度化指标聚合等将原始数据转换为数据仓库维度模型,解决了不同维度的煤矿数据关联应用问题;最后,为解决煤矿数据仓库的可迁移性问题,提出了煤炭行业通用数据仓库+参数化ETL(抽取、转换、加载)方法的煤矿参数化数据仓库设计思路。在实验室环境下搭建了煤矿数据仓库平台,对山西天地王坡煤业有限公司综采工作面数据进行处理,并基于处理数据辅助机理模型分析、实现可视化管理驾驶舱,验证了智能化煤矿数据仓库的实用性;对比了原始数据模型与智能化煤矿数据仓库的性能指标,结果表明智能化煤矿数据仓库的数据组织度、模型复用度和迭代难易度均优于原始数据模型,且数据查询响应时间缩短50%以上。

煤矿多源异构数据传输及管控方法研究

针对煤矿多源异构数据采集传输难度大、集成管理困难等问题,根据智能化煤矿数据的特点,总结了煤矿主要指标数据的采集方法,构建了煤矿多源异构数据分布式分类存储系统,并运用Socket通信原理实现了数据采集系统与存储系统间的数据转换。同时,以煤矿多源异构数据的采集和存储方法为基础,分别开发了煤矿运维服务平台和煤矿数据监控平台,并成功应用于煤矿现场。研究实践表明:(1)通过在数据采集系统和存储系统之间建立基于Socket通信原理的数据传输模式,该模式下能自定义传输数据的大小,实现了煤矿数据的快速转换。(2)分布式分类存储系统的应用实现了煤矿多源异构数据的统一管理和利用,极大地减少了煤矿“信息孤岛”的现象。(3)煤矿运维服务平台和煤矿数据监管平台分别实现了对煤矿实时数据和全历史数据的分析与监控。2个平台的成功应用,也间接验证了基于Socket通信的数据传输方式的可靠性。

智能化煤矿大数据治理关键技术研究、实践与应用

针对智能化煤矿建设过程中存在的“数据孤岛”现象严重、数据质量低、数据治理体系缺乏、数据赋能不够充分等问题,分析了智能化煤矿大数据治理的基本需求,研究了智能化煤矿的数据采集和存储、数据清洗与标准化处理、数据资产规划、数据共享交换等关键技术。结合小保当煤矿数据治理现场实践情况,提出了基于工业互联网体系的智能化煤矿大数据治理总体技术架构,该架构功能与智能化煤矿大数据治理的基本需求相对应,向下实现多源异构感知数据的接入、集成和融合,向上为各种煤矿智能化应用开发提供数据服务,中间沉淀煤矿各类业务指标、模型算法,形成煤矿重要的数据资产。基于不同的数据接入协议,通过数据接入存储服务统一接入煤矿各系统的数据;通过数据清洗与标准化服务实现数据加工,提升数据质量;采用分层治理架构将数据转换为体系化的分层数据资产;通过数据共享服务将数据资产以标准接口的方式提供给其他系统使用,实现数据价值落地。从煤矿单系统应用、矿井级应用和公司级系统应用全方面展示智能化煤矿数据治理成果在不同业务场景下的实践应用情况,智能化煤矿大数据经过统一的数据治理之后,能够实现数据的融合应用,打破数据孤岛,提升数据质量,形成煤矿独有的数据资产,为煤矿生产运营提供重要价值。

基于HBase与Netty的煤矿微震时序大数据存储优化

在当前智能煤矿场景中,大量煤矿微震传感器所产生的时序数据呈爆炸式增长,进而对现有的存储系统及性能都有了更高的要求。目前已经存在基于分布式列族数据库HBase能够存储工业时序大数据的实例,但是由于没有考虑到特定业务场景中数据的特征关联问题,现有的策略仍然无法较好地满足煤矿微震波形时序数据的特定存储需求。针对上述问题,基于分布式存储系统HBase,利用煤矿微震波形时序数据的特征,提出了基于HBase与Netty的煤矿微震时序大数据存储性能优化(CM^(2) TS-HBase),分成四个部分,分别为数据采集层、数据预处理层、数据中转层以及数据存储层。其中,数据采集层分为离线部分与实时部分,离线部分即存储在数据中心硬盘中的历史微震时序数据文件,实时部分即部署在某煤矿的多个微震波形传感器通过网络实时地向数据预处理层进行数据缓冲;数据预处理层实现对波形时序数据的文件进行对齐、解析以及序列化操作。根据煤矿微震波形时序数据特征提出了适用于微震波形时序数据的HBase数据表结构、预分区策略以及主键优化策略,有效地解决了数据存储过程中出现的数据热点问题以及数据分散问题;数据中转层提出了基于Netty与Redis的数据转发中间件平台为整个存储体系提供异步处理机制,较好地解决了高并发存储问题;数据存储层是基于分布式数据库HBase作为存储体系的底层存储媒介。最终根据真实数据集的存储耗时证明了相较于原生存储方法(HBase API)与基于金融时序数据存储优化(FTBase),CM2T S-HBase在煤矿微震时序数据的存储性能有了明显提高。

煤矿安全大数据特征及治理方法体系研究

高效分析利用煤矿安全大数据,对于提高煤矿的安全管理水平和生产效率具有重要意义。目前煤矿安全大数据治理存在数据特征不明、治理方法不清等问题,针对该问题,着重分析了煤矿安全大数据特征,得出煤矿安全大数据具有5V特征,即数据体量大(Volume)、数据类型多(Variety)、处理速度快(Velocity)、价值密度低(Value)、真实性(Veracity),此外还具有结构化程度不一致的特征。介绍了可应用于煤矿安全管理中的主要数据治理方法及模型,并分为单变量方法、多变量统计分析方法、智能模式识别方法、系统动力学模型和综合集成模型五大类。从主体和客体的视角,提出了煤矿安全大数据治理方法体系,认为数据治理方法的选择必须与智慧矿山的主体、客体的数据治理目标相契合。基于主体的治理方法选择:根据数据主体的需求、层次、担负的任务及安全管理目标确定数据治理具体内容;基于客体的治理方法选择:根据客体对象的时效性、吞吐量要求及安全管理目标确定数据治理具体内容。最后得出煤矿安全大数据治理方法的确定需要在统一目标和统一标准下,根据作用域和作用对象的不同,满足共性和个性需求。

浅析大数据技术助力煤矿安全管理

针对计算机技术、物联网技术在煤矿安全管理中的广泛应用,产生了大规模的数据,为煤矿的安全管理提供了新的思路。分析了煤矿数据的特点,阐述了大数据技术在煤矿应用的可行性;探讨了大数据技术在煤矿安全管理中的应用前景。

基于大数据分析的煤矿通风自动控制系统

为提升煤矿通风控制的自动性和可靠性,保障煤矿井下的作业安全,实现煤矿可靠通风,设计基于大数据分析的煤矿通风自动控制系统。该系统的煤矿环境监测层通过各类传感器感知并采集煤矿环境大数据,经由网络节点传送至通风系统自动控制层;通风系统自动控制层的云监测模块构建煤矿环境数据分析的大数据集群体系,存储并分析感知获取的煤矿环境数据,得出煤矿内粉尘、瓦斯浓度等结果后,将该结果传送至自动控制决策模块的工控机中。工控机下达主控指令,PLC控制柜接收该指令后,利用变频通风的模糊PID控制器的通风自动控制方法,自动控制煤矿通风。测试结果显示,该方法的大数据并行存储执行时间均低于25 s,并且能可视化呈现出煤矿环境感知数据,能够依据煤矿中有害气体浓度进行通风自动控制。

煤矿变电所数据自动采集与实时监控方法的研究

针对煤矿变电所数据自动采集和实时监控中存在的问题,描述了循环式远动规约帧结构、同步字、控制字和信息字等的组成。给出了设计思路,包括数据采集、实时监控、数据传输和数据浏览等4个步骤。

大数据和云计算在煤矿安全高效开采运用前景展望

随着矿山生产机械化程度日益提高,设备智能化、管控自动化、远程遥控等已成为煤炭行业发展趋势,目前淮南煤矿配备的以信息化为目的软硬件平台难以满足企业转型发展需求。文章对大数据+云计算在淮南煤矿安全高效生产运用前景进行了展望,预测智慧矿山将是解决矿山安全、提升效益的必然选择。

煤矿企业数据研究

概述了煤矿企业数据的组成和依赖关系,详细介绍了煤矿技术数据的结构和属性,分析了煤矿企业数据的特点和相互关系:煤矿企业数据具有很强的相关性和层次性,且具有很强的地理空间背景。通过分析得出结论:煤矿信息化的基础工作是技术管理信息化;煤矿信息化软件要与地理信息系统集成或无缝融合。

基于MongoDB的煤矿大数据管理研究

随着煤矿各类数据呈指数型的增长,对煤矿生产中海量数据的高效率存储和访问提出了新的要求,应用MongoDB建立的具有高伸缩性和高可用性数据库,就具有SQL数据库无可比拟的优势,使用No SQL技术处理煤矿大数据,对于煤矿生产管理的发展将具有积极的意义。

煤矿数据安全保护的研究与应用

通过对煤矿数据保护重要性的分析,提出利用现有高新技术手段进行煤矿数据保护的方法,并阐述了数据保护的研究设想,该项研究技术的实施将成为"事故分析处理、科学管理"方面的关键技术装备,并能填补煤矿数据安全防护技术的空白领域。

煤矿技术数据利用现状分析

本文首先概述了煤矿企业对其技术数据的利用形式及其相互关系,并根据对我国几个典型煤业集团的信息化调查,按地测、采掘、通风以及机电等专业说明了煤炭企业技术数据利用现状。最后,论文从管理人员对煤矿信息化认识上的偏差和各专业的特点对煤炭企业技术数据利用现状进行了分析,并得出如下结论:煤矿技术数据存入数据库并进行综合利用是煤矿信息化的关键。

煤矿嵌入式移动数据库的技术体系与应用

在移动计算技术快速发展的今天,移动数据库已经在经济社会发展的多个领域得到了广泛的应用,在嵌入式操作系统中更是显示出了不可比拟的优势。但是,移动环境的诸多特性--频繁断接收、低带宽、电耗限制--给煤矿嵌入式移动数据库的建设带来了许多新的挑战。从这一视角出发,文章首先对煤矿嵌入式移动数据库所具有的优势进行了分析,然后讨论了其关键技术和体系结构,最后探讨了煤矿嵌入式移动数据库在多个不同领域的具体应用。

基于数据挖掘的煤矿大数据可视化管理平台研究

为了使煤炭企业有效地管理和应用数据资源,提出了基于数据挖据的煤矿大数据可视化管理平台,分析了该平台的总体设计思路,介绍了该平台的总体架构和功能模块设计,阐述了该平台在大同煤矿集团铁峰煤业有限公司的应用效果。实际应用表明,该平台实现了煤炭企业内部数据的全面管理和应用,为煤炭企业管理、决策、预警等提供全面可靠的数据支撑。