基于Hadoop的煤矿数据中心架构设计

根据煤矿安全生产业务需求及智慧矿山发展要求,新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储,数据集成、业务应用及数据分析难度大等问题,设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce,Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式存储数据库实现历史数据的持久化存储,利用其无模式稀疏设计满足同一时空坐标体系下的数据分析需求;采用Redis作为实时数据库存储数据快照进行最新数据检索。基于Hadoop的煤矿数据中心充分利用大数据技术的高速数据存取和压缩性能,通过统一的云计算数据中心,有效降低了煤炭企业数据应用的复杂度及数据中心日常运维难度,可为智慧矿山建设奠定数据基础。

智慧煤矿数据驱动检测技术研究

数据驱动检测技术是智慧煤矿发展的有效组成部分,其在无需知道智慧煤矿大数据系统精确解析模型的情况下完成对未来对象系统行为的预测。针对智慧煤矿的生产运行智能化、安全生产本质化、运营模式科学化等难题,分析了数据驱动检测技术在煤矿设备故障诊断、胶带运输异物检测、煤矸检测辨识等3个方面的应用现状。展望了数据驱动检测技术在这3个方面的发展趋势:①模糊数学与人工神经网络应更加有效融入煤矿设备故障诊断中;②视频防抖、图像分割及目标检测技术应更加有效融入胶带运输异物检测中;③分拣机器人、计算机视觉及图像识别技术应更加有效融入煤矸检测辨识中,提高算法普适性将是煤矸图像识别发展的方向之一。

基于煤矿数据模型的移动监控系统

随着大型煤炭基地设备监控和业务系统的数据和系统大量增加,以及矿井移动终端设备的普及,如何有效管理多个煤矿不同系统的生产数据、监控画面,提高系统整体使用水平的问题日益突出。本文设计并实现一种移动监控系统、统一的数据模型,按照设备和业务系统分组管理生产数据,统一的设备监控画面模型,规范不同业务系统的监控内容;统一的用户权限管理,保证移动端的安全控制访问。该系统主要解决煤矿数据监控难题,随时随地监控生产过程,实现煤矿生产的精细化管理。

煤矿数据安全保护的研究与实现

随着科技水平的不断提高和经济建设的需要,煤矿开发需求量不断加大,同时要保证煤矿安全事故发生系数在可控范围内。煤矿由于自身条件限制,工作环境相对恶劣,工作人员操作不规范、设备的性能限制等因素都易引发安全事故。安全事故的发生,将会对煤矿企业的人、财、物等造成损失,影响企业的正常生产,造成严重的不良社会影响,文章对煤矿数据安全保护进行研究,以提高企业的安全生产水平。

智能煤矿数据中台架构及关键技术研究

数据中台是智能煤矿建设的数据底座,是煤矿大数据应用的基础。提出了包含数据汇聚、数据开发、数据存储、数据资产管理、数据服务等的智能煤矿数据中台建设思路;设计了智能煤矿数据中台架构,分析了数据中台的数据标准规范、大数据基础支撑、数据汇聚、数据开发、数据资源池、数据资产管理、数据服务、运维保障等功能模块;探讨了建设智能煤矿数据中台过程中高并发低时延数据处理、数据分级分类存储、数据治理、基于大数据的煤矿灾害风险模型构建等关键技术的解决方案。应用表明,智能煤矿数据中台实现了数据汇聚、数据开发,以及各类感知数据、基础数据、管理数据的分级分类存储、数据资产管理、数据建模、模型训练、数据服务等,使得煤矿多源异构数据从数据资源变为数据资产,可提供基于大数据的调度决策、灾害风险分析、设备健康诊断、预防性维护等应用,解决了煤矿信息孤岛严重、数据难集成、智能化分析水平低等问题。

智能化煤矿数据仓库建模方法

煤矿海量数据存在“数据孤岛”、关联性弱、因缺乏数据管理体系而导致数据质量差等问题,难以充分利用,无法为煤矿智能化提供分析决策支撑。数据仓库可满足煤矿多源异构数据集成需求,为煤矿智能化应用提供数据基础。通过分析煤矿数据类型、特点及实际数据智能化应用需求,研究了智能化煤矿数据仓库建模方法。首先,构建了智能化煤矿数据仓库分层架构,分析了原始数据层、明细数据层、基础指标层、服务数据层、公共维度层数据模型特点;其次,以综采工作面数据为例,从业务数据分析、应用需求分析、分层架构设计等方面阐述了数据仓库建模过程;再次,介绍了煤矿数据仓库中数据模型构建方法,即通过维度对齐、维度关联、维度化指标聚合等将原始数据转换为数据仓库维度模型,解决了不同维度的煤矿数据关联应用问题;最后,为解决煤矿数据仓库的可迁移性问题,提出了煤炭行业通用数据仓库+参数化ETL(抽取、转换、加载)方法的煤矿参数化数据仓库设计思路。在实验室环境下搭建了煤矿数据仓库平台,对山西天地王坡煤业有限公司综采工作面数据进行处理,并基于处理数据辅助机理模型分析、实现可视化管理驾驶舱,验证了智能化煤矿数据仓库的实用性;对比了原始数据模型与智能化煤矿数据仓库的性能指标,结果表明智能化煤矿数据仓库的数据组织度、模型复用度和迭代难易度均优于原始数据模型,且数据查询响应时间缩短50%以上。

煤矿设备数据管理系统设计及性能测试

基于Hadoop平台设计了煤矿设备数据管理系统,该管理系统立足于煤矿领域,能够实现煤矿设备的实时管理。数据采集系统采用OPC服务器,将来自不同协议的数据桥接到OPC客户端应用程序。在Redis的基础上设计了煤矿设备数据传输架构,实现煤矿设备数据采集、传输、处理和应用。通过设计管理系统的人机交互界面,实现设备数据信息数据的监控,并对管理系统的性能进行了测试。该管理系统具有良好的稳定性。

煤矿工业数据AI模型自动推理技术

煤矿生产过程的智能化主要依托于人工智能(AI)技术分析煤矿工业数据,但单一应用场景AI模型无法适用于煤矿复杂的应用场景,且仅使用分布式计算来处理AI模型输入特征值会导致模型应用效率降低。针对上述问题,提出了一种煤矿工业数据AI模型自动推理技术。该技术架构包括数据层、计算驱动层和模型推理层:数据层采集各类监测数据并统一存储,为计算驱动层提供原始数据;计算驱动层将数据层采集的海量原始数据转换成煤矿应用场景AI模型输入特征值,通过煤矿应用场景AI模型输入特征值双计算引擎自动切换机制,根据数据量自动合理地选择使用基于Spark的分布式计算方式或基于Python的单机计算方式,解决了海量数据计算速度慢、数据应用延迟大的问题;模型推理层将特征值输入应用场景AI模型进行推理,引入煤矿应用场景AI模型多触发方式协同推理机制,通过定时触发、人为交互触发、信号反馈触发3种触发方式,解决了在煤矿复杂的应用条件下单一应用场景AI模型利用效果差的问题。测试和应用结果表明,该技术可实现多应用场景AI模型输入特征值的快速计算,以及不同应用场景AI模型的快速、自动、协同推理。

浅析大数据技术助力煤矿安全管理

针对计算机技术、物联网技术在煤矿安全管理中的广泛应用,产生了大规模的数据,为煤矿的安全管理提供了新的思路。分析了煤矿数据的特点,阐述了大数据技术在煤矿应用的可行性;探讨了大数据技术在煤矿安全管理中的应用前景。

煤矿多源异构数据传输及管控方法研究

针对煤矿多源异构数据采集传输难度大、集成管理困难等问题,根据智能化煤矿数据的特点,总结了煤矿主要指标数据的采集方法,构建了煤矿多源异构数据分布式分类存储系统,并运用Socket通信原理实现了数据采集系统与存储系统间的数据转换。同时,以煤矿多源异构数据的采集和存储方法为基础,分别开发了煤矿运维服务平台和煤矿数据监控平台,并成功应用于煤矿现场。研究实践表明:(1)通过在数据采集系统和存储系统之间建立基于Socket通信原理的数据传输模式,该模式下能自定义传输数据的大小,实现了煤矿数据的快速转换。(2)分布式分类存储系统的应用实现了煤矿多源异构数据的统一管理和利用,极大地减少了煤矿“信息孤岛”的现象。(3)煤矿运维服务平台和煤矿数据监管平台分别实现了对煤矿实时数据和全历史数据的分析与监控。2个平台的成功应用,也间接验证了基于Socket通信的数据传输方式的可靠性。

基于机器学习的煤矿采矿数据分析方法研究

煤矿自动化采矿数据具备大容量、变化迅速及时间序列长的特性,这对传统数据分析方法提出了严峻挑战。鉴于机器学习技术强大的数据处理与学习能力,本研究致力于构建一套基于集成学习、深度学习等先进算法的数据分析模型。该模型利用煤矿实时采集的数据,对采掘过程中的关键参数进行精准预测与判断。经过验证,相较于传统方法,本研究提出的方法在数据处理效率与预测精度上均展现出显著提升。更重要的是,模型还成功挖掘出采掘过程中的隐藏信息及未知关联,为矿场作业的安全与效率提升提供了有力支持。本研究不仅为煤矿作业的高效、智能化提供了新的技术路径,也为其他类似领域的数据分析提供了有益的参考。

煤矿大数据平台构建及智能决策支持系统优化

大数据与人工智能技术应用于煤矿的安全生产中显得越来越重要。文章就煤矿大数据平台建设方法与智能决策支持系统优化策略及其在煤矿安全生产方面的运用进行论述。研究背景着眼于信息技术的飞速发展,旨在促进煤矿安全管理水平的提高,防止和降低煤矿事故的发生。对煤矿大数据平台的建设过程进行分析,主要从数据采集,存储,加工以及应用几个关键环节进行阐述,对其中的关键技术进行讨论,例如数据挖掘,机器学习以及云计算。同时提出智能决策支持系统的优化策略及改进措施,其中涉及数据融合,模式识别,神经网络等关键技术。以典型煤矿企业为例进行应用实例研究,得出大数据平台建设与智能决策支持系统优化过程中的经验与教训。结论突出了煤矿大数据平台与智能决策支持系统集成对提高煤矿安全管理水平的重要性,今后必将在煤矿安全生产领域中扮演更重要角色。

煤矿变电所数据自动采集与实时监控方法的研究

针对煤矿变电所数据自动采集和实时监控中存在的问题,描述了循环式远动规约帧结构、同步字、控制字和信息字等的组成。给出了设计思路,包括数据采集、实时监控、数据传输和数据浏览等4个步骤。

大数据和云计算在煤矿安全高效开采运用前景展望

随着矿山生产机械化程度日益提高,设备智能化、管控自动化、远程遥控等已成为煤炭行业发展趋势,目前淮南煤矿配备的以信息化为目的软硬件平台难以满足企业转型发展需求。文章对大数据+云计算在淮南煤矿安全高效生产运用前景进行了展望,预测智慧矿山将是解决矿山安全、提升效益的必然选择。

煤矿企业数据研究

概述了煤矿企业数据的组成和依赖关系,详细介绍了煤矿技术数据的结构和属性,分析了煤矿企业数据的特点和相互关系:煤矿企业数据具有很强的相关性和层次性,且具有很强的地理空间背景。通过分析得出结论:煤矿信息化的基础工作是技术管理信息化;煤矿信息化软件要与地理信息系统集成或无缝融合。

基于MongoDB的煤矿大数据管理研究

随着煤矿各类数据呈指数型的增长,对煤矿生产中海量数据的高效率存储和访问提出了新的要求,应用MongoDB建立的具有高伸缩性和高可用性数据库,就具有SQL数据库无可比拟的优势,使用No SQL技术处理煤矿大数据,对于煤矿生产管理的发展将具有积极的意义。

煤矿数据安全保护的研究与应用

通过对煤矿数据保护重要性的分析,提出利用现有高新技术手段进行煤矿数据保护的方法,并阐述了数据保护的研究设想,该项研究技术的实施将成为"事故分析处理、科学管理"方面的关键技术装备,并能填补煤矿数据安全防护技术的空白领域。

煤矿技术数据利用现状分析

本文首先概述了煤矿企业对其技术数据的利用形式及其相互关系,并根据对我国几个典型煤业集团的信息化调查,按地测、采掘、通风以及机电等专业说明了煤炭企业技术数据利用现状。最后,论文从管理人员对煤矿信息化认识上的偏差和各专业的特点对煤炭企业技术数据利用现状进行了分析,并得出如下结论:煤矿技术数据存入数据库并进行综合利用是煤矿信息化的关键。

煤矿嵌入式移动数据库的技术体系与应用

在移动计算技术快速发展的今天,移动数据库已经在经济社会发展的多个领域得到了广泛的应用,在嵌入式操作系统中更是显示出了不可比拟的优势。但是,移动环境的诸多特性--频繁断接收、低带宽、电耗限制--给煤矿嵌入式移动数据库的建设带来了许多新的挑战。从这一视角出发,文章首先对煤矿嵌入式移动数据库所具有的优势进行了分析,然后讨论了其关键技术和体系结构,最后探讨了煤矿嵌入式移动数据库在多个不同领域的具体应用。

基于数据挖掘的煤矿大数据可视化管理平台研究

为了使煤炭企业有效地管理和应用数据资源,提出了基于数据挖据的煤矿大数据可视化管理平台,分析了该平台的总体设计思路,介绍了该平台的总体架构和功能模块设计,阐述了该平台在大同煤矿集团铁峰煤业有限公司的应用效果。实际应用表明,该平台实现了煤炭企业内部数据的全面管理和应用,为煤炭企业管理、决策、预警等提供全面可靠的数据支撑。