基于分布式的省级气象数据中心硬件监控告警系统

随着气象行业的快速发展,各级气象部门对信息化建设支持的力度不断增加,而气象业务的开展需要依赖各类信息系统和基础设施。目前省级气象数据中心承载了多种气象业务,业务种类繁多,存在多种异构设备,缺乏有效的集中硬件监控告警系统,给业务运维人员带来了极大的困难。针对此问题,本文分析多源复杂的气象数据环境中异构设备的差异及监控现状,设计“全流程”“集中化”“可视化”的综合硬件监控系统,采用Mycat+MySQL+Haproxy+Keepalived的技术架构,构建一个高可用、高性能和可扩展的分布式数据库集群,实现对硬件监控数据的采集、加工处理、存储、自定义告警和可视化展示。目前,该系统已在甘肃省气象数据中心进行了业务使用,运行稳定,安全可靠,能够帮助运维人员及时定位系统故障,从而提高了硬件设备监控运维的效率,能够为社会用户提供高效的气象数据服务。

基于大数据的分布式光伏智能监控关键技术研究

为应对传统分布式光伏监控系统的难以部署、高成本和无人值守等问题,本文提出了一种基于大数据技术的Web分布式光伏智能监控技术。该技术旨在监控每台光伏逆变器的工作参数和整个光伏发电系统的运行状况,并通过实时智能分析挖掘数据,以解决传统系统存在的问题。此技术已在分布式光伏智能监控实验平台上得到验证,表现出良好的运行效果。

高帧频面探测器分布式数据获取软件研究

高帧频面探测器是上海硬X射线自由电子激光装置(Shanghai HIgh repetitioN rate xfel and Extreme light facility,SHINE)上主要成像类实验站的核心探测器,其预计数据通量将达到20 GB·s^(-1)以上。对于几十GB·s^(-1)原始数据流的实时接收和处理,传统单机系统很难应对。本文提出了一种多节点分布式面探测器数据获取和处理软件架构。首先,研究了不同网络库的性能,采用同步传输和CPU线程绑定等方法实现了接近3 GB·s^(-1)的单线程数据接收速率;依据X射线脉冲编号(Bunch ID)进行各模块数据的多节点分发与合并,采用4个节点实现了约23.5 GB·s^(-1)的并行事例重建速率;进一步,对数据刻度和压缩算法进行了实现和测试,结合bitshuffle和LZ4压缩算法,实现了约5.7倍的压缩率。本文验证了多节点分布式的并行数据获取方法的可行性,为后续面探测器高通量数据获取软件的开发打下基础。

有限干扰下一种稳定的分布式监控算法

分布式监控问题作为分布式系统中的一个热点领域,主要关注如何高效地协调多个传感器与中枢处理器之间的计算任务。与将所有传感器信号实时传输至中枢的低效方法相比,分布式算法通过逐轮统计、汇总结果后再发送给中枢,显然更经济。良好的分布式监控算法能以较小的通信代价完成对特定目标的监控任务,有效节约传感器电能,延长使用寿命。该类算法对通信效率和准确性有双重需求。然而,目前对于基于预设概率分布的分布式阈值监控问题的研究相对有限,且现有研究往往基于理想化的假设,导致所设计的算法对实际干扰缺乏抵抗能力。通过引入干扰因素来模拟现实世界的复杂性,旨在寻找更为鲁棒的分布式监控算法。所提算法通过合理选择通信时机,不仅减少了通信次数,显著降低了通信代价,同时也保证了有干扰的环境下的分布式算法的准确性。所提算法的准确性可以在理论层面得到证明,其通信代价在干扰较少时可达到O(K loglog N)。这一研究为分布式监控算法提供了新的视角,为现实复杂监控问题的解决提供了有力支持。

在数据网格环境中可靠获取分布式数据的方法

为了保证数据密集型网格中的数据的可获取性,采用对数据资源增加存储副本的方法,提出了一种数据密集型网格环境下的大数据分片存储及散发方法,并设计了一种数据自动复制及散发模型。初步实验表明该方法能够以较小的系统代价大幅度提高数据的可获取性。

基于分布式数据库系统的监控系统的开发模型及其实现

分析了在目前监控系统开发中数据库应用面临的普遍问题,从实际应用的角度出发提出了在监控系统开发中数据库应用开发应该遵循的原则并通过比较提出了适应用户需求的一种数据库应用开发模型,最后结合作者的开发产品的实例进行了说明。并对数据库系统适应当前应用的发展方向作了展望。

分布式变电站监控系统数据库结构的研究

在分析分布式结构变电站自动化系统硬件结构的特点及其相互关系的基础上 ,提出了适合于分布式结构变电站和电力调度监控系统的新型数据库结构——面向对象 (设备间隔单元 )的数据库结构 ,它与 RTU模式变电站监控系统数据库结构比较 ,表明其数据操作具有较高的可靠性和快速性 ,并讨论了其对调度监控系统的影响及对远动协议的改革建议。

基于数据的分布式网络视觉监控系统设计与实现

数据的组成结构和存储管理方法是影响软件的运行效率和安全性、维护和扩展性以及通用性优劣的关键因素。本文介绍的分布式网络视觉监控系统是在分析归纳视觉监控系统数据的种类和操作处理特点的前提下,确定了分布式存储和管理数据的基础上所开发的软件。该系统在确保运行安全性的前提下较好地解决了监控系统处理数据量大、实时性要求高和网络运行效率的矛盾,同时软件的三层结构保证了系统组成配置的灵活性和通用性。

分布式控制技术在农田网络监控系统中的应用

传统的农田状态监控以人工监测为主,监测范围小、精度低,数据更新不及时,状态监控可视化不强,不同农田之间缺乏数据共享,严重影响了农田作物的生产质量。为提高农田监控效率和监测精度,引入了分布式控制技术,基于分布式控制技术的结构原理,对控制端、配置端及节点端的数据处理流程进行优化,完成了基于分布式控制技术的农田网络监控系统研究,对农田网络监控系统的硬件总体方案进行设计,并对硬件系统的微处理器、土壤湿度测量模块、光照强度测量模块、大气压测量模块等进行硬件选型和电路原理设计,最后完成农田网络监控系统监控界面的设计。试验结果表明:基于分布式控制技术的农田网络监控系统能够及时准确监测农田的空气温湿度、土壤湿度、光照强度及大气压等数据,且能同步在远程操作终端上进行实时显示和更新,实现了不同农田之间的数据共享,为农业生产提供切实可行的作业指导依据。

分布式监控系统数据服务器结构设计

分布式监控系统由多个监控子系统组成，负责临近多种设备。本文根据现场监测设备种类多、结构复杂等特点，针对工控信息、管理信息集成等需求，提出了一种基于数据交换的数据服务器结构。该数据服务器实现了控制系统实时数据采集、处理、存储、发布的统一管理，采用数据服务的在线监督，将工控网络同管理网络分隔开，实现了数据的安全、动态发布。系统采用数据驱动的交换式结构，数据处理组件化，系统结构灵活、扩展方便。

分布式数据监控系统的设计和实现

市场经济环境下,引入先进的信息技术可以加强宏观调控的科学性和提高宏观调控的效率,加大监控力度和监管效率。远程数据监控所获取的数据可以作为宏观调控的数据参考和依据,其具有数据容量大,监控现场环境复杂,原始数据来源多样化和异构化等特点。对此,提出了分布式监控系统功能结构和整体架构方案,分布式异构数据库设计方案,远程服务接口设计和实现方法。提出了客户端安全验证机制和远程服务调用的实现。

分布式数据采集与监控系统的时间同步及其软件编程

在通信技术领域中,时间点的同步具有重要的作用,因此相关方面的技术内容研发也十分广泛,它主要结合数据采集,数据分析和数据统计,实现软件编程的合理应用。分布式数据收集与监控系统结合使用,并通过时间同步技术提高整体性能。因此在对满足数据需求的基础上进行实时数据的扩散与分析,构建自身以时间为基准的逻辑数据的分析成为当前时间同步系统应用的重要内容。文章以时间同步技术为理论核心,从而在数据采集与监控系统的应用过程中,分别依据技术需求,实现数据采集与监控系统应用的标准化操作。

分布式异构实时监控数据库系统的设计与实现

在开发发电厂分布式实时监控与数据库管理系统时 ,常常遇到这样的两个问题 :一是在作发电机组的实时监控与实时数据库管理系统的开发过程中 ,各系统的开发是分批进行的 ,也就是说如果某发电厂有四台发电机组 ,可能由于投资方面的原因 ,需要 2～ 4年才能完成 ,而且每台发电机组的系统开发组织不是同一个 ;另外一个问题是当所有的独立系统开发完成之后 ,由于各个系统所使用的网络技术和网络体系结构各不相同 ,各系统所开发的数据库也各不相同 ,因此需要将它们进行集成 ,形成全盘的实时分布式监控与数据库管理系统 .本文对以上遇到的问题进行了比较详细的讨论 ,对异构网络的互连方案、异构网络环境下实现分布式特性的解决方案、异构网络环境下的实时通信问题的解决方案以及异构数据库系统之间的数据交换与实时共享问题的解决方案进行了设计 .

油田分布式数据采集监控系统设计与实现

针对新疆地区油田抽油机数量庞大且设备地理位置分布较分散的问题,设计了基于油田抽油机的分布式移动无线数据采集监控系统。系统采用现场工业控制和无线通讯远程操作相结合的办法,达到了实时掌握抽油机的工作状态、及时发现抽油机故障并远程控制抽油机的目的,最终实现了油田分布式数据的采集和监控,实验证明该系统具有很好的前景和应用价值。

基于实时数据库的分布式城市交通监控系统设计

采用实时数据库技术、分布式技术、PC and Sun W orkstation结构和V isual C++6.0,设计了基于W indow s平台的实时城市交通监控系统,监测系统则由一个交通监控中心和若干分中心组成。该系统的监控子系统由事件自动检测系统、通讯设备、报警系统、指示装置和实时数据库组成,事件自动检测系统由实时交通信息的采集单元和检测交通事件算法组成。监控系统有效地减少网络开销,增加系统的实时性,提高事件自动探测的工作效率。

用VB6.0实现分布式监控系统中的数据通讯

本文详细介绍了用VB实现分布式监控系统中的数据通讯,用数据通信将微机连在一起实现数据共享,从而对发射机状态进行集中监视管理和分散控制。

分布式监控服务中数据融合算法实验

针对分布式环境下监控服务的决策判断准确度不够高的问题,提出了多层次多方面的监控数据框架,并将数据融合过程加入监控服务中。首先,基于发布/订阅中间件平台,设计了采集主机、进程和网络资源数据的监控服务;然后;应用阈值法和Three-Sigma法,把资源数据融合生成逻辑数据。真实环境中的实验结果表明,阈值法能及时准确检测用户定义事件,但参数设置经验性较强;Three-Sigma法无需事先确定参数,但抗干扰性差,导致虚警率较高。最后,利用趋势移动平均法分析某个进程内存使用量,得出内存周期性泄漏的结论。

分布式过程监控与仿真中的远程数据通信设计及实现

本文介绍了基于公用电话网络实现的分布式数据采集和远程数据通信系统的设计方法,该系统具有成本低廉、简单易行、通用性较强、应用灵活方便等特点,现已成功地应用于某钢厂三个分布式炼钢车间的钢件冶炼过程的远程监控与仿真控制系统中,经过快一年的试用,系统的软、硬件运行稳定、可靠、效果良好。

高能物理分布式数据获取架构的设计与实现

当代高能物理实验规模庞大且产生的实验数据量急剧增加,向数据获取软件系统提出更为严格、复杂、高性能的处理要求。借助于高速互联网络和强大的处理单元,采用分布式的数据获取软件的数据收集和处理能力得到显著提升,从而更高效地实现粒子物理实验数据获取目标。这种分布式数据获取处理架构在功能上主要负责对多个数据处理进程的运行控制和管理、软硬件配置、状态监控、信息共享和交互等。相较于基于消息传递的分布式协调服务,以Redis为中心的共享内存技术简化了数据获取系统中多进程间的同步,实现轻量级的CAP最终平衡,还作为中心数据库完成数据获取过程中信息的共享需求,是实现分布式处理框架的一种方便、轻巧、实用的解决方案,在当前规模的高能物理实验计算集群中可以可靠、稳定地开发实现和部署运行。

基于CORBA的分布式数据库监控系统研究与实现

针对当前分布式数据库性能监控软件在实时监测、提前预警、灵活性和二次开发等方面存在的一些问题,设计并实现了一种基于CORBA的分布式Oracle数据库监控系统.系统采用基于层次的内容呈现方式,并通过预测模型方法有效降监控引起的网络流量.实际应用证明,该系统能够在多层次多粒度上对分布式Oracle数据库系统和服务器资源情况进行持续地实时监控,能对潜在故障进行提前预警,能对被监控系统进行全面分析,还具有一定的远程处理功能.