基于influxDB的工业时序数据库引擎设计

工业时序数据具有测点多、采样频率快、读取性能要求高等特点。influxDB提出时间结构合并树TSM,解决了数据的读写性能优化问题,并针对整数、浮点数、布尔、字符串、时间五种数据类型采用不同的压缩算法。它在读写性能、存储空间占用方面取得了较好的效果,在开源时序数据库软件中排名第一。针对influxDB元数据结构相对于工业时序数据过于复杂的问题,提出简化后的TSM文件结构,开发工业时序数据库的引擎,并进行了读写性能测试。结果显示,该引擎一次5万点整型数据写入平均耗时约310 ms,读取1 000点共计100万条数据耗时约626 ms,并且具有很大的性能提升潜力。

基于InfluxDB的桥梁监测系统设计与实现

桥梁监测系统可以有效保障服役桥梁的安全性、耐久性和完整性。长期稳定的桥梁结构监测数据是桥梁监测系统安全运行的基础。由于监测数据的高采样频率的特性,导致现有的关系型数据库无法完成实时、高频、海量数据存储的任务。该文以赣江特大桥为监测对象,针对监测传感器数据中时间标签的唯一性,采用基于时序数据的InfluxDB数据存储引擎,为监控、统计、分析、告警和管理等提供数据访问服务,并在此基础上设计实现了一套桥梁监测系统。实践表明,该时序数据存储引擎能够提供海量的存储能力,同时兼顾极高的数据访问性能,为桥梁监测提供可行的数据存储方案。

基于InfluxDB的监控设备通用运维管理平台

监控设备大规模安装和应用带来了运维困难的问题.本文研发了一个通用运维管理平台,平台通过前端状态采集装置获取监控设备运行时产生的各种状态信息;平台的运维管理系统汇总、存储状态信息,并提供监控、统计、分析、报警等管理功能以支持运维业务;平台的可视化展示子系统对状态信息进行可视化渲染呈现,为系统运维提供智能化的支持.状态采集装置模块化和冗余设计使得设备具有通用性、可扩展性、高可靠性和易维护性.状态信息具有时序数据特征,运维管理系统使用InfluxDB存储状态信息,大幅度降低了存储空间需求,并保证了数据查询和管理的性能需求.基于InfluxDB的监控设备通用运维管理平台已在多个用户单位安装试用,运行状态良好,具有很好的经济社会效益和推广价值.

基于Telegraf+InfluxDB+Grafana搭建长输供热系统的监控平台研究

在现今工业生产中,对测量数据进行实时监控显得尤为重要,特别对于保障基础民生的产业方面,可以尽早排查问题并进行修复,提高居民生活的幸福感。本文以某长输供热系统为例,介绍使用开源工具Telegraf、InfluxDB和Grafana来搭建监控平台的方法。首先介绍这三种工具的作用以及优势,接着介绍如何将数据在三个工具之间进行传递,最后通过Grafana界面进行监控效果的展示。

网络设备的智能监控预警系统研究

随着教育新基建的推进,学校网络设施种类越来越多,难以在一个统一的平台上统一监控预警,给日常管理运维带来极大的困难。利用Telegraf、InfluxDB、Grafana在麒麟操作系统上构建网络设备的智能监控预警系统,通过迈普网络设备验证,监控平台实现了网络运行状态的可视化、故障的实时预警,提升了校园网智能化管理水平。

基于Opc+influxDb+grafana的数据可视化设备运维平台在钢铁企业的开发应用

设备高质量运行是钢铁企业提升产品质量和企业竞争力的基本要素,本文主要介绍基于Opc、Telegraf收集信息,influxdb时序数据库存储数据,grafana平台展示数据,实现基于大数据分析的可视化智能运维系统的应用,有效的解决了钢铁企业设备管理的共性问题,实现关键设备的全生命周期管理,提升了企业设备管理水平。

基于InfluxDB+Telegraf的运维监控平台建设研究

随着各部门信息化建设的不断深入,服务器和网络设备需求量也越来越大,项目日常运维面临对数量众多的网络设备和服务器的运维监控问题。为了更加直观、高效的对这些信息化设备实施运维监控,文章提出了一种基于InfluxDB的运维监控平台,来通过实时数据采集、可视化面板提高运维效率和运维水平。

基于数据采集的智能仓储监控系统

工业互联网技术的不断发展,使仓储管理对自动化、智能化的需求越来越高。本文提出了一套仓储监控系统设计方案,对不同设备进行数据采集并做实时流式处理,实现高吞吐量低延时的可视化数据监控与更加精准及时地告警管理,并且提供仓储系统的标识解析能力,打通仓储系统与工业互联网标识解析体系,以推动编码规范统一的仓储标识在行业广泛应用,加速仓储行业异主、异地、异构系统间的信息共享与高效业务协同。

时间序列数据库在桥梁结构监测系统中的应用

时间序列数据库是计算机技术发展的新技术,芜湖长江二桥结构监测系统应用时间序列数据库对原系统进行了升级改造,实现了数据实时采集、实时传输、实时存储,提高了数据库的可靠性和系统的稳定性,保证了数据的真实性。应用表明,时间序列数据库运行良好,各项性能指标均优于传统监测系统,该技术适合长大桥梁结构监测系统海量数据的数据库应用场景。

一种通用分布式数据抓取系统的设计与实现

设计并实现了一种通用的具有高可靠性和可扩展性的分布式网络数据抓取系统.给出了服务器和抓取节点的执行算法,并利用实时数据库Influx DB和可视化框架Grafana设计了抓取节点的性能监控系统.利用系统可以跟据需求对互联网的数据进行快速地抓取和收集.

云计算中心运维数据可视化研究

针对云计算中心运维数据分散、可视化程度低等问题,提出了建设基于InfluxDB和Grafana的云计算中心运维指标可视化平台。该平台从多个维度对运维数据进行展示,使用户能够全面了解云计算中心运行情况,提高运维管理工作的效率。

基于时序数据库与深度学习的制丝实时数据应用研究

【目的】研究气流烘丝机叶丝干燥工序出口叶丝含水率实时趋势预测的解决方案,提高产品工艺质量稳定性。【方法】基于时序数据库InfluxDB对实时生产数据进行存储、查询统计、分析告警,使用三次指数平滑算法、长短期记忆网络(LSTM)和序列到序列学习(Seq2Seq)对生产过程数据建模预测。【结果】①三次指数平滑算法集成在时序数据库中,可实现精度良好、准实时的叶丝出口含水率趋势预测;②在料头生产关键参数模仿学习方面,LSTM模型在整体性能上具有显著优势。【结论】采用时序数据库和深度学习算法结合的实时数据应用框架,横向集成最优算法模型,预测精度和应用效果良好。

时序数据库在核安全级DCS运维场景中的应用研究

关系型数据库或文件存储存在数据存储和维护成本高、写入吞吐低、查询性能差等问题,难以满足核安全级分布式控制系统(DCS)长期运行时海量数据管理的需求。介绍了核安全级DCS运维场景中远程在线监控系统的组成和作用,从存储容量和访问性能两方面分析了远程在线监控系统对数据存储和访问的应用需求,提出了基于influxDB时序数据库与关系数据库结合的远程在线监控系统解决方案。介绍了基于此解决方案实现的全站运行状态监测、数据统计分析、故障预测与健康管理等数据应用。应用表明,此解决方案可同时支持几十个站点数据的并发写入和存储,且查询性能高、数据扩展应用强,为核安全级DCS运维过程中数据的海量存储、快速访问、高效应用提供了良好的解决方法。

基于电力系统的时序数据库分析与研究

文章通过分析现有电力系统的现状,发现关系数据库并不适用于电力系统的数据存储。针对按照时间的变化而变化的数据,更适合用时序数据库进行数据的存储。文章提出在现有电力系统中用时序数据库替代关系数据库,并给出实现方案,进一步研究时序数据库的优势及其未来的发展趋势。

基于时序数据库的智慧用电应用研究

随着物联网、车联网、泛在电力物联网的迅猛发展,海量的传感数据需要被记录下来并用于大数据分析,所以对这类和时间序列强相关数据的存储和检索也提出了更高的要求,尤其在智能驾驶、运输、消防、电力等特殊业务更为突出。在这种背景下,时序数据库逐步发展并得到了广泛的应用。相对于传统关系型数据库它的存储空间减半,查询速度极大提高,是解决海量数据处理的一项重要技术。该文分析了时序数据的存储与数据查询原理,并对时序数据库InfluxDB在智慧用电领域的应用进行了研究。

基于物联网在线监测的开关门耐久试验辅助系统

随着汽车“四化”的推动,汽车试验室的网联化和信息化也在不断发展。文章基于物联网实时采集技术,利用边缘端设备,获取开关门耐久试验中相关试验设备所输出的参数信息,并将采集到的参数信息经解析后发布给kafka消息中间件,使得influxDB时序数据库能够以订阅主题的方式将数据存储于数据库中;此外,还可通过开源的可视化软件Grafana直接调用数据库中的数据,并将数据在不同的看板中进行展示;除实现展示功能外,还能够将采集到的报警信息和监测到的异常数据以短信或邮件的形式推送给试验人员,帮助试验人员能够及时有效地获取试验信息,提高了试验效率。

一种性能测试结果大数据智能分析系统

针对基于JMETER原始的性能测试结果文件,不包含各个服务器的资源消耗性能数据,性能测试结果数据不完整,后期还需要通过人工的方式去整理所有的测试结果数据手工编写报告,消耗大量的人力和时间成本的问题。为此,本文提出了一种性能测试结果大数据智能分析系统,首先,采用了PANDAS+PYSPARK技术框架,通过多进程机制和分块并行处理,解决了10G+超大性能结果文件JTL的解析入库问题,速度快,效率高。其次,利用INFLUXDB时序数据库和ECHART可视化库,一键式自动生成和编排性能测试的过程曲线截图和测试结果表格,提升了性能测试的效率。

以数据中心为核心的配网监控APP设计与实现

近年来随着配电网运维智能化程度越来越高,大量的运维数据通过互联网实时交互,如何利用好这些数据为客户服务,同时降低企业运营成本显得十分重要,尤其须要解决实时分析、存储和反馈海量配网数据的问题。文章提出通过大数据技术Kafka、Redis、InfluxDB、Flink搭建配网数据中心,采用跨Android和IOS平台技术的Flutter开发移动APP的方式。该方式经验证,读写百万量级数据时间是秒级、实时计算时间是毫秒级,不仅降低了配网运营过程中的时间成本,还丰富了配网运行数据的查询手段。

一种城轨站台门设备综合评价方法及应用

在城市轨道交通中站台门系统的智能化方向下,文章提出了一种城轨站台门设备综合评价方法,对站台门设备状态进行健康评估。根据实时健康状态合理安排检修计划,从计划修转变为状态修,对于降低站台门设备故障率,提高站台门设备监管效率及城市轨道交通运营效率具有积极意义。该方法基于海量的设备传感器数据,利用Kafka进行传输,使用InfluxDB存储分析,优化了使用传统数据库存储分析效率低的问题,更适合如今传感器数据指数级增长的场景。

基于MQTT协议的一次设备触点温度测量的方案

本文针对一次设备触点温度难监控等问题,设计了一个基于消息队列遥测传输(MQTT)协议的温度测量方案。该方案采用嵌入式集成模块ESP32作为主控,结合温度传感器、烟雾传感器等设备实现对触点温度的实时监测,并利用时间序列数据库InfluxDB和前端可视化框架Grafana设计了温度监控系统。