基于Hadoop的压力管道数据存储系统

为提高压力管道数据存储性能,改善数据存储效率,增强压力管道后期的可维护性,构建一种基于Hadoop的压力管道数据存储系统.该系统利用HDFS分布式存储框架建立压力管道数据的存储模型,采用MapReduce对压力管道海量数据进行分析和处理,从而完成数据写入HBase数据库的低延迟响应.在实验中,采用压力管道数据对MySQL、Oracle、Spark SQL、MongoDB和Rasdaman进行性能对比.结果表明,在相同数据量的情况下,系统运行时间更短,占用内存更少,其在存储压力管道海量数据方面具有较好的优越性.

远程管道数据采集终端通信模块设计

介绍了一种基于公用电话网 (PSTN)的远程管道数据采集终端。该数据采集终端放置在石油运输管道节点处 ,采集管道的运行参数 (压力、流量、温度 )及管道上的声波形信号 ,并通过现有的公用电话网传输到管道监控中心的计算机上 ,以便管理人员掌握管道运行状况。着重论述了该终端通信模块的实现方法。

OpenPlant Modeler管道数据库的应用

基于OpenPlant Modeler三维设计软件,介绍了管道数据库的导入形式和定制方法以及在工程项目中应用需要注意的一些问题,探讨了三维模型中管道元件尺寸的计算机制,阐述了对管道数据库进行三维模型测试的项目及注意的问题。

PowerBuilder多管道数据拷贝的编程设计

PowerBuilder提供了数据管道(Data Pipeline)技术,通过预定义源数据表和目标数据表,实现两表之间的数据拷贝。拷贝数据既可以跨库进行,也可以在不同DBSM平台之间进行。由于PB Data Pipeline的定义是一次性,用户不可以在应用过程中修改属性,只能按照预先设计完成"定向"数据复制。改进的方法是在程序中预先设计多管道,用户根据需要选择相应的管道进行数据操作。文章结合实际使用经验介绍程序设计方法。

基于Bi-LSTM网络的管道异常数据检测方法

在管道运行过程中,受技术、计量仪器和自然环境等影响,导致管道数据经常出现异常值,影响调度人员无法进行正确的决策,不利于管道监控系统的安全稳定运行。传统的时序数据异常检测方法的准确率和检测速度得不到保证。针对该问题,提出一种基于卷积神经网络(Convolutional Neural Network,CNN)和双向长短期记忆(Bi-directional Long-Short Term Memory,Bi-LSTM)网络的管道异常数据检测方法。首先,研究管道异常数据的表征及异常数据的产生原因,对管道数据进行野点剔除、均值填充和归一化处理,后通过CNN对处理后的管道数据进行特征提取;其次,利用Bi-LSTM网络充分挖掘管道数据间的规律,训练得到预测模型;再次,确定动态阈值,通过计算预测值与真实值误差并与阈值进行比较,检测异常数据;最后,在真实应用场景测试,通过设计一系列对比实验验证了该方法在处理速度和检测准确率等方面具有明显优势,且检测异常点的准确率高于同类算法。

数据管道模型:场外流式数据市场形态探索

当前数据要素市场建设探索主要集中在数据交易场所(场内)建设,而流式数据市场指数据供应商向数据使用者持续、快速地供应特定数据的市场,流式数据并不适合在场内交易,因此需要探索流式数据的场外交易模式。研究了当前流式数据市场的运行现状,指出了市场无序、监管工具不足是存在的主要问题,提出了场外流式数据市场的数据管道模型,包括管道流通要件(数据管道、数据工厂、数据供应链)、市场规范要件(数据计量表、质量抽检器、合规审核仪)等,论证了数据管道模型的技术可行性,以期为场外数据市场建设、规范和监管提供理论和技术支持。

埋地燃气管道泄漏失效与数据库研究进展

从埋地燃气管道泄漏失效和管道数据库两个方面论述了燃气管道事故的研究现状。并分别从事故原因、泄漏检测以及风险评估三个角度对燃气管道泄漏失效事故研究展开讨论;同时,通过总结国内外已有管道数据库的结构和功能,指出我国发展管道数据库的必要性和重要性。

长输管道完整性管理GIS数据模型研究

随着我国长输管道建设规模的不断扩大,管道运营过程中出现的安全问题逐渐成为行业内部乃至整个国家和社会所关注的焦点。针对上述问题,业内专家提出的以G IS为其实现手段,对管道进行完整性管理,是目前解决管道运营中的安全问题可采用的一种较好的方法。采用完整性管理方法,首先需要对管道数据进行建模,把管道的设计资料、竣工资料、检测数据以及设备信息等统一的用空间数据库来管理。本文首先分析了目前国际上现有的多个管道数据模型,然后参考国际上管道完整性管理的理论与方法,同时结合国内管道完整性管理的实践经验,阐述了设计适合我国管道工业的长输管道数据模型的具体过程。在模型的应用上,主要体现在建立管道完整性管理信息系统。该系统充分利用了模型中提供的各类信息,在此基础上,集中开发了线路管理模块、风险/完整性评价模块、站场管理模块等。实践证明,本文提出的管道数据模型在我国管道完整性管理中具有很高的应用价值。

机读目录数据管道设计与实现

机读目录数据是广泛应用于图书情报领域的一种半结构化数据。由于缺乏专用的数据转换工具,机读目录数据预处理往往繁琐且耗时。机读目录数据管道是一套自动化流程,用于将机读目录记录转换为便于数据分析师、数据科学家、应用程序等下游用户使用的JSON数据。从简单的数据报告到复杂的数据科学项目,这种灵活务实的解决方案能够不同程度地简化和优化数据准备工作。

星尘数据:以MorningStar加速AI创新

在大模型时代,各行业都需要基于自身数据打造超级员工,以提高企业的生产效率。模型和算力可以购买,但数据需要精细化、全流程的管理,才能释放真正的价值。企业需要搭建可发现、可管理、可协作、可迭代的数据管道,才具备获取数据、生产数据、持续迭代数据的能力,促进内部以数据为中心的协作,从而在AI 2.0时代中获得核心竞争力。

基于ArcGIS的输气管道分布式测绘数据库

随着全国天然气管道项目的迅速发展,相关的测绘数据量也随之迅速增大,同时地理信息系统和计算机数据库管理技术也日趋成熟,如何运用这些先进技术来管理数据成为当前亟待解决的问题。在ArcGIS的基础上,分析现有的输气管道相关测绘数据结构,提出利用空间数据引擎ArcSDE对输气管道相关测绘数据进行管理,根据对分布式测绘数据库的体系结构设计、数据组织、数据入库方式等方面的阐述,提出了一种建立和管理输气管道分布式测绘数据库的方法。按照此方法建立输气管道分布式测绘数据库后,再结合具体业务优化系统功能模块,最后建立更科学的输气管道数字化业务平台。

国外管道失效数据库简介及参考

管道失效数据库在管道完整性管理实施和安全监管方面起着重要作用,介绍了国外PHMSA、EGIG、Concawe、NEB等管理机构成熟运行的管道失效数据库,从数据库的统计范围、事故上报、事故统计等方面分析了不同国家管道失效数据库的差异和对我国数据库建设的参考。

利用PB数据管道实现数据库之间数据同步

介绍了PowerBuilder数据管道(Data Pipeline)对象的主要特点。结合实际应用中遇到的数据传输问题,提出在数据库之间通过使用数据管道技术实现数据同步,并给出一个应用实例做出说明。

使用PB数据管道对象实现多数据库备份与更新

论文介绍了PowerBuilder数据管道(DataPipeline)对象的主要特点与作用,结合数据库存储过程的使用,提出后台多数据库备份与更新的策略及关键技术,并给出其实现方法,为多数据库维护与使用提供了一个实例。

数字化管道建设中测绘数据库建设方案研究

数据是数字化管道建设的关键,如何科学地管理这些地理信息数据已成为当前亟待解决的问题。本文在分析现有的输气管道相关测绘数据的结构和内容之后,提出利用ArcSDE技术对输气管道的数据进行管理,并从数据结构、数据组织、数据入库、数据查询等方面进行了阐述,总结出一种石油天然气管道数据的存储和管理方法。按照此方法建立输气管道测绘数据库,为数据的管理提供了便利,为建设数字化管道打下了坚实基础。

基于PowerBuilder数据管道技术实现异种数据库移植

探讨了异种数据库移植的主要方法、PowerBuilder数据管道的特点与作用,提出了利用PowerBuilder数据管道技术实现异种数据库移植的策略和关键技术,并结合PowerBuilder ASA数据库到SQL Server 2000数据库的移植给出具体的实现过程,为异种数据库的自动化移植提供了一种有效的解决途径。

使用PB数据管道和ODBC实现异构数据转换

对PowerBuilder的数据管道加以改造,并结合ODBC,提出了一种通用异构数据转换的实现方法,并探讨了实现的关键技术。

动态数据管道在异构数据库迁移中的应用

为实现异构数据库间的数据迁移,提出了一种在PowerBu ilder环境下,利用动态数据管道技术实现动态数据迁移的可行方法.简要介绍了异构数据库和数据管道的特点,给出创建动态数据管道和利用该方法进行动态数据迁移的具体实现步骤与主要代码.此方法不仅拓展了PB的功能,并在实际应用中控制灵活,运行良好.

基于PB数据管道的异构数据库转换系统设计与实现

数据管道是完成数据转换与迁移的有效工具。结合ODBC API编程和动态数据窗口技术,探讨了通过程序动态创建数据管道对象,利用数据管道实现异构数据库通用数据转换与迁移的关键技术与实现方法。

基于PowerBuilder数据管道的异构数据源的解决方案

首先简单分析了异构数据库的概念及其在企业中存在的原因和对企业产生的影响,并列举了一些异构数据源的解决方案,然后主要介绍了利用数据管道的转换方法。