Hadoop分布式框架下石油行业非结构化数据管理实现策略探究

当前,社会已经步入了大数据时代,互联网技术的应用非常广泛。随着数据技术的快速进步,数据的产生速度也在以指数级增长。传统的油田开发作业中,对数据的记录方式以关系型数据库技术为主要的数据记录和更新方式。但随着信息技术的发展,新数据中出现了非结构化数据,这些数据的格式不确定,记录起来非常困难。文章以非结构化数据为研究对象,针对油田开发过程中面临的数据记录问题,提出可以有效储存和记录非结构化数据的Hadoop分布式框架模式,从而解决油田开发过程中遇到的数据记录和更新的难题。

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。

基于VSOME/IP的汽车E/E架构分布式服务框架设计研究

新型汽车电子电气架构下的车载软件需具备可复用、易扩展、松耦合、兼容互操作等特点。为了将汽车电子控制单元(ECU)上的应用程序抽象为服务,以开源的分布式通信中间件VSOME/IP和远程过程调用框架CommonAPI C++为基础,提出了一种基于VSOME/IP的分布式服务框架。该框架利用Franca IDL服务接口描述语言提高开发人员构建服务效率;通过路由管理器实现了服务框架中服务注册中心组件,为分布式系统提供服务发布、服务订阅、状态同步、消息通知等功能,并采用SOME/IP作为底层通信协议,为系统提供发布订阅式和请求响应式的服务调用方式。

分布式深度学习框架下配电网无功补偿灰色关联优化规划模型

配电网网损较高,投入成本较多,节点功率参数不稳定,由此提出分布式深度学习框架下配电网无功补偿灰色关联优化规划模型。以网络损耗最小、电压品质最优、经济利益最大为目标函数,综合潮流、控制变量、电压约束等约束条件,建立配电网无功补偿规划模型;运用灰色关联分析的方法确定关联度,通过深度学习神经网络以及参数更新后的分布式深度学习框架,求取全局最优解,完成配电网无功补偿优化规划。实验证明,该模型可以有效地规划配电网无功补偿模式,降低网损和投入成本,提升电压质量,保证了配电网无功补偿效果,促进了整个电网的稳定运行。

基于Scrapy框架的分布式网络爬虫系统设计

为保证网络爬虫抓取效率和稳定性,通过应用Scrapy框架,完成对分布式网络爬虫系统的设计。首先,介绍网络爬虫工作原理、Scrapy框架等相关技术。其次,在设计系统架构和系统数据库的基础上,分别设计代理池服务、实体管道、网页判重、网页下载等模块。最后,测试系统性能。结果显示,设计的系统具有网页抓取成功率高、运行效率高等特点,符合预期设计标准和要求,可以为相关人员提供有效的借鉴和参考。

基于大数据随机样本划分的分布式观测点分类器

观测点分类器(OPC)是一种试图通过将多维样本空间线性不可分问题转换成一维距离空间线性可分问题的有监督学习模型,对高维数据的分类问题尤为有效。针对OPC在处理大数据分类问题时表现的较高训练复杂度,在Spark框架下设计一款基于大数据的随机样本划分(RSP)的分布式OPC(DOPC)。首先,在分布式计算环境下生成大数据的RSP数据块,并将它转换为弹性分布式数据集(RDD);其次,在RSP数据块上协同式地训练一组OPC,由于每个RSP数据块上的OPC独立训练,因此有高效的Spark可实现性;最后,在Spark框架下将在RSP数据块上协同训练的OPC集成为DOPC,对新样本进行类标签预测。在8个大数据集上,对Spark集群环境下实现的DOPC的可行性、合理性和有效性进行实验验证,实验结果显示,DOPC能够以更低的计算消耗获得比单机OPC更高的测试精度,同时相较于Spark框架下实现的基于RSP模型的神经网络(NN)、决策树(DT)、朴素贝叶斯(NB)和K最近邻(KNN),DOPC分类器具有更强的泛化性能。测试结果表明,DOPC是一种高效低耗的处理大数据分类问题的有监督学习算法。

分布式存储与计算方法在水利地理空间大数据中的应用

为高效存储管理水利地理空间大数据,本文提出一种基于Hadoop和Spark的分布式存储与计算架构,同时合理运用Spark的内存与缓存机制,设计实现了针对空间大数据的分布式存储与计算方法。利用某水电站库区DEM数据进行库容计算分析,验证了本文所提出的分布式存储和计算方法具有更高的计算效率,,并具有良好的可扩展性。

一种基于Hadoop的语义大数据分布式推理框架

随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题,提出了一种基于Hadoop的语义大数据分布式推理框架,并且设计了相应的基于属性链(property chain)的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息.实验主要关注于医疗和生命科学领域各本体之间的语义关联发现,实验结果表明,该推理系统取得了良好的性能———扩展性以及准确性.

基于深度学习的分布式视觉问答模型

视觉问答(Visual Question Answering,VQA)是让机器能够回答与图像相关的自然语言问题。现有视觉问答存在一些模型仅对特定类型的问题样本产生效果的情况,本文提出了一种基于深度神经网络的分布式框架模型。首先将训练样本根据答案分布的信息熵分为有偏和无偏样本,对于有偏样本为其生成反事实训练样本,迫使模型增强对图像和问题的关键区域的关注,减轻语言先验影响;其次对于无偏样本,利用大量的图像文本预训练加微调的方法,提升模型对无偏样本的性能;最后使用多分类交叉熵损失来衡量模型预测结果与真实标签之间的差异,提升模型的性能。实验数据采用VQA-cp-v2和VQA-v2数据集,实验结果表明,本文提出的分布式视觉问答方法在解决有偏和无偏样本影响的问题上取得明显改进。

分布式存储中新型分组piggybacking框架

随着互联网技术的快速发展,全球数据量爆炸式增长对分布式存储系统的可靠性和可用性提出了严峻的挑战。Piggybacking框架作为一种高效的数据容错技术成为近年来研究的热点。目前,绝大多数piggybacking框架均以牺牲子条带数和修复度的方式来降低修复带宽,导致修复失效节点过程中所节省的数据量通常无法有效地提升磁盘读取效率。针对上述情况,提出一种新型分组piggybacking框架,在保证较低修复带宽的同时,进一步降低了子条带数和信息节点修复度,从而提升分布式存储系统的输入/输出性能。该框架将校验节点分为两个部分,信息符号和校验符号分别按照一定规则分组后依次嵌入到对应的校验节点中,设计简单。通过这种设计,可以同时有效修复信息节点和校验节点,既减少了子条带数,又使其在校验节点个数较多时拥有较强的综合修复能力。与其他piggybacking框架相比,新型分组piggybacking框架能更好地权衡修复带宽、修复度与子条带数,适合在实际系统中应用。

基于分布式框架和雷达视频融合技术的铁路周界系统

铁路周界防护是保证铁路安全运行的重要措施。为有效提升铁路周界防护水平,分析铁路安防系统现状和需求,设计并实现了基于分布式框架和雷达视频融合技术的铁路周界系统,重点论述该系统的设计原则、关键技术、核心功能、性能指标、适用场景及特点。该系统可有效弥补现有防护手段的不足,进一步满足铁路周界防护的需求,并已在多条铁路投入使用,应用效果良好。

基于Hadoop的分布式日志分析系统设计与实现

网络日志解析是确保监控系统稳定运行和检测故障的重要任务之一。然而,日志文件的数据量庞大,数据格式也相对复杂,难以手动处理。在此背景下,对基于Hadoop分布式计算框架的网络日志分析系统的设计和实现进行了研究,通过将数据分解成块,并通过多台计算机并行处理数据块来提高数据处理速度和效率。系统使用了Hadoop的MapReduce编程模型来实现网络日志数据的解析和处理。实验结果表明,相比传统方法,该系统具有更高的数据处理速度和可伸缩性,证明其有效性和实用性。

基于分布式微服务和Hadoop集群的系统研究

近年来,微服务是较流行的系统研发方案,与单机服务架构相比,它解决了行业上的许多痛点,比如大量数据同时对服务的访问,数据量暴增导致服务崩溃的问题。以构建一个商城网站分布式微服务系统为例,对基于分布式微服务和Hadoop集群的系统进行研究,利用Spring Cloud Alibaba框架将系统垂直切分为10个独立的业务服务:注册微服务、网关微服务、第三方微服务、商品微服务、会员微服务、检索微服务、库存微服务、购物车微服务、订单微服务和秒杀微服务。系统集成Nacos做服务注册发现和配置,使用Gateway做路由网关,结合Sentinel熔断机制提高了系统的容错性,并使用Docker容器快速独立部署所有微服务,实现了开发、测试、部署运维的一体化。为应对大量数据群的存储与处理,在对数据进行计算处理中,使用Hadoop集群对资源进行管理和计算,并使用聚类的协同过滤推荐算法解决网站商品与用户的智能匹配。

基于Hadoop的广域网分布式主题爬虫系统框架

广域网分布式爬虫与局域网爬虫相比有诸多的优势,而现有基于Hadoop分布式爬虫的设计主要是面向局域网环境的。为解决Hadoop分布式计算平台不适合部署于广域网的问题,设计了一个基于Hadoop的广域网分布式爬虫系统框架。爬虫系统利用消息中间件实现分布式可靠通信,数据存储采用可伸缩的Hadoop分布式文件系统HDFS,网页解析利用MapReduce并行处理,并基于模板匹配实现框架可定制。系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力。

基于Ray框架的分布式计算研究

文章旨在通过分布式框架Ray来计算数据量比较大的任务,使得任务能够更加高效地完成。指明了Ray通过两种核心概念实现分布式计算:Actor和Task。通过调用Ray库中的Remote方法并结合init方法指明CPU数量实现分布式计算。实验分为在相同数据量下不同CPU数量处理数据的快慢以及在不同数据量下不同CPU数量处理数据的能力。实验结果表明,数据量越大、CPU数量越多的分布式计算能力越强。因此,分布式计算适用于大数据下的并行计算。

基于分布式数据采集OPC UA框架系统构建研究

随着中国智能制造2025的临近,装备层和制造执行系统。要想在智能化2025中建立起工业网络,就必须要有一个新型的通讯机制,以及一个分散式的数据收集平台体系结构。OPCUA架构是对象链路的新一代通信标准,也是嵌入式通讯的一部分。在此基础上,通过 C/S、 P/S两种联结方式,将时敏网络融合在一起,不仅能同时兼顾历史与实时的联结,还能同时兼顾周期性与非周期性数据的联结,实现对时敏网络实时性与大数据的兼顾。通过深度学习对OPC UA采集设备数据智能故障诊断和处理。

基于分布式框架的电力营销运营风险监控平台

电力营销运营风险监控平台由于数据来源具有多样化的属性特征,导致平台的运行性能难以结合实际情况作出适应性调整。为此,文章基于分布式框架研究电力营销运营风险监控平台。将基于XILINXMPSoC全可编程处理器的XCZU5EV-2SFVC7844核心板作为平台的中心构件,设计包含用户端的用电数据、电力负荷数据、电力营销数据及电力调度数据的分布式架构,并根据不同架构组成部分之间的数据关系,实现对风险的监控。在测试结果中,设计平台线程交换率始终随着电力营销运营数据更新频率的增加作出适应性调整,最大值达到6675次/s。

基于云计算的分布式煤矿井下作业安全监控方法

煤矿井下作业监控中存在环境危险点定位误差大、监控准确度较低等问题,为此,提出基于云计算的分布式煤矿井下作业安全监控方法。分析煤矿井下作业环境安全影响因素,将其划分为物理因素、化学因素和本质因素;通过确定井下作业环境安全影响因素的热量值,完成井下作业环境安全数据的提取;以此为基础,引入云计算设计基于Hadoop的安全监控系统,通过该系统中的分布式计算功能确定井下作业环境的异常情况变化,实现井下作业的安全监控。实验结果表明:所提方法的执行时间短,且监控的异常情况数值变化较为精准,具有一定可行性。

一种新型的基于Hadoop框架的分布式并行FP-Growth算法

针对传统FP-Growth算法在大规模数据环境下存在的挖掘效率低和内存溢出问题,在传统FP-Growth算法的基础上,提出一种新的并行FP-Growth算法,并在分布式计算框架Hadoop的MapReduce编程模式下实现并行化处理。实验数据表明,并行的FP-Growth算法与传统的FPGrowth算法相比,具有相同数据量下计算时间短,相同时间内处理数据量增大的优点,并在一定条件下解决了大数据挖掘的内存溢出问题。

面向网络化无人机集群的计算换通信分布式任务调度方法

针对网络化无人机集群任务自主协同问题以及市场竞拍法的优缺点,提出“计算换通信”思想及其相应的分布式任务调度方法。通过对显式和隐式冲突任务的分析,建立任务相关智能体集合。提出基于任务抑制的局部优化方法,用于提前消解部分任务冲突,以减少算法迭代次数。设计基于历史竞标信息的智能体位置推断法,为局部优化提供必要的信息输入。基于组网仿真平台与集群救援场景开展蒙特卡罗仿真实验,结果表明,相比于市场竞拍法中具有代表性的基于共识的捆绑算法和性能影响算法,所提方法能够获得更少的迭代次数、更短的收敛时间以及更优的调度性能。