基于分布式框架和雷达视频融合技术的铁路周界系统

铁路周界防护是保证铁路安全运行的重要措施。为有效提升铁路周界防护水平,分析铁路安防系统现状和需求,设计并实现了基于分布式框架和雷达视频融合技术的铁路周界系统,重点论述该系统的设计原则、关键技术、核心功能、性能指标、适用场景及特点。该系统可有效弥补现有防护手段的不足,进一步满足铁路周界防护的需求,并已在多条铁路投入使用,应用效果良好。

基于分布式框架的电力营销运营风险监控平台

电力营销运营风险监控平台由于数据来源具有多样化的属性特征,导致平台的运行性能难以结合实际情况作出适应性调整。为此,文章基于分布式框架研究电力营销运营风险监控平台。将基于XILINXMPSoC全可编程处理器的XCZU5EV-2SFVC7844核心板作为平台的中心构件,设计包含用户端的用电数据、电力负荷数据、电力营销数据及电力调度数据的分布式架构,并根据不同架构组成部分之间的数据关系,实现对风险的监控。在测试结果中,设计平台线程交换率始终随着电力营销运营数据更新频率的增加作出适应性调整,最大值达到6675次/s。

基于端到端分布式框架的符号网络预测方法

社交网络中的链接关系根据其潜在的含义可分为正关系和负关系.若对网络中的链接关系进行正负标注,则可形成一个符号网络.符号网络在社会学、信息学、生物学等多个领域存在广泛应用.针对符号网络中链接关系的正负预测,已经成为当前研究的热点之一.在大数据背景下,随着符号网络规模的日益扩大,符号预测算法的可伸缩性问题日益突出.一些研究者提出了分布式环境下的符号预测方法,使得算法的可伸缩性问题部分得到缓解.但是由于大多数算法采用了服务器-客户端方式的分布式框架,导致问题并没有得到根本上的解决.提出了一种端到端分布式框架(client to client distributed framework,简称C2CDF),相比传统服务器-客户端架构的集中通信模式,C2CDF的各个节点间地位平等,不存在集中通信,集群的带宽瓶颈和压力得以减轻.通过在社交网络正负符号预测、广告点击率预测及森林类型预测这3个不同真实数据集上的实验结果表明:C2CDF能够在拥有更高准确性的同时,获得2.3倍~3.3倍的加速比,而且拥有良好的泛化性,不仅应用在了社交网络正负符号预测方面,也能作用于广告点击预测等其他领域.

一种基于有限状态机的分布式框架配置属性校验方法

针对动态配置技术提供灵活方便配置方式的同时有潜在配置错误风险、可能导致系统崩溃、降低软件服务质量的问题,提出了一种基于有限状态机的分布式框架动态配置属性校验方法.该方法利用数据类型间的转换进行数据类型校验,运用有限状态机的状态转换逻辑实现多种数据类型之间的转换,并以Spring Cloud的动态配置为例实现了一个分布式框架配置校验器.为避免不必要的文件读写,改进了Java compiler,使动态编译所得字节码的加载在内存中进行.基于Spring Cloud Config框架对配置校验功能进行测试,设计了原始数据类型和包装数据类型配置错误的测试用例.结果表明,该方法可检测简单数据类型不匹配、数据溢出、容器类型未闭合、容器类型内数据类型错误、容器类型嵌套错误等错误类型,提供了一种比较清晰的配置属性校验逻辑,基于有限状态机的实现解耦了代码,为实现框架配置管理的校验功能提供了参考.

基于三层分布式框架的电力生产数据管理系统

随着我国城镇化建设的不断发展,电力企业的生产任务也逐渐增加,如何做好电力生产数据管理工作已经成为相关单位十分重要的研究课题之一。因此,本次研究以Oracle信息集成平台为基础专门设计了一套基于三层分布式框架的电力生产数据管理系统,旨在提升电力企业的集中管理能力与数字化管理水平。

Hadoop分布式框架下石油行业非结构化数据管理实现策略探究

当前,社会已经步入了大数据时代,互联网技术的应用非常广泛。随着数据技术的快速进步,数据的产生速度也在以指数级增长。传统的油田开发作业中,对数据的记录方式以关系型数据库技术为主要的数据记录和更新方式。但随着信息技术的发展,新数据中出现了非结构化数据,这些数据的格式不确定,记录起来非常困难。文章以非结构化数据为研究对象,针对油田开发过程中面临的数据记录问题,提出可以有效储存和记录非结构化数据的Hadoop分布式框架模式,从而解决油田开发过程中遇到的数据记录和更新的难题。

人工交通系统计算实验的分布式框架研究

人工交通系统概念的提出为智能交通系统研究开辟了新的视野,但其自底向上的交通个体建模方法和复杂的计算过程也带来了庞大的计算量与存储量,单台计算机的计算能力越来越难以满足大规模计算实验的需求。为此,提出和实现了一种混合P2P结构的分布式计算实验框架,并采用改进的同步算法和新的负载均衡方案优化了框架的性能,最后通过测试验证了该框架的高效性和可靠性。

基于.Net的分布式框架在信息交换平台中的应用研究

现在社会依靠信息化技术来处理的事务越来越多。当所处理的事务处于大数据量和高吞吐的场景时,系统框架的设计显得尤为重要。笔者着重介绍了基于.Net的分布式框架在大数据量和高吞吐应用场景下的设计,满足了信息交换平台中分布式部署及大数据量处理的需求。该框架包括了三层架构开发模式、多服务器部署和.Dll的远程调用技术。

分布式深度学习框架下配电网无功补偿灰色关联优化规划模型

配电网网损较高,投入成本较多,节点功率参数不稳定,由此提出分布式深度学习框架下配电网无功补偿灰色关联优化规划模型。以网络损耗最小、电压品质最优、经济利益最大为目标函数,综合潮流、控制变量、电压约束等约束条件,建立配电网无功补偿规划模型;运用灰色关联分析的方法确定关联度,通过深度学习神经网络以及参数更新后的分布式深度学习框架,求取全局最优解,完成配电网无功补偿优化规划。实验证明,该模型可以有效地规划配电网无功补偿模式,降低网损和投入成本,提升电压质量,保证了配电网无功补偿效果,促进了整个电网的稳定运行。

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。

基于深度学习的分布式视觉问答模型

视觉问答(Visual Question Answering,VQA)是让机器能够回答与图像相关的自然语言问题。现有视觉问答存在一些模型仅对特定类型的问题样本产生效果的情况,本文提出了一种基于深度神经网络的分布式框架模型。首先将训练样本根据答案分布的信息熵分为有偏和无偏样本,对于有偏样本为其生成反事实训练样本,迫使模型增强对图像和问题的关键区域的关注,减轻语言先验影响;其次对于无偏样本,利用大量的图像文本预训练加微调的方法,提升模型对无偏样本的性能;最后使用多分类交叉熵损失来衡量模型预测结果与真实标签之间的差异,提升模型的性能。实验数据采用VQA-cp-v2和VQA-v2数据集,实验结果表明,本文提出的分布式视觉问答方法在解决有偏和无偏样本影响的问题上取得明显改进。

一种基于Hadoop的语义大数据分布式推理框架

随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题,提出了一种基于Hadoop的语义大数据分布式推理框架,并且设计了相应的基于属性链(property chain)的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息.实验主要关注于医疗和生命科学领域各本体之间的语义关联发现,实验结果表明,该推理系统取得了良好的性能———扩展性以及准确性.

基于分布式遗传算法和改进人工势场法的导弹反探测航迹规划

基于兵棋推演仿真软件构建用以测试导弹制导与反探测能力的设定场景,并参考人工势场法在路径规划领域的应用,设计导弹反探测航迹规划方法以躲避探测侦察.为了高效搜索人工势场法的最优参数,基于Kubernetes在多服务器上搭建分布式框架,实现分布式遗传算法,在并行数目为100的实验中,理论加速比在98.41~99.46之间,实验加速比平均为96.95.将基于分布式遗传算法和人工势场法的导弹反探测航迹规划方法应用于各种不同探测策略下的导弹制导场景.实验结果显示,改进的人工势场法比传统的人工势场法的平均得分提高11.9%,遗传算法的进化次数平均减少2.73轮.该分布式框架可用于任意容器化的并行仿真任务中.

一种基于Spark的大规模语义数据分布式推理框架

随着大规模语义数据的涌现,研究高效的并行化语义推理成为热点问题之一。现有推理框架大多存在可扩展性方面的不足,难以满足大规模语义数据的需求。针对现有推理框架的不足,提出一种基于Spark的大规模语义数据分布式推理框架。该框架主要包括语义建模、规则提取和基于Spark的并行推理机等3个模块。通过过程分析和推理实例验证,提出的分布式并行推理的计算性能(T(n)=O(log_(2)n))远远优于顺序式推理的计算性能(T(n)=O(n))。

Apache IoTDB的分布式框架设计

Apache IoTDB是一个新型的开源时序数据库管理系统.分布式数据管理系统不仅需要解决数据分区与多副本带来的节点间元数据同步问题,还要支持高效查询请求处理.本文针对节点间元数据同步问题提出了双层粒度元数据管理策略,在此基础上基于一致性哈希分区方法和Raft协议设计了同时支持强一致性查询和最终一致性查询的分布式框架.基于单机版Apache IoTDB进行了系统实现与实验测试,测试结果表明:双层粒度元数据管理策略与单层粒度管理策略相比,其元数据内存资源占用更少且写入性能提升5%~10%,并且分布式Apache IoTDB的读写性能随着集群规模的扩大而线性增长.

分布式电力大数据存储系统参数优化方法

为防止分布式电网负荷有功功率出现混乱波动的变化情况,解决电力大数据的不均衡存储问题,提出分布式电力大数据存储系统的参数优化方法。根据Zookkeeper数据协调服务的传输请求,将HBase数据库主机接入至Spark分布式框架的固定单元结构中,完成分布式电力大数据的存储系统构建。在此基础上处理处于传输状态的电力大数据,通过建立关联系数查询标准的方式,得到最终的优化特征提取结果,实现分布式电力大数据存储系统参数优化方法的顺利应用。实例分析结果表明,分布式优化方法可将电网负荷有功功率的波动变化范围限制在既定数值区间之内,更符合均衡存储电力大数据的实际应用需求。

基于分布式框架的新能源场站并网性能评估

以新能源为主体的新型电力系统背景下,为实时掌握新能源场站并网性能,引入边缘计算思想,提出新能源场站分布式并网性能评估框架,给出此框架下的平台实现架构、并网性能评估指标体系及关键电气和指标参数计算方法;并基于现场试验,以新能源场站频率响应能力评估为例,构建实例说明。实例与平台应用实践表明,针对系统频率参数估计,锁相环法在精度和收敛性方面具有一定优势;分布式框架下的新能源场站并网性能评估在数据信息准确性、远程通信和计算效率上具有优势,可为电网针对新能源场站并网特性感知与调控能力的加强提供解决思路。

基于分布式微服务和Hadoop集群的系统研究

近年来,微服务是较流行的系统研发方案,与单机服务架构相比,它解决了行业上的许多痛点,比如大量数据同时对服务的访问,数据量暴增导致服务崩溃的问题。以构建一个商城网站分布式微服务系统为例,对基于分布式微服务和Hadoop集群的系统进行研究,利用Spring Cloud Alibaba框架将系统垂直切分为10个独立的业务服务:注册微服务、网关微服务、第三方微服务、商品微服务、会员微服务、检索微服务、库存微服务、购物车微服务、订单微服务和秒杀微服务。系统集成Nacos做服务注册发现和配置,使用Gateway做路由网关,结合Sentinel熔断机制提高了系统的容错性,并使用Docker容器快速独立部署所有微服务,实现了开发、测试、部署运维的一体化。为应对大量数据群的存储与处理,在对数据进行计算处理中,使用Hadoop集群对资源进行管理和计算,并使用聚类的协同过滤推荐算法解决网站商品与用户的智能匹配。

OSSData:面向开源社区的分布式数据采集框架

近些年,开源软件发展迅猛,其应用领域和适用范围越来越广泛;与此同时,开源软件的成功也吸引了大量的开发者投入到开源软件的开发。因此,开源软件社区积累了大量的软件应用和开发数据。这些丰富的数据逐步引起了研究人员的关注,已经有相关工作对开源软件的群体开发模式和质量保证机制等展开了一系列研究。为了更好地支持此类研究工作的有效开展,面向开源社区提出了一个用户可定制的数据采集框架,该框架具有较高的灵活性和鲁棒性,能够根据用户的实际需求进行深度定制,并保持稳定持续的工作状态,从而提高数据采集的效率和质量。

基于随机分布式嵌入框架及BP神经网络的超短期电力负荷预测

电力系统超短期负荷预测易受到气象、假日等多种因素共同作用的影响,因此,实现其精准预测较为困难。为提高预测精度,往往需要大量的历史数据进行训练。针对历史数据较少的新建初期电力系统,提出了一种基于随机分布式嵌入框架及BP神经网络的超短期电力负荷预测方法。首先,将电力系统中电力负荷变量、气象变量等各种状态变量的延迟变量视为独立的影响因素,采用BP神经网络算法针对不同组延迟变量分别进行训练和预测,得到多个预测值。然后,采用核密度估计法拟合多个预测值形成分布的概率密度函数。最后,通过期望估计法或聚合估计法计算得出电力负荷的最终预测值。选取实际负荷数据进行算例分析,结果表明,所提方法适用于训练数据较少的超短期负荷预测,且相较于几种常规预测算法具有更高的预测精度以及较强的稳定性。