分布式训练系统及其优化算法综述

人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本文首先阐述了单机训练面临的主要挑战.其次,分析了分布式训练系统亟需解决的三个关键问题.基于上述问题归纳了分布式训练系统的通用框架与四个核心组件.围绕各个组件涉及的技术,梳理了代表性研究成果.在此基础之上,总结了基于并行随机梯度下降算法的中心化与去中心化架构研究分支,并对各研究分支优化算法与应用进行综述.最后,提出了未来可能的研究方向.

分布式无线传感网中低延迟数据调度算法研究

分布式无线传感网中节点数据量增大,会导致节点能耗不均匀,数据传输过程出现低延迟现象,影响数据传输效率。为解决这一问题,提出分布式无线传感网中低延迟数据调度算法研究。基于分布式无线传感网络结构分析了低延迟数据调度延迟的主要因素,依据分析结果采用MDAS-ST算法,建立低延迟初始信息数据,对低延迟数据节点构建父节点候选集,建立低延迟数据候选调度模型,以低延迟数据父节点候选集为主,从中选取一个父节点,并分别分配到分布式无线传感网络时隙内;建立低延迟数据调度序列,利用该序列实现低延迟数据的调度研究。仿真结果表明,该方法的平均发送次数约为1.2次、调度延迟为322μs、网络吞吐率为99%,能耗为500 nJ/bit。

基于改进鲸鱼算法的分布式电源双层规划

为了改善分布式电源接入配电网对电网安全、经济运行的影响,需要对分布式电源进行优化规划。充分考虑了风光出力不确定性及相关性,选择风电、光伏、微型燃气轮机作为待规划的分布式电源,建立双层规划模型。以分布式电源投资费用、运维费用、主动配电网购电费用、微型燃气轮机燃料费、污染治理费用、网络损耗费用综合最小为目标函数,建立了上层规划模型。以每个场景下年综合运行费用最小为目标,考虑功率平衡、节点电压、支路容量、分布式电源渗透率等约束条件,构建下层运行模型。针对鲸鱼算法收敛速度慢、不能及时跳出局部解等问题,采用tent映射、引入惯性权重、非线性收缩因子三种措施改进鲸鱼算法。最后通过算例仿真进行验证。结果表明:本文所提改进方法可以提高鲸鱼算法性能,可以更有效地求解所提模型。

基于自适应蚁群算法的含分布式电源配电网故障定位研究

由于含分布式电源的新型配电网不同于传统配电网,新型配电网的结构更加复杂,系统潮流方向发生改变导致传统的定位方法可靠性下降,为此提出一种自适应蚁群算法。在传统蚁群算法基础上,改进信息素挥发因子表达式、更换信息素更新机制及限定信息素浓度的取值,改进后的自适应蚁群算法的容错能力和快速性得到大幅提高。仿真结果表明,自适应蚁群算法不受故障区段数量的影响,能够准确进行故障定位;此外,当多个分布式电源同时接入配电网发生三重故障且有2处故障信息畸变的情况下,自适应蚁群算法求解速度更快,比传统蚁群算法求解速度提升了18.63%,准确率提升了10%,验证了自适应蚁群算法具有很好的容错能力和搜索速度。

事件触发改进一致性算法的孤岛运行多逆变器微电网系统分布式二次调频方法

一致性算法常用于孤岛运行多逆变器并联微电网系统分布式二次调频控制,对逆变器之间通信的实时性要求很高。对此,该文提出基于频率补偿信号的改进一致性算法,基于频率误差越限建立事件触发机制,维持逆变器之间已有的下垂关系不变,实现孤岛运行多逆变器微电网系统二次调频。同时,基于该事件触发机制和李雅普诺夫函数,获得最短触发时间下界,完全避免了在短时间内无限次事件触发现象的发生。最后,采用MATLAB/Simulink针对包含4台逆变器并联运行的孤岛微电网系统算例进行仿真,结果表明,提出的方法相比文献采用的基本一致性算法通信量减少99%以上,最短触发时间间隔延长至数十ms量级;同时,由于该文方法不使用功率微分信号,微电网系统的动态性能更好。

基于IRSO算法的含分布式电源配电网重构

在智能电网的背景下,为了减少含分布式电源(distributed generation,DG)配电网的网络损耗,同时提高电网安全性,提出“单条支路安全系数”“最小安全系数”“平均安全系数”三个安全性评价指标,并建立以网损、“平均安全系数”“最小安全系数”为目标的配电网重构数学模型,采用改进鼠群优化算法进行求解。针对传统鼠群算法随机初始种群的迭代次数较多问题,采用有序环网配合启发式规则在初始化阶段生成一个初始解;针对传统算法在运行过程中产生众多无效变异的问题,提出“映射规则”,最大化调用鼠群变异规则;为了避免最后结果未优化到最优,提出“最优个体微调策略”。采用IEEE33节点电力系统和Taipower84节点电力系统进行对比验证分析,证明了该文方法的通用性和有效性。

带负载均衡的混合算法求解分布式异构作业车间调度问题

针对以最小化最大完工时间为目标的分布式异构作业车间调度问题(DHJSP),本文提出了一种新的混合遗传禁忌搜索算法.首先,综合考虑工厂的工件总负载与最大机器负载,提出了一种新的工厂负载表达方式.其次,针对DHJSP总工序数不定的特性,提出以最小化最大工厂负载为目标快速确定初始工件分配方案,并验证了方法的高效性.然后,新设计了两种考虑负载均衡的单工件转移邻域结构,根据工序调度的结果对工件分配方案进行局部搜索.最后,因DHJSP缺少标准算例和相关算法,在分布式同构作业车间调度问题(DJSP)上与现有算法进行对比,所提算法在TA算例的480个问题上更新了420个问题的最优解,其余60个问题取得了同等最优解.在随机生成的3个不同规模的异构算例中,所提算法也均取得了较好解,验证了所提方法的优越性.

求解能耗成本平衡的分布式阻塞流水线调度群体迭代贪婪算法

在经典分布式流水车间调度问题基础上,本文构建了具有序列相关准备时间的分布式阻塞流水线调度问题(DBFSP SDST)的混合线性整数规划模型(MILP),以均衡各工厂能耗成本为优化目标,提出了基于群体优化的迭代贪婪算法(PEIG).该算法针对零缓冲区和多工厂生产模式,设计了问题特性的启发式方法;针对迭代贪婪算法(IGA)的优势和不足,提出了基于群体的局部搜索策略、多邻域搜索结构和增强的跨工厂破坏重构方法,以进一步平衡所提算法的全局探索和局部搜索能力.通过270个测试算例的数值仿真,以及与最新4种代表算法的统计比较,本文验证了所提PEIG算法的优越性,能为中大规模的DBFSP SDST提供更优的调度方案.

混合三维分布估计算法求解分布式加工装配和车辆配送集成调度问题

本文针对一类广泛存在的分布式加工装配和车辆配送集成调度问题(Integrated Scheduling Problem of Distributed Production Assembly and Vehicle Delivery,ISP_DPAVD),以最小化运输和延迟惩罚总成本为优化目标,提出一种混合三维分布估计算法(Hybrid three-Dimensional Estimation of Distribution Algorithm,H3DEDA)进行求解.ISP_DPAVD包含两个耦合的子问题,即加工装配阶段子问题(子问题1)和车辆配送阶段子问题(子问题2).由于每个子问题1的解(部分解1)均会确定1个具体的子问题2,故ISP_DPAVD的解空间非常庞大.根据这一特点,在H3DEDA中,先设计结合邻域变换的启发式规则来快速获取子问题2的优良解,以实现子问题间的部分解耦并明显缩减搜索空间,再设计三维EDA引导的全局搜索和变邻域驱动的局部搜索来获取ISP_DPAVD的高质量解.通过在不同规模测试问题上的仿真实验和算法比较,验证了H3DEDA求解ISP_DPAVD的有效性.

一种基于动态空间划分和压缩布隆过滤器相结合的分布式元数据负载均衡算法

分布式元数据管理系统利用多个元数据服务器对大量元数据进行存储和管理。该系统将海量元数据通过不同的映射策略分配到不同的元数据服务器上,减少单台元数据服务器所处理的数据量,从而减少磁盘访问次数,进而提高整个元数据管理系统的性能。元数据管理系统通常会使用哈希函数将元数据键映射到不同的元数据服务器中。然而,当数据特征值相似时,由于散列函数的单向性,会导致数据分布不均衡的问题,造成元数据服务器性能下降。为解决上述问题,提出了一种动态空间划分和压缩布隆过滤器相结合的元数据负载均衡算法,该算法首先构建一个哈希桶来组织元数据键,通过哈希算法将元数据键映射到不同的哈希桶中;在映射过程中,根据元数据服务器的负载情况动态调整目标哈希桶,并在上述哈希桶中有序地保存元数据键的映射信息。当访问元数据时,首先通过压缩布隆过滤器对元数据键进行预处理,然后通过二分查找在指定的哈希桶中进行元数据映射信息的查找。与近年来提出的元数据管理算法相比,所提算法在映射键发生倾斜时仍能保证元数据服务器负载均衡,并通过对比实验表明,所提算法相比最优的元数据管理算法,在内存占用仅提升2%的条件下,获得了20%的搜索性能提升。

改进松鼠搜索算法求解分布式节能柔性调度

为了优化同时考虑最大完工时间和机器能耗的双目标分布式柔性作业车间调度问题,提出了一种改进的多目标松鼠搜索算法。引入了基于升序排列规则的转换机制,实现了松鼠位置向量与调度解之间的转换,并针对机器空闲时间设计了从半主动到主动的解码策略。针对不同优化目标设计了三种种群初始化策略。同时提出了动态捕食者策略来更好地协调算法的全局探索和局部开发能力。设计了四种领域搜索策略用于增加种群多样。20个实例上的实验结果验证了改进后的算法求得解的质量和多样性更好,从而证明了其可有效求解分布式节能柔性调度问题。

基于一致性算法的新型电力系统边缘集群分布式经济调度模型

随着风电、光伏等可再生能源大量并入新型电力系统配电网,大量分散的风电、光伏等集群呈现出分布式管理和控制方式,使传统集中式的经济调度方法陷入困境。对此,基于传统一致性算法,文章提出了风电、光伏构成的边缘集群分布式经济调度模型。首先,给出了风电、光伏的边缘集群模型及其波动性特性;其次,推导了传统一致性算法及实现经济调度的优化模型;在此基础上,结合风电和光伏边缘集群模型,提出了风电、光伏的边缘集群的一致性经济调度分布式算法;最后,以某实际系统为例,对所提算法模型进行仿真验证。结果显示了所提模型的有效性。

分布式数据驱动的多约束进化优化算法

泛在计算模式下,数据分布式获取和处理带来了分布式数据驱动优化的需求。针对数据分布获取、约束异步评估且信息缺失的挑战,构建分布式数据驱动的多约束进化优化算法(DDDEA)框架,由一系列终端节点负责数据提供和分布式评估,服务器节点负责全局进化优化。基于该框架具体实现了一个算法实例,终端节点利用局部数据构建径向基函数(RBF)模型,辅助驱动服务器节点差分进化(DE)算法对问题进行寻优。通过与3个集中式数据驱动的多约束进化优化算法在两个标准测试集的实验对比,DDDEA在68.4%的测试用例中取得显著最优结果,在84.2%的测试用例中找到可行解的成功率为1.00,表明该算法具有良好的全局搜索能力和收敛能力。

面向物理信息系统的分布式攻击图生成算法

物理信息系统包含类型多样的物理设备,现有的攻击图生成技术不适用于物理信息系统.传统的漏洞扫描技术难以检测到物理设备的漏洞,并且随着系统规模的增加,攻击图的计算会出现状态空间爆炸问题.为此,本文提出了一种面向物理信息系统的分布式攻击图生成算法.首先,针对物理设备漏洞识别较难的问题,提出了一种基于属性标记实体的方法扩展实体漏洞信息,并据此对物理信息系统进行攻击建模;其次,针对状态空间爆炸问题,提出了一种分布式攻击图生成算法,并且利用消息传递机制消除图部分的重复遍历,进一步提高了生成效率.实验结果表明,与其他相关技术相比,本文技术具有更高的生成效率.

基于ICOA-IEM算法的含分布式电源配电网分区故障定位

针对分布式电源大量接入使得配电网结构复杂化,导致故障定位难度增大的问题,本文提出一种改进黑猩猩算法与隐枚举法结合的配电网分区故障定位方法。首先,引入Iteration映射来提高初始化种群质量,加入变异柯西算子和反向学习策略以及单纯形法用于改善算法的局部开发能力和勘探能力;然后,建立含分布式电源的开关函数和目标函数,依据故障点与开关函数的对应机理,进行区域划分;最后,通过仿真验证,所提方法与传统的黑猩猩算法分区定位方法相比在求解速度上平均提高43.05%,准确率上平均提高1.17%,表明改进黑猩猩分区定位方法能够准确、迅速定位故障区段,同时具有较高的容错性。

基于NSGA-Ⅱ算法的分布式驱动电动汽车制动转矩分配控制策略研究

针对分布式驱动电动汽车制动安全性和制动能量回收兼顾的问题,研究了基于NSGA-Ⅱ多目标优化算法的车辆制动转矩分配控制策略。建立基于模糊控制的优化集筛选模块,根据车速以及需求制动转矩从Pareto前沿优化集中确定最优转矩分配系数。以某款乘用车为研究对象,基于MATLAB/Simulink和VPAT搭建制动转矩分配控制策略模型进行仿真,并搭建硬件在环仿真平台,对算法的实时性和有效性进行了验证。结果表明:WLTC工况下,基于NSGA-Ⅱ的制动转矩分配的控制策略制动转矩分配系数更加接近理想Ⅰ曲线对应的分配系数,电机制动高效区工作点提高了9.51百分点,再生制动能量回收率提升4.71百分点。

基于动态扩散算法的直流微电网简化分布式二层控制

孤岛直流微电网采用下垂控制实现电流均分时,均流效果受馈线阻抗影响且带来电压跌落。为实现电压恢复和电流精确均分,提出了一种采用动态扩散算法的简化分布式二层控制策略。相比于传统二层控制,该简化二层控制策略仅包含1台积分控制器和1个通信变量,简化了控制结构,减轻了通信链路负担。策略采用动态扩散算法进行分布式通信,改善了系统的收敛速度以及稳定性。考虑到不可忽略通信采样时间对系统稳定性的影响,建立了系统的离散时间小信号模型,绘制根轨迹图分析了二层控制增益和通信采样周期等关键参数对系统稳定性的影响。最后,基于MATLAB/Simulink的仿真结果验证了所提策略在动态性能和稳定性上的优越性。

基于遗传算法的家电智能生产线分布式资源调度算法设计

目前家电智能生产线存在多任务操作冲突、调度控制响应时间长以及制造资源利用率低等问题。为了实现家电智能生产线的合理资源调度,基于多目标优化和分布式资源调度理论,建立了家电智能生产线分布式资源调度模型,提出了基于遗传算法的家电智能生产线分布式资源调度算法。仿真实验表明,与传统生产线调度方法相比,所提出的分布式资源调度算法最大完工时间缩短了5.76%,解的适应度提高了8%,验证了算法的可行性和高效性。

针对大规模动态图流三角形计数的边哈希分布式抽样算法

三角形计数是大图分析的一个经典问题,近年的研究工作主要集中在针对静态流式图的三角形数量估计上,相关流式图抽样算法只能处理边的插入操作,无法处理边的删除操作;而现有的动态流式图抽样算法估计准确性又偏低.针对上述问题,提出了基于边哈希分配的分布式抽样(edge hashing assignmentbased distributed sampling,EHADS)算法,它是一个用于估计动态流式图中三角形数量的分布式流算法,可以快速准确地估计动态流式图中的全局三角形数量以及每个顶点的局部三角形数量.EHADS算法只对输入的图流进行1次处理,并在多台机器上对边进行抽样.与先进的单机流算法相比,EHADS算法具有2点优势:1)在相同样本容量的情况下,EHADS算法以更短的运行时间获得了更小的估计误差,估计全局三角形数量的误差平均降低了31.79%,估计局部三角形数量的误差平均降低了23.35%;2)EHADS算法能够提供流式图中三角形数量的无偏估计,并且严格的数学证明显示该无偏估计具有更小的方差.

基于遗传算法的分布式光伏配网储能优化配置研究

为了改善配网电能质量、实现配网负荷水平的调节,提出基于遗传算法的分布式光伏配网储能优化配置方法。在分析复合储能工作原理与蓄电池储能调峰优化的前提下,构建两阶段储能优化配置模型。第一阶段优化配置模型中,以最小电压波动、网损为目标函数,从而确定蓄电池储能的最佳接入位置。第二阶段优化配置模型中,将配网接入的最低储能设备总容量作为目标函数,从而实现储能设备容量的优化配置。通过最佳保留策略、交叉、变异率的自适应变化,对遗传过程进行优化。采用改进的遗传算法对两阶段储能优化配置模型进行求解,以此确定储能的最佳配置方案及运行优化策略。试验结果表明:该方法对配网储能进行优化配置后,配网电压波动指标明显下降至1.95%,并且网损值、电压波动指标大幅降低。该方法能够实现各类负荷的调峰,具有削峰填谷效应。