一类基于概率优先经验回放机制的分布式多智能体软行动-评论者算法

针对实际多智能体系统对交互经验的庞大需求,在单智能体领域分布式架构的基础上,提出概率经验优先回放机制与分布式架构并行的多智能体软行动-评论者算法(multi-agent soft Actor-Critic with probabilistic prioritized experience replay based on a distributed paradigm, DPER-MASAC).该算法中的行动者以并行与环境交互的方式收集经验数据,为突破单纯最近经验在多智能体高吞吐量情况下被高概率抽取的局限性,提出更为普适的改进的基于优先级的概率方式对经验数据进行抽样利用的模式,并对智能体的网络参数进行更新.为验证算法的效率,设计了难度递增的2类合作和竞争关系共存的捕食者-猎物任务场景,将DPER-MASAC与多智能体软行动-评论者算法(multi-agent soft Actor-Critic, MASAC)和带有优先经验回放机制的多智能体软行动-评论者算法(multi-agent soft Actor-Critic with prioritized experience replay, PER-MASAC)2种基线算法进行对比实验.结果表明,采用DPER-MASAC训练的捕食者团队其决策水平在最终性能和任务成功率2个维度上均有明显提升.

基于模糊神经网络的工业数据流优先级适配机制

在传统的工业现场级网络中,存在大量具有不同时延需求的业务,如何满足不同业务的时延需求存在挑战。针对在工业场景中现场级网络应如何保障系统反馈控制实时性的问题,提出了一种基于模糊推理模型的优先级适配机制。该机制通过动态调整网络中数据流的优先级,以满足各类异构业务的传输需求,保证系统反馈控制的实时性;同时,为了使其能够与时间敏感网络的优先级结合,设计了离散量化输出模型,为实现确定性网络调度提供依据。最后通过仿真,验证了该机制的实时性与有效性。

在RT-Linux实现优先级继承机制

优先级反向是实时系统中由于任务间需要共享资源以及同步而引起的高优先级任务被低优先级任务阻塞的现象。优先级反向使得高优先级任务的执行时间无法预测,增加了实时系统的不确定性。解决优先级反向可以采用优先级继承机制。通过对RT-Linux源代码的分析,应用基本优先级继承协议对RT-Linux进行了改进,消除了优先级反向,改善了RT-Linux的实时性能。

IEEE802.11e中DCF的优先级机制

正在制定过程中的IEEE802.11e标准是802.11WLAN标准的扩展,用以提供所要求的Qos。该文重点阐述了在802.11e中EDCF的优先级机制,并通过仿真数据对优先级机制的性能进行评价。

含优先级机制的ATM Mux中的信元丢失率分析

含丢失优先级机制的ATM Mux中的信元丢失率分析是ATM网络流量控制研究中的一个重要问题.本文用两状态的MMDP近似实际输入过程,并采用流体流技术对不同优先级信元在ATM Mux中的丢失率进行了分析,得到了各类信元的丢失率与缓冲容量之间关系的解析式.模拟文验表明该方法足够精确,完全可以满足实际应用的需要.

提高CORBA应用系统响应的混合优先多线程机制

1 问题的提出 近年随着网络技术的发展,以及在OMG组织提出COR-BA标准后,分布式系统已经由原来的以客户机/服务器方式为主的结构,发展为多采用CORBA做为中间件的客户机/中间件/服务器三层结构,而且已经成为当前信息集成框架的主流技术,如在制造业、通讯、金融和财政等领域纷纷提出相应的集成框架,并利用CORBA提供的公共服务.

基于优先连接机制的微博用户评论行为建模研究

[目的/意义]微博已成为当前主导互联网舆情生成的重要平台。舆论热点的产生往往与评论行为密切相关。探求评论行为影响因素并进行量化研究对舆论引导具有重要的现实意义。[方法/过程]从微博信息增长、评论增长、评论频数分布等角度统计分析微博用户的评论行为数据。基于统计分析结果,对BA网络和节点批量到达的Poisson网络模型进行改进,引入优先连接机制和微博影响力,构建微博用户评论行为模型,对模型进行仿真及验证。[结果/结论]研究揭示了微博用户评论行为的内在影响机制。

基于RTAI的优先级继承机制剖析

优先级逆转是实时系统中由于任务间需要共享资源以及同步而引起的高优先级任务被低优先级任务阻塞的现象。解决优先级逆转可采用优先级继承机制。通过对RTAI调度机制的深入分析,加深了对此问题的研究,有助于实时系统设计人员避免此问题发生。

基于优先级调度机制和剩余带宽动态分配的EPON性能研究

为了实现EPON接入网中的区分服务,提出了一种基于ONU内调度的改进优先级排队技术和轻载无惩罚的动态带宽分配算法。具体实现是把仅在某个设定时刻之前到达的数据包给予高优先级并按其优先级发送;然后把从轻载ONU得到的剩余带宽分配给其他重载ONU,以获得更高的信道吞吐量。仿真实验结果表明,提出的方案相比于常用的严格优先级调度机制和有限带宽分配算法,在包时延方面分别降低了约76%和53%,在吞吐量方面分别提高了约48%和30%。

混合异构无线传感器网络覆盖漏洞修补算法

在无线传感器网络(WSN)中,增强传感器覆盖范围是核心问题。文章提出一种基于优先级机制的、适用于混合异构WSN的覆盖漏洞修补算法。该算法通过评估漏洞大小和设定补丁节点优先级,提升覆盖率,减少冗余,平衡资源。结果显示,改进后的算法在覆盖率和节点冗余上均优于传统算法,为WSN覆盖优化提供新思路。

基于PER-DDPG算法的城市轨道交通越区切换研究

针对传统IEEE802.11越区切换方式存在较高的切换延时以及乒乓切换等问题,提出深度强化学习(Deep Q-Network,DQN)越区切换算法。通过对列车运行的特征状态信息进行提取输入,考虑列车运行速度及场强、切换阈值等动态信息构建越区切换模型。同时针对算法时间成本复杂度及稳定性,采用优先经验回放深度确定性策略梯度(Prioritized Experience Replay-Deep Deterministic Policy Gradient,PER-DDPG)算法,将列车状态空间信息传输至PER-DDPG网络中进行优化分析。结果表明基于PER-DDPG算法优化后的列车越区切换模型使用该算法时间计算成本降低,数据包传输延时约降低55%。

清洁能源市场化优先替代规则设计及其相关分析

发展清洁能源是能源行业发展的基本趋势,通过市场化机制而不是行政强制方式以清洁能源替代常规能源已成为国内外的共识。在相关国际经验的基础上,结合我国实际分析包含中长期电能量交易、短期临时性电能量交易、现货电能量交易、辅助服务交易和其他交易的清洁能源交易品种体系,设计清洁能源专场交易、清洁能源与其他能源混合交易的清洁能源市场化优先替代规则,给出在电能量市场集中竞价中清洁能源优先替代规则与市场成交结果之间的关系,并进行实施清洁能源优先替代所需要的调峰资源评估。

基于深度强化学习CLPER-DDPG的车辆纵向速度规划

为了解决车辆纵向速度规划任务中规划器不易收敛以及在多场景之间切换时稳定性差的问题,基于多层感知机设计了车辆纵向速度规划器,构建了结合优先经验回放机制和课程学习机制的深度确定性策略梯度算法。该文设计了仿真场景进行模型的训练和测试,并对深度确定性策略梯度(DDPG)、结合优先经验回放机制的深度确定性策略梯度(PER-DDPG)、结合优先经验回放机制和课程学习机制的深度确定性策略梯度(CLPER-DDPG)3种算法进行对比实验,并在园区内的真实道路上进行实车实验。结果表明:相比于DDPG算法,CLPER-DDPG算法使规划器的收敛速度提高了56.45%,距离差均值降低了16.61%,速度差均值降低了15.25%,冲击度均值降低了18.96%。此外,当实验场景的环境气候和传感器硬件等参数发生改变时,模型能保证在安全的情况下完成纵向速度规划任务。

基于深度强化学习的机械臂多模混合控制

针对基于深度强化学习控制的机械臂动态避障能力不足,在作业过程中存在多任务冲突问题,提出一种基于双重角色和正则化批评者算法(DARC)的多模混合控制方法。将任务分解为多段避障模式,借助人工势场法的斥力引力思想设计奖励函数并分别进行训练;将经过初步训练的多个模式以距离阈值或奖励积累阈值进行切换控制,消除混合控制存在的冲突;结合机械臂单元运动学特点设计具有软体性质的多连杆机械臂平面仿真模型。实验验证所提方法能够有效提升机械臂动态避障能力,避免多任务间的冲突。

多层中继网络通信时延高容忍度控制算法分析

为解决多层中继网络(MLRN)中的通信时延问题,提高其在复杂网络环境下的数据传输效率和稳定性,本研究构建多层中继网络通信时延高容忍度控制算法模型,包括动态路由选择、数据包调度机制以针对网络拥塞和故障的自适应调整机制。在NS-3网络模拟器上进行实验测试,模拟了各种网络条件下通信过程,以验证所提算法有效性。结果表明,相比于传统的时延控制策略,本研究提出的算法能降低通信时延,提高网络数据传输效率yu稳定性,研究发现可为多层中继网络的优化与应用提供价值参考。

关键业务数据包优先发送及其在Cisco路由器中的实现

该文以Ｃｉｓｃｏ路由器下的ＴＣＰ／ＩＰ应用环境为例，用具体的网络配置实例对关键应用数据包进行了具体的分析，特别对路由优先机制进行了深入的剖析。

CRCLA的杂凑算法优先级决策映射方法

为解决杂凑算法在粗粒度可重构阵列上的映射问题,通过对杂凑算法的特征分析,为提高映射的能效,采用空间展开操作并行的映射手段;针对某一操作在映射时往往存在多种候选方案难以选取最佳方案的情况,提出一种优先级决策机制,对5种开销值进行优先级排序,选择出最佳方案。在阵列芯片上对多种典型杂凑算法的映射结果进行实测分析,相较于其它不同决策机制的映射方法,该映射方法在能效上提升了约10%~20%,具有良好的能效特性。

一种REB&PMDS的无线MAC协议

针对分散无线网络的媒质访问控制,提出了一种新的MAC算法;算法根据几何分布采用随机长度的突发来重复消除信道访问节点,其中每个发送节点能够在每个时隙中执行载波侦听操作或执行一个短突发或干扰发送;计算了在单次消除和重复消除中n个节点中有m个节点在消除阶段存活下来的概率以及重复消除中一个节点成为唯一获胜者的概率;并基于基本优先级向量提出了一种实现差异化服务的相对优先级机制,从而提高整个网络的信道总利用率;仿真实验结果表明,提出的协议算法相比于目前广泛采用的几种MAC协议在信道接入成功率、信道利用率和信道分配公平性方面都有明显的优势。

混合传感网络覆盖洞修复改进算法研究

针对传统的无线传感网络覆盖洞修复算法VOR(VORonoi algorithm)存在的不足,该文在混合传感网络环境下提出基于优先机制的VORP(Priority-based VOR)和基于复杂优先机制的VORCP两种改进的覆盖洞修复算法。通过对两种改进算法进行仿真和分析,以及对运用修复算法前和分别运用VOR、VORP、VORCP算法后,监测区域无线传感网络覆盖情况的纵向与横向的比较分析,结果表明该文所提出的改进算法在性能和效率上均优于传统的覆盖洞修复算法。

公交驾驶员自主抢单系统及最优分配方法研究

本文以提高地面公交企业人力资源使用效率、提升驾驶员主观能动性为出发点,以解决公交临时缺员、实时调整运力带来的人员配班不及时的问题为导向,建立一种新型、动态的公交驾驶员自主抢单系统。本研究充分利用互联网技术对公交线路配班模式的系统结构进行整体设计,基于智能优先抢单算法选取最优驾驶员,随后依据激励机制对已完成抢单任务的员工进行奖励或对未按要求完成任务的员工进行惩罚。该抢单系统能够准确、实时的记录公交驾驶员的配班模式、抢单任务工作量和时间点等数据信息,提高了用工效率和驾驶员的主观能动性,提升了企业资源利用率和运营效率,进一步促进了公交员工的科学化、精细化管理。