基于Actor模型的众核数据流硬件架构探索

超大规模AI模型的分布式训练对芯片架构的通信能力和可扩展性提出了挑战。晶圆级芯片通过在同一片晶圆上集成大量的计算核心和互联网络,实现了超高的计算密度和通信性能,成为了训练超大规模AI模型的理想选择。AMCoDA是一种基于Actor模型的众核数据流硬件架构,旨在利用Actor并行编程模型的高度并行性、异步消息传递和高扩展性等特点,在晶圆级芯片上实现AI模型的分布式训练。AMCoDA的设计包括计算模型、执行模型和硬件架构3个层面。实验表明,AMCoDA能广泛支持分布式训练中的各种并行模式和集合通信模式,灵活高效地完成复杂分布式训练策略的部署和执行。

Actor-Critic-Based UAV-Assisted Data Collection in the Wireless Sensor Network

Wireless Sensor Network(WSN)is widely utilized in large-scale distributed unmanned detection scenarios due to its low cost and flexible installation.However,WSN data collection encounters challenges in scenarios lacking communication infrastructure.Unmanned aerial vehicle(UAV)offers a novel solution for WSN data collection,leveraging their high mobility.In this paper,we present an efficient UAV-assisted data collection algorithm aimed at minimizing the overall power consumption of the WSN.Firstly,a two-layer UAV-assisted data collection model is introduced,including the ground and aerial layers.The ground layer senses the environmental data by the cluster members(CMs),and the CMs transmit the data to the cluster heads(CHs),which forward the collected data to the UAVs.The aerial network layer consists of multiple UAVs that collect,store,and forward data from the CHs to the data center for analysis.Secondly,an improved clustering algorithm based on K-Means++is proposed to optimize the number and locations of CHs.Moreover,an Actor-Critic based algorithm is introduced to optimize the UAV deployment and the association with CHs.Finally,simulation results verify the effectiveness of the proposed algorithms.

New Rural Community Construction or Retention Development:A Comparative Analysis of Rural Settlement Transition Mechanism in Plain Agriculture Area of China Based on Actor Network Theory

It is an important way to realize rural revitalization and sustainable development to guide rural settlement transition(RST)in an appropriate way.This paper uses actor network theory(ANT)to construct a theoretical framework for the study of RST.Taking two typical villages with different transition paths in rural areas of North China Plain as examples,this paper reveals the mechanism of RST and makes a comparative analysis.The results show that:1)after identifying problems and obligatory passage point,key actors recruit heterogeneous actors into the actor network by entrusting them with common interests,and realize RST under the system operation.2)Rural settlements under different transition paths have similarities in the problems to be solved,collective actions and policy factors,but there are differences in the transition process,mechanism and effect.The actor network and mechanism of RST through the path of new rural community construction are more complex and the transition effect is more thorough.In contrast,the degree of RST of retention development path is limited if there is no resource and location advantage.3)Based on the applicable conditions of different paths,this paper designs a logical framework of‘Situation-Structure-Behavior-Result’to scientifically guide the identification of RST paths under the background of rural revitalization.

融合Dead-ends和离线监督Actor-Critic的动态治疗策略生成模型

强化学习对数学模型依赖性低,利用经验便于架构和优化模型,非常适合用于动态治疗策略学习。但现有研究仍存在以下问题:1)学习策略最优性的同时未考虑风险,导致学到的策略存在一定的风险;2)忽略了分布偏移问题,导致学到的策略与医生策略完全不同;3)忽略患者的历史观测数据和治疗史,从而不能很好地得到患者状态,进而导致不能学到最优策略。基于此,提出了融合Dead-ends和离线监督Actor-Critic的动态治疗策略生成模型DOSAC-DTR。首先,考虑学到的策略所推荐的治疗行动的风险性,在Actor-Critic框架中融入Dead-ends概念;其次,为缓解分布偏移问题,在Actor-Critic框架中融入医生监督,在最大化预期回报的同时,最小化所学策略与医生策略之间的差距;最后,为了得到包含患者关键历史信息的状态表示,使用基于LSTM的编码器解码器模型对患者的历史观测数据和治疗史进行建模。实验结果表明,DOSAC-DTR相比基线方法有更好的性能,可以得到更低的估计死亡率以及更高的Jaccard系数。

基于不确定性估计的离线确定型Actor-Critic

Actor-Critic是一种强化学习方法,通过与环境在线试错交互收集样本来学习策略,是求解序贯感知决策问题的有效手段.但是,这种在线交互的主动学习范式在一些复杂真实环境中收集样本时会带来成本和安全问题离线强化学习作为一种基于数据驱动的强化学习范式,强调从静态样本数据集中学习策略,与环境无探索交互,为机器人、自动驾驶、健康护理等真实世界部署应用提供了可行的解决方案,是近年来的研究热点.目前,离线强化学习方法存在学习策略和行为策略之间的分布偏移挑战,针对这个挑战,通常采用策略约束或值函数正则化来限制访问数据集分布之外(Out-Of-Distribution,OOD)的动作,从而导致学习性能过于保守,阻碍了值函数网络的泛化和学习策略的性能提升.为此,本文利用不确定性估计和OOD采样来平衡值函数学习的泛化性和保守性,提出一种基于不确定性估计的离线确定型Actor-Critic方法(Offline Deterministic Actor-Critic based on UncertaintyEstimation,ODACUE).首先,针对确定型策略,给出一种Q值函数的不确定性估计算子定义,理论证明了该算子学到的Q值函数是最优Q值函数的一种悲观估计.然后,将不确定性估计算子应用于确定型Actor-Critic框架中,通过对不确定性估计算子进行凸组合构造Critic学习的目标函数.最后,D4RL基准数据集任务上的实验结果表明:相较于对比算法,ODACUE在11个不同质量等级数据集任务中的总体性能提升最低达9.56%,最高达64.92%.此外,参数分析和消融实验进一步验证了ODACUE的稳定性和泛化能力.

Actor-critic框架下的二次指派问题求解方法

二次指派问题(QAP)属于NP-hard组合优化问题,在现实生活中有着广泛应用。目前相对成熟的启发式算法通常以问题为导向来设计定制化算法,缺乏迁移泛化能力。为提供一个统一的QAP求解策略,将QAP问题的流量矩阵及距离矩阵抽象成两个无向完全图并构造相应的关联图,从而将设施和地点的指派任务转化为关联图上的节点选择任务,基于actor-critic框架,提出一种全新的求解算法ACQAP。首先,利用多头注意力机制构造策略网络,处理来自图卷积神经网络的节点表征向量;然后,通过actor-critic算法预测每个节点被作为最优节点输出的概率;最后,依据该概率在可行时间内输出满足目标奖励函数的动作决策序列。该算法摆脱人工设计,且适用于不同规模的输入,更加灵活可靠。实验结果表明,在QAPLIB实例上,本算法在精度媲美传统启发式算法的前提下,迁移泛化能力更强;同时相对于NGM等基于学习的算法,求解的指派费用与最优解之间的偏差最小,且在大部分实例中,偏差均小于20%。

无人机辅助物联网中基于Safe Actor-Critic的信息年龄最小化研究

无人机作为一种新的通信设备,有望在物联网数据采集、监控等业务中发挥关键作用。为保证所采集数据的时效性,利用信息年龄来衡量无人机从物联网设备接收到的数据新鲜度。通过联合优化无人机轨迹和无人机与物联网设备的关联策略以最小化信息年龄加权和,并保证无人机累积飞行能量消耗满足预算要求。由于上述问题同时受短期和长期约束条件的限制,将问题建模为受约束的马尔可夫决策过程(CMDP),并利用Safe Actor-Critic来求解。仿真结果表明,所提算法在最小化信息年龄的同时,能有效保证能量预算。

基于Actor-Critic自适应PID的钢筋套丝头跟踪检测控制系统研究

为适应流水线节奏,不影响生产进程,从而更好地实现钢筋套丝头质量检测和尺寸测量的自动化与智能化,设计了基于同步带直线导轨的钢筋套丝头检测跟踪系统,并提出了一种基于Actor-Critic的自适应PID控制方法,用强化学习的方法根据环境反馈自动调节PID控制器的比例、积分、微分参数。对该方法和其他PID控制方法的响应性能指标进行实验和分析,实验结果表明该方法能够实现高精度、快速响应的跟踪拍摄,保证高精度的套丝头质量检测。

基于改进Actor-Critic算法的多传感器交叉提示技术

针对在减少战场资源浪费、平衡战场效费比的同时提高目标探测概率,保证目标的可持续跟踪,提出利用改进Actor-Critic算法的多传感器交叉提示技术进行目标探测。首先,综合传感器探测、能耗、时效等因素搭建基于“交叉提示”传感器的动态管理评估模型;其次,重点分析利用Actor-Critic交叉提示算法的传感器管理决策规则,并且提出了Actor-Critic算法,以根据任务自身需求组建中央评价网络,加大传感器与外部环境的交互。仿真结果表明,改进的算法可以加速网络收益,实现对目标的持续性探测,加强传感器之间的交叉提示功能,提升调度的智能化水平,具有较大的应用价值。

广义行为正则化离线Actor-Critic

行为正则化Actor-Critic(BRAC)是一种离线强化学习算法,通过将当前策略与行为策略之间的Kullback-Leibler(KL)散度作为策略目标函数的正则化项来缓解分布偏移问题.但是,由于KL散度是一种无界的分布差异度量,在策略差异过大时,策略目标函数中的累积期望回报项将仅对策略改进发挥有限的作用,从而导致最终学到的策略性能较差.针对该问题,将当前策略与行为策略之间的斜对称Jensen-Shannon(JS)散度作为策略目标函数的正则化项,提出了一种广义行为正则化离线Actor-Critic(GOACBR)算法.理论分析表明:由于斜对称JS散度有界,将其作为正则化项有助于降低策略性能差异.进一步,针对行为策略未知导致难以直接计算当前策略和行为策略间斜对称JS散度的问题,设计了一个辅助网络来对其进行间接估计.最后,给出了GOACBR的收敛性理论证明.在D4RL基准数据集上的评估结果表明:相较于BRAC,GOACBR在所有测试任务上获得的平均累积回报总和提升了289.8%.相关代码公布在https://github.com/houge1996/GOAC.

基于Actor模型的机载分布式计算方法研究

分布式计算是在网络互联的集群内,多个计算节点协作计算的技术,可实现集群内的计算资源共享。为了满足机载复杂应用日益增长的计算需求,基于Actor模型研究了机载环境下软件分布式计算的实施方法,并对机载分布式计算框架、组件及系统分布式计算应用过程进行了设计。该设计基于ARINC653“分区机制”,在保障了机载应用间隔离性的同时,实现了机载应用的分布式计算,提高了系统的可扩展性。

WSANs中基于实时性约束的actor节点优化部署策略

旨在研究基于实时性约束的actor节点优化部署策略.由于WSANs通常是随机播撒的,导致基于实时性约束的actor节点优化部署问题是NP难问题.因此,提出了基于Voronoi图的最大实时覆盖部署策略,并通过实验,与现有针对区域覆盖的部署策略进行对比.该部署策略可以使WSANs获得更好的实时性,且在收敛速度、能量消耗方面具有较好的性能.

一种自适应模糊Actor-Critic学习

提出一种基于模糊RBF网络的自适应模糊A ctor-C ritic学习.采用一个模糊RBF神经网络同时逼近A ctor的动作函数和C ritic的值函数,解决状态空间泛化中易出现的“维数灾”问题.模糊RBF网络能够根据环境状态和被控对象特性的变化进行网络结构和参数的自适应学习,使得网络结构更加紧凑,整个模糊A ctor-C ritic学习具有泛化性能好、控制结构简单和学习效率高的特点.M oun ta in C ar的仿真结果验证了所提方法的有效性.

基于Actor的虚拟环境系统研究

通过参考 Agent模型以及借鉴 CSP方法中的若干核心思想 ,提出了基于 Actor的面向对象模型 ,综合考虑了 Actor模型及面向对象方法的优点 ,更好地表达了对象的行为特性 .该模型已在自主式移动机器人系统仿真实验中得到应用 ,实验结果验证了该模型的有效性 .

Actor-Critic框架下的数据驱动异步电机离线参数辨识方法

电动汽车用电机的参数辨识可以使电机在任意转速下尽可能输出更高的转矩及效率,是优化电机输出性能的重要手段。传统的基于模型驱动的参数辨识方法的缺点为易受模型误差的影响、抗干扰能力差以及无法实现全转速范围内的转矩最优。鉴于上述缺点,该文研究了一种完全基于实际数据的电动汽车用异步电机离线参数辨识方法,对电机的转子电阻和励磁电感在任意转速下进行了优化,从而使电机能够在特定转速和特定电流下输出最优转矩。为达到电机在特定转速和电流下输出转矩最优的目的,研究了一种基于Actor-Critic框架的电动汽车用异步电机离线参数辨识方法,确定了框架中的观测、奖励和动作的设计。实验证明相对于传统参数辨识方法,该文方法具有更高的精确性和鲁棒性,同时确保了电动汽车用异步电机在任意转速下的输出转矩最优。

Actors：实现并发面向对象程序设计的模型

Ａｃｔｏｒｓ是一些计算单位。这些计算单位为了回答不断增长的通信而进行各自的工作。原始的Ａｃｔｏｒｓ语言语义基于纯消息传递。文中建立了Ａｃｔｏｒｓ模型的基本框架，并且讨论了利用Ａｃｔｏｒｓ语言开发大型并发系统的优点。还讨论了Ａｃｔｏｒｓ语言抽象结构的数学表示。

Analysis of Hypertension Status and Its Influencing Factors in Some Areas of Hubei Province, China

Objective: To know about the current situation of hypertension in some areas of Hubei Province and analyze the influencing factors. Methods: According to the principle of Stratified sampling, we conducted health examination and questionnaire survey for 1500 residents over the age of 18 at observation point of chronic noninfectious diseases at 10 sub-districts (towns) of Wuhan City, Jingzhou City, Huanggang City, Shiyan City, which used descriptive statistics and logistics to regressively analyze Current situation of hypertension and its influencing factors of residents. Results: Prevalence of hypertension of rural and urban residents over 18 is 27.44% in Hubei province. There are many differences among prevalence of hypertension of male and female, distribution of BMI of rural and urban residents and prevalence of hypertension and so on, and it has statistical significance (P-value < 0.05 averagely);logistic regressive analysis result shows that different age, gender, education level, dieting habits (high salt and high oil), family per capita monthly income, BMI have statistical significance on the prevalence of hypertension in urban and rural residents of Hubei Province. Conclusions: The prevalence of hypertension in the residents of five cities and prefectures in Hubei Province is on the trend of rising in ladder form and at a much earlier age. The health education, monitoring and intervention of chronic diseases need to be widely carried out, with emphasis on the intervention of the residents’ eating habits of high salt and oil, smoking, drinking and other bad lifestyle.

一种基于Actor模型的弹性可伸缩的流处理框架

流处理是一种重要的大数据应用模式,在金融、广告、物联网、社交网络等众多领域得到了广泛应用.在流处理场景中,流数据的产生速度往往变化剧烈且不容易预测.这时,如果数据流量峰值超过处理系统的承载能力,可能使得系统运行缓慢甚至崩溃,导致处理作业失效;如果为了应对数据流量峰值而过度配置资源,则可能在系统轻载时产生不必要的浪费.为了解决流处理中负载和资源的匹配问题,流处理系统应该具有弹性可伸缩的能力,一方面以高效的方式组织运算资源;另一方面能根据数据流量的实时变化自动地调整资源使用量.然而,现有的流处理框架对于弹性可伸缩的支持尚很初步.介绍了一种基于Actor模型的弹性可伸缩的流处理框架eSault.eSault首先基于Actor模型将批量的处理单元进行分层管理,通过2层路由机制实现了对伸缩性的支持;在此基础上,设计一个基于数据处理延迟的过载判断算法和基于数据处理速度的轻载判断算法来指导系统对资源的有效使用,进而实现弹性可伸缩的流处理.实验结果表明:eSault具有较好的性能,而且能够很好地实现弹性可伸缩.

基于Actor模型的软总线设计

为提高网络化嵌入式系统的安全性与可靠性,提出一种基于Actor模型的软总线设计方法,以解决分布式全数字仿真测试中系统及组件间的通信问题。采用以Actor模型为中心的发布/订阅机制,实现分布式节点之间的同步、异步通信。在此基础上,提出一种基于线程池技术的任务调度方法,实现Actor模型的协同工作,并通过规则链表进行Actor消息的处理及转发。实验结果表明,与HLA、OpenDDS总线相比,在大数据量并发处理的情况下,该软总线程序执行效率提升30%以上,能够满足网络化嵌入式系统测试对实时性与并发性的需求。

基于Actor模型的高性能分布式XMPP服务器

云计算和移动互联网的高速发展,使得云端服务器需要同时和大规模客户端保持实时交互,XMPP消息通信技术使用基于TCP长连接的方式来实现这一功能.然而,现有的XMPP服务器系统大多基于传统的并发模型设计,整体性能较差,无法应对大规模并发的需求.本文针对XMPP服务器的特点,提出了一种基于Actor模型的XMPP服务器架构设计,并给出了一种基于一致性哈希的分布式消息路由算法,有效提升了系统的并发度、弹性扩展能力,以及消息传递的效率.实验表明基于本文方法实现的系统相比于现有其他系统,性能有很大提升,可以适应大规模并发的场景.