竞争与合作视角下的多Agent强化学习研究进展

随着深度学习和强化学习研究取得长足的进展,多Agent强化学习已成为解决大规模复杂序贯决策问题的通用方法。为了推动该领域的发展,从竞争与合作的视角收集并总结近期相关的研究成果。该文介绍单Agent强化学习;分别介绍多Agent强化学习的基本理论框架——马尔可夫博弈以及扩展式博弈,并重点阐述了其在竞争、合作和混合三种场景下经典算法及其近期研究进展;讨论多Agent强化学习面临的核心挑战——环境的不稳定性,并通过一个例子对其解决思路进行总结与展望。

基于隔振结构的微型振动机器人设计与实验

为了增强振动机器人的运动性能,设计了一种基于隔振结构的振动驱动机器人。该机器人结构主要由机器人主体、隔振结构和驱动足组成。首先,设计了2种不同的隔振结构,通过理论分析进行对比;然后,介绍了振动驱动的运动原理,由振动电机产生的离心力进行驱动;最后,制作了振动机器人样机并且进行了实际测试,通过对机器人的直线运动、旋转运动、不同地形上的运动、越障和负载进行测试,对隔振结构进行了性能对比,选取了性能更加优越的Z型隔振结构,同时对机器人的性能进行了评估,它在玻璃上的最大速度为181.34 mm/s,能够承载高达300 g的负载,这说明了所设计的隔振结构的有效性,为振动机器人的设计提供了新的思路。

胶囊机器人的可展钳位锚定结构设计与实验

针对当今胶囊机器人缺乏肠道内锚定能力的现状,基于可展连杆机构,设计了胶囊机器人的钳位锚定结构,能够适用于不同直径的肠道环境并提供足够的锚定力。可展钳位结构主要由环形剪状结构及驱动模块组成,并通过前侧安装模块可适配于不同胶囊机器人。根据设计参数,进一步建立了锚定结构的展开性能模型,该结构展开至最大时的撑开面积相较于收缩状态时扩大了248%。最后,依据设计制作了样机,并搭建实验测试平台,分别在不同内径的橡胶软管和离体猪大肠环境中验证了其展开能力及锚定能力。实验表明:样机在展开钳位固定时的摩擦力是未展开时的2.2倍,固定后能够有效克服猪大肠内的蠕动力,验证了钳位结构的可行性,为未来胶囊机器人钳位设计提供新思路。

泛能网——信息与能量耦合的能源互联网

伴随着世界能源危机及环境保护等问题,世界各国正在积极探索未来能源发展的新出路。近年来美国著名经济学家杰里米·里夫金的第三次工业革命和能源互联网的提法引起了广泛关注。基于此发展趋势,各国纷纷提出了自己的互联网驱动工业技术进步发展策略:美国的第三次工业革命和工业互联网,德国的工业4.0,中国的坚强智能电网,"互联网+"。泛能网以系统能效理论为基础,形成能源网、物联网和互联网构成的三层立体网络,利用信息与能量的耦合和协同,因地制宜,充分发挥多品位能源的潜力,解决可再生能源融合带来的稳定性问题、供能用能一体化带来的动态匹配问题,并实现了基于信息与能量耦合的协同优化控制,成为一种具有代表性的新型能源互联网。

机器人三维激光扫描视觉系统标定误差

基于三维激光扫描仪的工业机器人视觉系统应用越来越广泛,而扫描仪与机器人之间位姿关系标定精度对于机器人视觉系统的应用有重要的影响。介绍基于三维激光扫描仪的机器人视觉系统的相关原理,然后在此基础上系统分析机器人视觉系统位置和姿态标定误差对工件扫描结果和根据扫描结果对工件进行定位过程的影响,得出在工件无姿态变化或有姿态变化但机器人扫描姿态不变情况下的机器人工件定位系统中无须进行视觉系统位置标定的结论,并试验验证了理论分析结论的有效性,为解释视觉系统标定误差对扫描结果的影响情况及简化视觉系统标定过程提供了理论依据。

超临界水中碳酸钠团簇成核与生长分子动力学模拟

应用分子动力学方法研究了碳酸钠颗粒在超临界水中的成核与生长过程.计算了温度为700-1100K、压力在23-30MPa下碳酸钠的团聚过程,计算时间为1ns.对体系结合能与径向分布函数的分析表明,碳酸钠成核过程主要受静电作用的影响.在超临界态下,水分子与Na+和CO2-3之间的静电作用降低,Na+与CO2-3能够很容易碰撞形成Na2CO3小团簇.在Na2CO3整个成核过程中,单个离子的碰撞在前50ps内完成,同时离子碰撞速率达到1030cm-3·s-1.另外,在成核阶段温度的影响比压力更加明显,温度越高,离子碰撞速率越快,形成的初始团簇越多.而压力对Na2CO3团簇的进一步生长影响较大.

复杂型面洁具机器人磨削抛光系统

为了实现复杂型面工件的柔性加工,研制了一套机器人柔性加工系统,完成了具有复杂型面水龙头的自动化磨削抛光过程。设计了具有力控制功能及接触轮在线调整功能的磨削单元,可以实现在线误差实时补偿及自动更换机器人TCP(Tool Center Point);设计了具有力控制功能及轮径在线检测与补偿功能的抛光单元,不仅能够实时补偿机器人系统各种误差,而且当抛光轮半径变化很大时,仍能够保证工件与抛光轮接触;采用机器人离线编程技术,设计了离线编程软件,提高了机器人编程效率及精度;采用三维激光扫描技术,能够自动实现工件校准及在线装卡误差检测与补偿,保证产品加工一致性。该系统技术先进且简单实用,能够满足产品生产要求。

机器人砂带磨削系统作业精度分析与误差补偿

为了更好地反映及提高工业机器人砂带磨削系统的整体性能,通过分析机器人应用系统的特点,详细描述了工业机器人应用系统"作业精度"的含义及衡量标准.在此基础上,推导了机器人砂带磨削系统作业精度模型,设计了机器人砂带磨削系统作业误差测量工具及校准系统,建立了实际的机器人砂带磨削系统.通过实际的机器人磨削实验验证了方法的有效性.

超临界水中碳酸钾成核机理的分子动力学模拟

针对超临界水对催化剂成核过程的影响机制问题,采用分子动力学模拟方法系统研究K2,CO3在不同温度和密度的超临界水中的成核过程.通过对体系的相互作用能、径向分布函数、配位数及体系氢键网络结构变化的分析,揭示了在K2,CO3成核过程中K+、CO32-与水分子间的相互作用机理.结果表明:在超临界态下,随着温度的升高、密度的降低,水溶液体系氢键结构破坏,水分子与K+和CO32-的作用急剧降低,K+和CO32-在静电作用下可冲破水分子的静电屏蔽,从而碰撞聚合形成离子对,继而进一步团聚成核;体系温度越高、密度越小,K2,CO3越易形成小而分散的团簇.

三联供能源系统优化建模与调度方法

本文研究了综合多种能源形式的能源管理系统(EMS)的建模与优化调度。利用分布式发电设备以及内燃机三联供系统,本文将发电、制冷、供热过程一体化,从能源生产,储运,回收以及应用4个环节出发,基于热力学熵的变化原理,建立各个组成部分的熵增模型。进而,本文建立了以系统熵增最小为优化目标的能源优化模型,提出采用滚动调度的方式进行能源调度,并利用GPU来求解这一混合整数非线性优化问题。结合某酒店建筑群典型冬季供热季与夏季制冷季的某一天内24 h电冷热需求预测,文章比较了以系统熵增最小为优化目标和以运行成本最低为优化目标的优化调度方法的调度结果。从结果可以看到,由于基于熵增模型的EMS调度考虑了使用不同能源造成的品质变化,使得调度结果的能源利用率提高,且对于环境更友好。

一种自助式口腔疾病早期诊断及口腔洁治机器人系统设计

目的报道一种新型的口腔医疗机器人系统,用于口腔疾病的早期诊断及口腔卫生的日常维护。方法设计一种用于口腔早期诊断和自助式口腔洁治的集成化机器人系统,该系统包括主机、机械臂、工作端、自助口腔洁治模块、口腔疾病早期筛查模块、终端计算机辅助系统、医患沟通平台软件系统等。患者经过简单学习和培训后,可进行自助式口腔洁治,并向医生远程传输口腔疾病信息,以获得早期诊断和指导。结果该口腔机器人系统具有7个自由度的冗余机械臂,同时集成了360°高清视觉系统和力反馈系统,自助口腔洁治模块和口腔疾病早期筛查模块综合成本可控制在500元人民币以下,维护成本低廉,预期广泛覆盖70个大中城市,满足近8亿人口的口腔卫生维护需求。结论该机器人系统在口腔疾病的预防和早期发现中具有一定的实用意义,能够提高民众的口腔健康水平和生活质量,同时可以降低国家医疗成本。

基于周期性ARMA-SVR模型的空调冷热负荷预测

工业用户的空调冷热负荷预测对于有目的的节能减排有重要作用。由于用户的冷热负荷数据具有非线性、外界干扰多且呈日周期性的特点,采用传统的ARMA和SVR方法不能取得良好的预测效果。因此提出一种利用日周期性特点的组合ARMA模型和SVR模型的预测方法:首先结合原始数据的日周期性特点,采用ARMA模型进行线性预测;对于ARMA模型的预测残差中保留的原始数据的非线性特征,利用SVR模型对残差进行非线性部分的预测,修正原来的预测结果,得到最终的预测值。采用真实数据的实验结果显示,新提出的预测方法可以显著改善预测效果。

多层一致性网络的最优控制节点组合选择算法

针对具有层次化网络拓扑结构的多智能体系统中的一致性问题,提出了一种选择多层网络中最优控制节点新的组合算法。首先,提出了定量刻画多层一致性网络控制效果的数学指标。然后根据多层同质网络与多层异质网络拓扑结构的特点,分别定位多层多智能体系统的层间网络和层内网络的最优控制节点。在此基础上通过组合的方法,最终确定整个多层网络的最优控制节点。对于多层随机网络,通过改变层数、节点数以及层间和层内的连边概率依次改变层间结构和层内结构。当层内网络节点数较小时,通过算法找到的领导节点和最优控制节点之间的误差控制在1%～10%,当网络节点数增大或者连边概率等于1时两者的相对误差小于1%;当层间结构为随机网络时,当连边概率小于0. 1时相对误差在5%～20%,当连边概率增加到1时相对误差减小为1%。实验分析表明了所提算法的有效性。

基于集结策略预测控制的逆变器控制方法

逆变器作为当今电源系统设备的重要组成部分,其控制效果对设备稳定运行、电源质量等有重要影响.提出了一种基于集结策略的三相三线电压型逆变器的模型预测控制方法,该方法可以大大降低控制器计算复杂性,实现快速模型预测控制.控制策略中使用d-q旋转坐标系下构建的三相三线制电压型逆变器的累积增量模型,将问题转变为恒值控制系统,并达到消除稳态误差、提升控制精度的目的.仿真结果表明,所述的控制策略可以很好的消除稳态误差,控制器计算复杂度与PID控制相同,并具有良好的动态特性.

智能轮椅担架车的折展机构设计与分析

针对智能轮椅担架车折展状态之间的转换难题,提出单自由度5杆机构,对该机构进行详细的设计与分析.通过最小包容面积法,得出扶手连杆和连架杆的最优尺寸,分别为507.9和332.5 mm;基于连杆机构的静力学分析,采用6根扭簧和RV减速电机作为连杆机构的驱动装置,减少了电机的驱动力矩,整体结构紧凑.根据优化参数和驱动装置的计算结果,开展智能轮椅担架车折展机构的设计,分析扶手构件在如厕状态和折展状态时的应力变化,验证了该构件强度的可靠性.研制智能轮椅担架车,采用不同重量的实验人员进行折展机构的性能测试,从机构的运动过程和电机电流变化来看,所设计的驱动装置和优化参数结果合理.

基于LSTM网络的居民区供热负荷短时预测

用户侧供能负荷预测是能源互联网的关键技术之一,在能源互联网的运行管理中起着重要的作用。高精度的用户侧供能负荷预测能够提高能源利用率,有助于错峰资源的分层优化与自动分配,从而实现能源生产与使用的协同调度。现有的供能负荷预测方法很少考虑数据内部的时序相关性。基于实际的居民区历史供水热量数据,并考虑数据的时序特性,采用了长短时记忆(LSTM)网络,以挖掘居民区供水热量数据在时间维度上的内在联系。通过研究数据潜在的特征,建立了一种基于LSTM网络的居民区供热负荷短时预测模型。试验证明,相较于传统数据驱动的供热负荷短时预测模型,基于LSTM网络的居民区供热负荷短时预测模型具有更高的预测精度,在工业中具有更高的实际应用价值。未来将扩大数据集规模,引入与供热负荷相关的气象数据,构建基于LSTM网络的多步预测模型与供热需求长时预测模型。

烟煤在超临界水中催化气化的研究

以鄂尔多斯烟煤为例,利用间歇反应釜,在超临界水条件下考察了反应温度、水煤比以及K2CO3添加量等因素对煤气化反应的影响.结果表明,温度对煤的转化率和气相收率有重要影响,且转化率和气相收率随温度的升高而增加;增加水煤比会提高煤转化率和气相收率,但其对气体组成和煤转化率影响的幅度随水煤比的增加而减小;在5%～20%(质量分数)煤催化剂添加条件下,煤转化率随催化剂添加量的增加而迅速增加.在研究考察范围内,煤颗粒尺寸在80目～150目范围内,最佳的反应条件是:反应温度为650℃,水煤比为20∶1,K2CO3添加量为20%(质量分数)煤.相应的反应结果是:煤转化率达到84%以上,气相收率高于3 000 mL/g daf coal,其中氢气收率为1 900 mL/g daf coal,甲烷收率为450 mL/g daf coal.

超临界水氧化处理鲁奇炉气化废水的研究

采用240 L/d的连续式超临界水氧化(SCWO)装置对鲁奇炉气化废水进行试验研究,通过实验室设计的高压连续加氧系统和在线温度测量装置,系统研究了废水的反应温度、停留时间、质量浓度等对废水COD、NH3-N和挥发酚去除率的影响,并对氧化自热过程进行了初步探索。结果表明:升高温度和延长反应时间均可促进废水中有机物的分解;随着废水质量浓度的升高,COD去除率增加而挥发酚和NH3-N的去除率有所下降;当温度超过500℃、压力23 MPa、停留时间为68 s时,经处理的废水COD、NH3-N和挥发酚去除率均超过了99.8%。通过高质量浓度鲁奇废水的氧化试验,证明在现有的试验装置上实现过程自热操作是可行的,为过程开发和放大提供基础数据。

煤与生物质共气化制甲烷实验研究

以烟煤和高粱秸秆为研究对象,在小型加压固定床反应器上考察了压力3.5MPa及温度700℃条件下制焦方式、煤/生物质混合比和气固接触时间对煤与生物质共气化制取富甲烷气体过程中水蒸气气化反应和甲烷化反应的影响.结果表明,对于水蒸气气化反应,煤焦和生物质焦共气化时不能观察到明显的协同作用;对于甲烷化反应,高粱秸秆焦的甲烷化反应活性高于煤焦的甲烷化反应活性,当对高粱秸秆水洗后,高粱秸秆焦的甲烷化反应活性降低至与煤焦的甲烷化反应活性相当,分析表明,水洗后高粱秸秆焦碱金属钾的含量显著降低,说明高粱秸秆焦中碱金属钾的存在是高粱秸秆焦甲烷化反应活性较高的主要原因.增加气固接触时间,有利于提高甲烷产率.

人机物协同的三元群智社会

未来十年,下一代互联网可能是基于5G的三元智联网所谓三元智联网,就是由人、机、物这三元在网络连接下,形成了一个智慧的网络。在三元空间智联网内,生活方式、生产方式和思维方式都会发生改变,消费也由过去的两元消费进入了三元的智能消费。