电力系统调度决策:一种示教学习辅助加速的安全强化学习方法

随着可再生能源占比攀升和电网运行环境愈加复杂,亟需构建知识-数据融合的新型电力系统调度模式。鉴于此,首先采用模仿学习的方法对专家知识库中的案例进行拟合,构建示教学习模型,为电力系统调度运行提供示教调度引导指令。在此基础上,提出一种基于示教学习辅助加速的安全强化学习方法,能用于支撑电力系统实时快速决策。通过引入示教学习辅助加速机制,所提方法的收敛速度显著加快,调度策略迅速趋优,降低系统运行成本,缓解潮流越限风险。案例分析验证所提方法在提升强化学习收敛效率和促进电力系统安全经济运行方面的优势。

基于示教学习和自适应力控制的机器人装配研究

针对柔性自动化领域的机器人装配问题,对示教学习和自适应力控制等方面进行了研究,对初始位置变化时示教搜孔、插孔时降低接触力矩波动速度和误差的策略进行了归纳,提出了利用示教学习对搜孔轨迹泛化和模糊自适应阻抗控制插孔的方法。首先根据是否与孔产生接触力将示教任务分为两段;接着利用了任务参数化的高斯混合模型(TP-GMM)训练并泛化第一段轨迹;最终和原示教的第二段轨迹组合为新的搜孔轨迹;采用了六自由度阻抗控制使得机器人具有柔顺性,再利用了模糊自适应策略调节阻抗控制中Z轴期望接触力,利用UR机器人对方形孔进行了装配试验验证。研究结果表明:所提出的策略在新的初始位置,仍能绕过障碍物并生成新的搜孔轨迹,无需再次示教;调节期望接触力相比其不变时,绕X轴方向力矩波动速度低,且波动误差减小了30%。

利用示教学习的移动机械臂轨迹避障算法

为了提高服务机器人的环境适应性和减轻操作者的控制负担,本文提出了一种利用示教学习的轨迹修正算法。利用动态动作基元模型,生成与示教轨迹形状相似的新轨迹。进而提出改进的距离加权k-近邻算法,实现移动机械臂末端轨迹形状的局部修正。本文设计了避免相邻有效训练数据丢失的在线更新方法,并在人机交互系统上进行避障和实时性测试。实验结果证明了本文提出的轨迹避障算法具有对新任务的适应能力,不同场景下的避障决策能力和在线修正能力,从而保证友好、流畅的人机交互过程。

机器人示教学习与技能泛化实验设计

该文提出了一种基于视觉信息和动态运动原语(dynamic movement primitive,DMP)模型的机器人示教学习方法。首先,利用双目摄像头拍摄数据,并基于掩膜原理、质心计算和坐标变换,实现基于视觉信息的场景目标位置识别;其次,基于DMP模型的技能学习算法,提出了初始位置和目标位置相同情况下的分段学习方法;最后,将上述目标识别算法和技能学习方法相结合并应用于机器人作业任务中,通过仿真实验验证了所提出示教学习方法的有效性,实现了机器人在位置空间上的技能泛化。该方法对于机器人示教学习以及人机技能传递的相关实践教学和应用研究具有重要意义。

基于ASP模式的数控手工编程示教学习系统

通过对一种基于ASP(Application Service Provider)模式的在线互动式数控手工编程示教学习系统的设计和对其若干关键技术与功能(如数控加工工艺知识的抽取、表示与存取方法,数控加工工艺知识库,常见G指令和M指令数据库及其帮助查询,指令代码联想及纠错,在线互动式数控练习系统以及数控编程实例集等)的开发实现,为数控编程学习者提供一个Web风格的、具有良好人机界面的启发式数控手工编程环境、学习和练习系统,使其能便捷地学习、掌握数控编程及数控加工相关的知识。

基于逆强化学习的示教学习方法综述

随着强化学习在自动机器人控制、复杂决策问题上的广泛应用,强化学习逐渐成为机器学习领域中的一大研究热点.传统强化学习算法是一种通过不断与所处环境进行自主交互并从中得到策略的学习方式.然而,大多数多步决策问题难以给出传统强化学习所需要的反馈信号.这逐渐成为强化学习在更多复杂问题中实现应用的瓶颈.逆强化学习是基于专家决策轨迹最优的假设,在马尔可夫决策过程中逆向求解反馈函数的一类算法.目前,通过将逆强化学习和传统正向强化学习相结合设计的一类示教学习算法已经在机器人控制等领域取得了一系列成果.对强化学习、逆强化学习以及示教学习方法做一定介绍,此外还介绍了逆强化学习在应用过程中所需要解决的问题以及基于逆强化学习的示教学习方法.

人在环路的机器人在线可持续示教学习

现有的机器人在未知环境下的行为能力与人类相比还有很大的差距。为了使机器人能够像人类一样持续在线地提升自身的行为能力,提出了人在环路的机器人在线可持续学习方法。首先,改进基于径向基函数网络的增量式学习,将人类加入到机器人学习的环路中,使机器人通过主动问询人类的方式获取新的学习样本,并基于该样本在线增量式地更新自身的行为。其次,基于贝塞尔曲线的轨迹规划方法将人类提供的高层行为转换成机器人可执行的低层动作,降低人类示教成本,同时提高所学行为的稳定性。然后,借鉴大脑的工作机理,提出类人的机器人潜意识学习方法,使机器人在内部世界产生虚拟学习样本,增加行为学习的鲁棒性。最后,走廊行驶行为学习实验显示机器人能够主动地与人类交互,并且高效、在线可持续地学习到鲁棒的行为。结果表明,所提方法使机器人具备类人的可持续在线提升自身行为的能力。

基于体感交互的仿人服务机器人增强示教学习的研究

仿人服务机器人在许多的方面已经取得了重大的进步,比如关键零部件,行走平衡与协调运动控制、语音识别与交互等,但是离实用还相差甚远,其主要原因在于仿人服务机器人缺乏环境感知和学习能力。为了提高服务机器人对环境的适应性,通过自主搭建的仿人机器人平台,以孔棒装配为背景,提出了在非结构化环境下基于多坐标系下示教学习数据重构和多重GMM混合方法,解决了非结构化环境下示教数据的建模与复现问题,提高了机器人对环境的适应性。首先介绍了基于3D打印技术的仿人服务机器人的制作以及控制系统,然后介绍仿人服务机器人的运动学模型,仿人服务机器人的装配过程的数据采集,最后实现仿人机器人的非结构化环境下的轨迹生成。

基于协作机器人的示教器设计

图像建模记录示教点的位资数据,一组连续的示教点构成机器人相关动作的工作点位,依次构建的程序能保证机器在此后的运行中圆满再现示教者的作业动作,机器通过学习示教者的行为达到由自主体自动学习最优策略,大幅度降低了人机协作中操作的难度,简化了多任务情景中繁琐的编程工作。

机器人操作技能学习方法综述

结合人工智能技术和机器人技术,研究具备一定自主决策和学习能力的机器人操作技能学习系统,已逐渐成为机器人研究领域的重要分支.本文介绍了机器人操作技能学习的主要方法及最新的研究成果.依据对训练数据的使用方式将机器人操作技能学习方法分为基于强化学习的方法、基于示教学习的方法和基于小数据学习的方法,并基于此对近些年的研究成果进行了综述和分析,最后列举了机器人操作技能学习的未来发展方向.

基于深度强化学习的虚拟手自适应抓取研究

在计算机角色动画的抓取研究中,生成动作序列的自然性、稳定性及自适应能力三者难以同时得到保证,即自然又稳定的抓取控制器往往泛化能力有限,无法适用于其他类型、尺寸物体的抓取任务。通过引入和抓取类型相对应的手部示教数据、设计回报函数,构建了一种基于深度强化学习的虚拟手自适应抓取控制器。实验结果表明,该控制器能够生成兼具自然性和稳定性的抓取运动序列,同时对素材库中不同尺寸、不同类型的基元物体也具备较好的自适应能力。

基于改进动态系统稳定估计器的机器人技能学习方法

提出一种基于改进动态系统稳定估计器的机器人技能学习方法.现有的动态系统稳定估计器方法可以通过非线性优化来确保学习系统的全局稳定性,但是存在确定高斯混合分量个数困难以及稳定性和精度无法兼顾的问题.因此,根据贝叶斯非参数模型可以自动确定合适分量个数的特性,采用狄利克雷过程高斯混合模型对演示进行初始拟合.随后利用参数化二次李雅普诺夫函数重新推导新的稳定性约束,有效地解决了动态系统稳定估计器方法中稳定性和精度难以兼顾的问题.最后,在LASA数据库和Franka-panda机器人上的实验验证了新方法的有效性和优越性.

机器人演示编程技术的研究进展

制造业的转型升级对机器人的部署效率提出了很高的要求,现有的示教盒编程模式适合于对简单作业的位置和轨迹示教,难以快速实现制造业中大量装配作业的示教。而机器人演示编程技术能够使机器人系统直接从人的演示操作中提取有效信息,并将该信息转化为机器人的运动程序,从而使机器人完成相应的操作,能够大大加快机器人部署的节奏。本文结合制造业的发展需求,总结了机器人演示编程技术的国内外研究现状,并介绍本课题组在机器人演示编程技术方面的工作,最后探讨了机器人演示编程技术未来的研究方向。

适用于模糊综合评判系统的一种机器学习方法

在分析模糊综合评判的实际意义及其具体算法的基础上,指出了模糊综合评判系统在获取相关专家知识方面所存在的困难,进而提出了一种适合于模糊综合评判的新的机器学习方法———反馈示教学习法,并且对于在模糊综合评判中使用这种学习方法的具体思路进行了论述,并在模糊综合评判系统中得以实现。

基于分段动态运动基元的机械臂轨迹学习与避障方法

针对存在障碍物的复杂工作场景中所规划的机械臂运动轨迹与示教轨迹相似性不高的问题,提出一种基于分段DMP(动态运动基元)的轨迹学习与避障方法。首先利用DMP模型对示教轨迹编码生成一条学习轨迹,结合快速扩展随机树算法(RRT)在工作空间中获得能够顺利回归原始轨迹的避障路径;然后针对避障路径确定中间点进行分段DMP优化编码,学习生成具有一定泛化能力的复现轨迹;最后通过机械臂进行轨迹复现,实现保留原始轨迹特征的避障功能。通过手写体字母实验与六轴机械臂平台上的物块搬运实验进行验证,结果表明:DMP分段编码的能力有效解决了传统避障算法所造成的轨迹变形和特征破坏问题,与传统避障算法的轨迹相比,实验结果轨迹与示教轨迹的相似性有了明显提高,验证了所提方法的有效性。

基于弹性分析与函数回归模型的示教轨迹学习与泛化方法

示教学习是解决仿人机器人动态轨迹规划问题的高效方法.示教轨迹作为一种函数型数据,天然地具有耦合的时空特征,需要在函数型数据分析的理论框架下进行研究.传统的示教学习成果以“预处理”的形式解决上述耦合问题,不能充分利用示教轨迹的函数型数据本质.为了充分利用这一本质,本文采用弹性分析方法,将示教轨迹视作函数型数据,解决它们的时–空特征解耦问题.基于解耦后的示教轨迹,本文建立函数型回归模型并将其应用于动态轨迹的生成,实现示教轨迹在不同任务参数下的泛化.在实验中,JACO-2机械臂学习形态各异的技能并在不同的任务参数下完成任务,验证了提出方法的有效性.本文在统一的数学框架下,基于函数型数据分析的数学方法,解决一类仿人机器人的示教轨迹学习与泛化问题,具有较好的理论统一性与可实践性.

基于高速DSP技术的低成本智能焊接机器人设计与研究

针对目前工业化焊接存在工作繁重、人员劳动强度大、身体容易疲劳、易出错、安全生产事故率较高、焊接质量难以保证等问题,基于国外进口通用焊接机器人价格昂贵、维护保养成本高、备品备件难选购等情况,提出一种高速DSP(数字信号处理器)的低成本智能焊接机器人解决办法,深入研究了机器人各关键部件和核心技术,搭建了机器人硬件平台,设计了专用运动控制器,分析了人工引导方式“示教-编程”操作学习方法,应用大量工业成熟货架产品,实现了专用智能化焊接机器人,制造了国产化样机并投产实机对比验证,可原位替代昂贵进口设备,提高产品焊接质量,减少人工出错率,降低工人劳动强度,节约设备采购维护成本,提高劳动生产率。

一种基于DTW-GMM的机器人多机械臂多任务协同策略

为了控制机器人完成复杂的多臂协作任务,提出了一种基于动态时间规整-高斯混合模型(Dynamic time warping-Gaussian mixture model,DTW-GMM)的机器人多机械臂多任务协同策略.首先,针对机器人示教时轨迹时间长短往往存在较大差异的问题,采用动态时间规整方法来统一时间的变化;其次,基于动态时间规整的多机械臂示教轨迹,采用高斯混合模型对轨迹的特征进行提取,并以某一机械臂的位置空间矢量作为查询向量,基于高斯混合回归泛化输出其余机械臂的执行轨迹;最后,在Pepper仿人机器人平台上验证了所提出的多机械臂协同策略,基于DTW-GMM算法控制机器人完成了双臂协作搬运任务和汉字轨迹的书写任务.提出的基于DTW-GMM算法的多任务协同策略简单有效,可以利用反馈信息实时协调各机械臂的任务,在线生成平滑的协同轨迹,控制机器人完成复杂的协作操作.

基于几何约束与隐马尔可夫链模型的轴孔装配策略

针对工业机器人自动装配效率低、环境适应性差等问题,提出一种基于几何约束物理模型与隐马尔可夫链模型(HMM)的机器人轴孔装配策略。首先,通过建立轴孔各接触状态下几何与力学模型,分析零件装配过程中几何约束与受力特点,以获得轴孔装配策略的理论装配轨迹。其次,应用基于隐马尔可夫链模型和高斯混合回归(HMM-GMR)的少样本示教学习方法获得装配过程中的期望接触力,通过导纳控制器对理论轨迹进行补偿,实现对期望接触力的跟踪,从而保证实际装配过程中接触运动的准确性和鲁棒性。最后,针对最小间隙为0.16 mm的轴孔零件进行装配实验,验证了在少训练样本、较大定位偏差情况下所提出装配策略的有效性。

驾驶机器人控制系统设计与实现

为了满足驾驶机器人在高实时性、鲁棒性、复用性、开放性和维护性等方面的要求,对驾驶机器人控制系统进行了研究,详细阐述了软件系统的设计和实现,提出了基于分层递阶模型的控制软件架构,并且设计了示教学习方法,以使驾驶机器人能够快速适应不同车型的车辆,学习掌握实验车辆机械几何尺寸和相关的一系列技术指标,例如离合器结合区的位置、发动机加速性能和怠速制动性能。