基于逆强化学习与行为树的机械臂复杂操作技能学习方法

现有分层强化学习方法不仅在学习过程中存在样本效率低、奖励稀疏以及学习时间过长等问题,而且大多基于仿真环境,导致学习策略在机器人真实操作环境中部署困难。针对上述问题,提出一种基于逆强化学习与行为树的机械臂复杂操作技能学习方法。在对复杂操作任务进行分割的基础上,首先,根据专家演示轨迹确定分割后每个子任务的强化学习参数及其对应的专家策略;其次,根据子任务专家策略并使用生成对抗模仿学习算法进行预训练,得到每个子任务的奖励函数;再次,运用每个子任务的奖励函数并基于SAC算法做进一步训练,获取到每个子任务的最优策略;最后,将子任务最优策略从仿真环境部署到真实环境,并将部署后的每个子任务作为叶节点构建行为树,实现机械臂复杂任务规划。实验结果表明,所提方法能较好地学习机械臂复杂操作技能,并在性能上优于其他传统强化学习算法。

基于行为树的水下运载器减压行为决策研究

为减小乘员手动控制水下运载器上浮减压的安全风险,以水下运载器自动上浮停留减压问题为研究对象,分析水下运载器在水中的一系列减压过程,提出水下运载器自动上浮停留减压需求,基于行为树技术对水下运载器在减压过程中的行为决策进行设计与建模。针对该行为决策模型进行仿真实验,通过仿真实验验证所设计行为树符合预期,为提升水下运载器智能化奠定基础。

基于攻防行为树的网络安全态势分析

现代网络面临遭受组合攻击的风险,通过构建基于攻防行为的安全态势分析模型来对每一个独立及组合攻击行为进行威胁分析十分必要。本文针对传统的攻击树模型没有考虑防御因素影响,防御树模型缺乏较好的可扩展性,故障树模型难以对外部攻击进行分析等问题,在攻击树模型中引入博弈论,以描述具体网络攻防事件场景。首先,分析网络中不同层次攻击行为的逻辑关系,整合不同层次攻击事件对应的攻防树,获得完整网络攻防行为树,进而构建网络攻防行为树模型。其次,从网络攻防行为、网络检测设备以及网络防御措施3方面对基本攻防行为树进行扩展,提出攻击目标成功率算法,计算其攻击概率。在此基础上,对攻击威胁进行评估,分析网络安全态势。最后,为验证网络攻防行为树模型的可行性和有效性,在BGP(border gateway protocol)攻击树的基础上构建攻防行为树模型,通过概率计算可知:攻击路径PATH1概率最大;且在没有防御措施的情况下,5条攻击路径的攻击成功率均得到增大,PATH2至PATH5概率增大倍数显著高于PATH1,与实际相符。本文所提的网络攻防行为树模型能很好地计算各种防御措施的效果,且能够在任意节点添加和删除攻防行为,具有较强的可扩展性,可为网络管理者与运营者提供科学的决策依据。

基于行为树模型的电动汽车电池组件分类机器人系统框架

针对回收电动汽车电池时必须拆卸和分类电池组件的问题,提出了一种实现电动汽车电池组件半自动化拆卸和分类的移动机器人系统。该系统利用行为树模型来执行认知和监控任务,以模块化的方式集成不同的机器人能力,如导航、目标跟踪、运动规划和抓取。在静态和动态环境下对该系统框架进行了仿真测试,并根据机器人完成任务的时间和成功率对其进行评估。结果表明:机器人在静态和动态环境下完成电池组件分类任务的平均时间分别为51.63min和83.09min,总体成功率分别为95%和82%,验证了所提机器人系统的有效性,具有高效率和高成功率的性能。

基于改进行为树的作战计划建模方法

针对网状结构作战计划模型存在调整效率低的问题,提出一种基于改进行为树的作战计划建模方法。该方法在传统行为树的基础上,通过扩充三层黑板结构实现模型内部节点之间的信息交互;通过组合运用行为树相关组件构建作战任务及任务关系树状结构模型;针对作战计划执行的特点,改进行为树执行逻辑规则,得到作战计划行为树模型。最后,通过攻防对抗作战仿真实验进行了验证,实验结果表明所提方法具有良好的可行性和动态调整性。

员工知识共享行为树的动态创建算法

采用建立知识共享行为ontology和行为树映射方法,设计了一种能够根据员工的知识行动动态生成其行为树的有效算法。该算法具有实时、交互式的特点,能够实现对员工知识共享的参与度作出定量评价。

进化行为树方法研究综述

进化行为树方法是一种利用进化算法自主生成和优化行为树模型的智能体行为建模方法。从介绍行为树、进化算法相关背景知识入手,阐述了基于遗传编程、语法演化、混合算法三类进化行为树算法以及相应改进算法,分析比较不同算法的优劣;梳理总结了进化行为树方法在作战仿真、游戏人工智能、机器人等领域的具体应用;从搜索能力、泛化能力、行为树优化、多智能体应用方面提出并探讨了未来的发展趋势。

基于行为树的IEC 61850智能电子设备互操作性描述与验证

IEC 61850智能电子设备(IED)间的互操作是IEC 61850实施的关键。为解决在IED生产后对其进行互操作性测试成本高和测试周期长的问题,提出了基于形式化方法行为树(BT)的IED互操作性描述与验证方法,在IED设计阶段对其互操作性进行描述和验证。首先对参与交互应用的IED的外部行为特征及分布式功能的交互模型采用图形化BT进行建模,然后将交互模型的BT模型转化为通信顺序进程(CSP)模型,进而采用过程分析工具(PAT)对交互模型进行死锁及可达性等交互性验证。以变电站定时过流保护IED交互模型为例进行了建模与验证,结果表明该方法能有效检测IED设备设计中存在的交互性缺陷。

基于概率行为树的保护系统建模与可靠性定量评估

依据数字继电保护系统的功能和特点,提出一种保护系统的行为树模型及其可靠性定量评估方法。给出硬件部件、软件行为、顺序和选择关系的可靠度模型。对现有行为树模型进行概率扩展后完成对保护系统的建模,给出行为可靠度计算公式以进行保护系统可靠性定量评估。算例仿真计算结果表明,所提方法可正确评估保护系统可靠性,进行薄弱环节识别。

基于行为树的协议建模方法及其应用研究

为解决现有协议建模方法验证困难及测试序列生成算法复杂度高和测试序列长的问题,提出了一种基于行为树(BT)的协议描述新方法。采用行为树模型对协议的控制流程进行建模,提出了基于行为树描述的协议验证方法,并给出了基于行为树的测试序列生成方法。以某监控协议为例给出了基于行为树的建模过程,将所建模型转换为通信顺序进程(CSP)后采用过程分析工具(PAT)完成了协议验证,并完成了测试序列的计算与对比分析,结果表明提出的方法能方便地完成对协议的描述与验证,能降低测试序列计算复杂度并减少生成的测试序列长度。

基于行为树的内部用户行为监管

操作系统中用户行为并不可信,因为传统的访问控制理论表现为一种"关口控制",不让不符合条件者进去,但是一旦取得进入的资格和权利,在授权范围内的行为就没人监管了。首先分析了操作系统中用户行为的特征及其描述方法,提出了一种基于用户行为树的用户行为监管模型,依据操作系统行为树来分析用户在操作系统中可能存在的"开域授权"行为踪迹,然后根据用户行为的层次性来实现对用户行为的监管。该模型采用了基于行为树的不良行为过滤算法,可以有效防止合法用户的"开域授权"行为,保证用户行为的可信性,是传统访问控制理论的有益补充。

机电系统的概率行为树建模及可靠性评价

直接利用模型检测工具提供的形式化语言对系统进行形式化建模直观性较差、建模难度大,因此利用概率行为树对机电系统进行形式化建模,并通过概率模型检测对机电系统进行可靠性评价。对机电系统功能执行过程中功能载体的状态及其变迁进行了研究。基于概率行为树的语义和句法,提出了机电系统状态变迁过程的概率行为树建模方法,开发了建模支持工具。利用该建模工具可实现机电系统的概率行为树建模并能将其转换为基于PRISM语言的形式化模型。基于机电系统的潜在故障,用连续随机逻辑对机电系统可靠性评价指标进行形式化规约。基于概率行为树模型和可靠性评价指标的形式化规约,利用模型检测工具PRISM实现了对机电系统的可靠性评价。该方法比直接使用形式化语言建模更直观、易于理解和掌握。

基于进化行为树的智能体决策行为建模研究

针对传统仿真系统中建模方法存在领域知识获取困难、生成行为固定、缺乏适应性等问题,提出基于静态约束的进化行为树方法构建智能体决策行为模型。在通用进化算法基础上自动生成反映智能体决策行为逻辑的行为树拓扑结构,通过通用学习方法与领域规则的较好结合提升决策模型的生成效率和适应性,并以坦克对战军事游戏中的决策行为建模为例进行验证。结果表明:该方法能增强决策逻辑的可解释性,具备可行性和科学性。

TTCN动态行为树的一种编译方法

ＴＴＣＮ（ｔｈｅＴｒｅｅａｎｄＴａｂｕｌａｒＣｏｍｂｉｎｅｄＮｏｔａｔｉｏｎ）是一种用于精确描述抽象测试套的国际标准测试表示法。然而用ＴＴＣＮ描述的抽象测试套是不可直接执行的，必须把它转换为用某一适当可执行语言书写的可执行测试套。本文给出了ＴＴＣＮ核心部分──动态行为树的一种编译方法。

基于行为树与软件故障树的需求缺陷分析

在所有软件密集系统的开发中,需求缺陷一直是困扰人们的难题。利用行为树表示法将初始功能需求转化、集成为设计行为树,并建立设计行为树与软件故障树之间的追溯关系;同时对软件密集系统的功能需求中可能存在的各种缺陷进行分析,实现了对导致软件开发后期出现故障的需求缺陷的追溯和修正,为解决复杂系统的需求缺陷问题提供了一个切实可行的方案。

结合行为树与Q-learning优化UT2004中agent行为决策

针对FPS游戏UT2004中的NPC(Non-Player-Character,即非玩家角色)的行为决策不够灵活多变,不够智能等问题,结合行为树与Q-learning强化学习算法,提出了一种预处理与在线学习结合的方式优化NPC行为决策的方法。通过在行为树上的强化学习,NPC行为决策更为灵活、智能,即human-like。实验结果表明了该方法的有效性与可行性。

基于Q-学习和行为树的CGF空战行为决策

空战行为决策的智能性是学术界关注的重要问题之一。提出一种基于Q-学习和行为树的CGF空战行为决策方法。通过构建CGF空战行为树模型,实现CGF智能行为;通过在行为树上的Q-学习,使CGF具有不断进化的能力。仿真结果表明,该算法在与传统算法对抗中,性能优势明显且学习能力较强。

从行为树转换到UML状态机来验证系统需求

定义了从行为树到统一建模语言状态机的转换。行为树是一种图形化建模方法,它能够抓取和形式化自然语言描写的需求的系统的动态行为,但是在软件开发过程中,人们更广泛的使用UML状态机。把这两种方法结合到一起提供了一种从自然语言需求到系统可执行模型的道路,这反过来又促进了需求验证和到模型驱动软件开发方法的转变。在Eclipse模型框架下实现了从行为树到统一建模语言状态机的转换,并通过一个安全警报案例研究来表明此方法的可行性。

基于攻击行为树的恶意代码检测平台

通过XEN的虚拟化技术在远程端搭建多个检测虚拟机,构建具有多用户的虚拟机恶意代码管理检测以及虚拟机管理功能的客户端平台,根据恶意代码的行为分级,定义风险的权值,建立攻击行为树模型进行分析。实验证明,该平台具有较好的用户体验和恶意代码的识别率。

空中作战决策行为树建模与仿真

在分析传统空中作战决策研究的基础上,针对状态空间规模增大时,模型外部自主决策的规则和条件描述复杂困难的问题,提出了空中作战决策的行为树建模与仿真方法,阐述了空中作战仿真决策的一般过程,梳理了空中作战的模型外部自主决策规则,构建了基于模型外部自主决策的空中作战行为树模型,并基于Lua脚本语言实现空中作战行为树模型,最后借助仿真推演系统OCEAN进行案例演示,实现空中作战行为树自主决策仿真,证明了该方法的有效性。