基于SA-FQL算法的区域交通控制方法

将模拟退火算法的Metropolis准则用于平衡模糊Q学习中探索和扩张之间的关系,提出基于Metropolis准则的模糊Q学习算法Simulated Annealing Fuzzy Q-learning(SA-FQL)。利用SA-FQL算法优化区域的公共周期,在给定周期的基础上再用SA-FQL算法优化区域中各干线相邻两路口的相位差,最后根据交通流量确定各路口的绿信比。TSIS仿真结果表明,相比基于Q学习和模糊Q学习的控制方法,该方法能显著提高学习速度和交通效率。

基于Adams和Matlab联合仿真的双足机器人越障研究

与轮行机器人相比,双足机器人具有更灵活的机械结构,具有跨越静态或动态障碍物的能力,使其可以在更复杂的环境中工作;以往的双足机器人路径规划控制策略只能解决静止或以可预测速度运动的障碍物的越障问题,提出了一种基于模糊Q学习算法的路径规划策略,在Adams软件中建立机器人的三维虚拟样机模型,在Matlab软件中设计控制器,进行联合仿真;仿真结果表明所设计的控制策略可以有效地克服机器人在线学习时间长的问题,并且可以成功跨越速度不可预测的运动障碍物,有很好的鲁棒性。

智能办公环境温度控制方法

针对变频空调技术参数固定不能适应智能办公环境变化的问题,为提高环境温度的舒适度,提出一种新的变频空调温度控制方法。该方法引入多智能体(Agent)技术设计温度模糊控制结构,确定输入输出变量及其模糊集,然后引入动作回报值改进模糊Q学习算法,由推理Agent执行算法学习手动调节空调的动作、修改模糊规则。将得到的优化模糊规则用于环境温度的控制。实验结果表明,与常规模糊温度控制方法相比,该控制方法缩短了空调的响应时间,减少了超调量。

双足机器人跨越动态障碍物在线控制系统设计

在双足机器人跨越动态障碍物的在线控制问题中,脚步规划和步态控制的学习时间是关键问题;提出了一种将机器人的步态控制和脚步规划分别独立设计的控制策略;步态控制目的是产生关节点轨迹并控制对理想轨迹的跟踪,考虑到双足机器人关节点轨迹的不连续性,应用小脑模型连接控制CMAC记忆特征步态的关节点轨迹;脚步规划的控制目标是通过对环境的视觉感知预测机器人的运动路径,算法是基于无需对动态环境精确建模的模糊Q学习算法;仿真结果表明该控制策略的可行性,并且可以有效缩短在线学习时间。