基于视频和文本的机器人技能指令生成方法研究

由于视觉单模态转译技能方法容易出现错误,针对该问题,设计一种结合视觉和文本的多模态视频转译技能方法。该方法包含两个模块,第一个模块通过使用I3D网络、Mask R-CNN模型和XGBoost分类器识别视频中的动作和物体,并组合生成视觉机器人指令。第二个模块使用BERT-GRU模型从文本语料库中进行机器指令的学习,再将模块一的机器人指令输入到BERT-GRU模型上进行测试,最终生成修正过的机器人指令给机器人执行。通过在MPII Cooking 2数据集上进行实验,证明了框架性能相比于只有视频单模态情况具有较大的提升。

基于多级空洞金字塔网络的视频指令学习框架

为了从未修剪视频中生成操作指令,提出基于多级空洞金字塔网络(MS-APN)的视频指令学习框架。具体来说,使用空洞卷积金字塔模块捕捉视频多尺度动作特征,并采用多级网络结构优化分割结果,将未修剪视频分割成一系列视频片段并抽取动作特征。运用目标检测模型提取物体特征,并将其与动作特征进行融合,输入分类器识别主体和受体物体。通过定义指令四元组生成机器人指令。在MPII Cooking 2数据集上进行了实验,视频动作分割、操作物体分类、操作指令生成的准确率分别达到了84.1%、76.5%和62.4%,并成功将系统部署到Baxter机器人上进行验证。

一种机器人任务多线程异步解释器

本文介绍了一种机器人任务程序解释技术 在分析了机器人指令和程序格式的基础上,讨论了任务解释器的功能和性能需求,进而提出了多线程异步解释的方案.文章详细介绍了这一方案的核心及技术实现细节,并给出了两级线程处理函数的基本框架