具有面部表情识别与再现的机器人头部系统的研制

研制出具有对人类表情识别和表情再现机能的仿人机器人头部系统,该系统由仿人机器头部本体、图像采集设备、表情及面部器官控制系统、表情识别系统等部分组成;该系统从图像采集装置获得人类表情图像,然后采用SVMs和ASM结合的方法进行视频序列的人脸表情识别,设计了眼球、眼睑、下颚等面部器官和面部表情机构及驱动系统对机器人面部皮肤和头部器官进行运动控制,并根据识别结果,可实现七种不同特征的面部表情的再现。

基于双LSTM融合的类人机器人实时表情再现方法

为提高机器人表情再现的时空相似度和运动平滑度,结合序列到序列的深度学习模型,提出一种基于双LSTM(长短期记忆)融合的类人机器人实时表情再现方法.在离线机械建模阶段,首先构建逆向机械模型以实现面部特征序列到电机控制序列的逆向映射,并进一步提出运动趋势模型以规整电机连续运动的平滑度;然后,引入加权目标函数以实现两模型的融合和参数优化.在在线表情迁移阶段,以表演者面部特征序列作为融合模型的输入,并在最优参数下完成表演者面部特征序列到机器人控制序列的端-端翻译,从而达到机器人表情的帧-帧再现.实验结果表明:融合模型的电机控制偏差不超过8%,且表情再现的时空相似度和运动平滑度大于85%.与相关方法相比,提出的方法在控制偏差、时空相似度和运动平滑度方面均有较大提升.

具有面部表情的仿人头部机器人系统的研制

为了促进机器人与人类自然、和谐的交流,实现人机交互,研制出具有面部表情的仿人头部机器人系统,主要包括仿人头部机器人运动机构和控制系统。仿人头部机器人具有22个自由度,包括眉毛推拉机构、眼部机构、下颚机构和颈部机构。采用FPGA作为舵机控制器,在Lab VIEW中设计控制界面,研制面部表情控制系统。通过对面部表情进行仿真,得到8种基本表情及对应的最佳位移载荷,在仿真过程中发现面部表情的实现与施加在面部皮肤上载荷的大小、载荷施加区域大小和约束位置的不同有关。实验结果表明,该机器人能够逼真地再现8种基本表情。

仿人机器人头颈协调系统的研制

研制出仿人机器人头颈协调系统,主要包括仿人机器人和控制系统。仿人机器人具有22个自由度,控制系统采用上下位机结构,并完成包含四种工作模式的人机软件界面。在ADAMS软件中,对眼球圆周转动以及眼颈协调运动进行运动学仿真。实验结果表明,在头颈协调系统中,机器人的面部器官能够逼真地再现8种基本表情,结合颈部运动,可以实现更多丰富多样的表情,比如愧疚、仰天大笑及傲慢等,头颈协调运动能够使得机器人实现对小球和人脸的可靠性检测和跟踪。