户外智能随从机器人系统设计

设计了一款基于计算机视觉的随从机器人。与常规智能小车相比,该智能机器人实现了多个神经网络协同工作,能够跟随主人在户外移动,并且按照主人做出的指令执行相应的动作,具备人脸识别、基于行为识别的摔倒检测等功能。该智能机器人使用FaceNet进行面部特征提取;采用YOLOV4+DeepSort组合实现用户跟踪;基于BlazePose设计了手势命令;设计并训练了基于LSTM的行为识别网络。实验结果表明,在对人体行走、坐下、摔倒3类动作分类的准确率分别达到了93.6%、96.7%和97.8%,能够有效地检测摔倒姿势。系统在达到预测的准确性同时占用更少的运算资源,将模型部署在搭载了拥有512个CUDA核心的Volta^(TM)GPU的JetsonNX上,运行帧率达到了15帧/s以上,具有良好的实时性。