基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。

融合卷积与多头注意力的人体姿态迁移模型

对于给定某个人物的参考图像,人体姿态迁移(HPT)的目标是生成任意姿态下的该人物图像。许多现有的相关方法在捕捉人物外观细节、推测不可见区域方面仍存在不足,特别是对于复杂的姿态变换,难以生成清晰逼真的人物外观。为了解决以上问题,提出一种新颖的融合卷积与多头注意力的HPT模型。首先,融合卷积与多头注意力机制构建卷积-多头注意力(Conv-MHA)模块,提取丰富的上下文特征;其次,利用Conv-MHA模块构建HPT网络,提升所提模型的学习能力;最后,引入参考图像的自我重建作为辅助任务,更充分地发挥所提模型的性能。在DeepFashion和Market-1501数据集上验证了基于Conv-MHA的HPT模型,结果显示:它在DeepFashion测试集上的结构相似性(SSIM)、感知相似度(LPIPS)和FID(Fréchet Inception Distance)指标均优于现有的HPT模型DPTN(Dualtask Pose Transformer Network)。实验结果表明,融合卷积与多头注意力机制的Conv-MHA模块可以提升模型的表示能力,更加有效地捕捉人物外观细节,提升人物图像生成的精度。

双分支时空关键点特征增强人体姿态迁移网络

为了充分利用动作序列之间的先验信息以提升姿态迁移模型的性能,提出了一个基于时空图卷积的双流关键点特征增强模块,即双分支时空图姿态迁移模块(dual-branch spatial temporal graph pose transfer block,DSTG-PTB)。DSTG-PTB从高帧率和低帧率2个不同的分支进行特征提取。输入的关键点数据首先经过位置嵌入和速度嵌入,然后构建人体骨骼关键点的时空图,并利用时空图卷积网络挖掘动作关键点之间的关联特征,最后将2个分支的特征进行融合并嵌入现有的姿态迁移模型中。对4个序列动作数据集进行了全面的定性和定量实验分析,结果表明,所提DSTG-PTB可以有效提升姿态迁移网络的性能,生成更符合用户审美的序列图像。

四边形网格与三角形网格模型间的低频谱姿态迁移

为使谱姿态迁移能够操纵更多类型的网格,本文研究四边形网格与三角形网格模型间的姿态迁移方法。作为变形编辑技术的一种,目前的谱姿态迁移主要在三角网格模型之间进行。本文首先对多边形网格的拉普拉斯矩阵进行特征分解,手工选取网格模型之间对应确定四边形网格与三角形网格之间的泛函映射,然后求解四边形与三角形网格模型的耦合准调和基,在此基础上设计并实现了四边形网格与三角网格模型之间的平凡谱姿态迁移、基于耦合准调和基的低频谱姿态迁移和基于拉普拉斯坐标投影的低频谱姿态迁移,使得在四边形网格模型之间、四边形与三角形网格模型之间均能进行低频姿态迁移。

基于多视角深度网络增强森林的表情识别

为了提高在自然环境中姿态变化下人脸表情识别的准确性和鲁棒性,提出一种基于多视角深度网络增强森林的表情识别方法.首先提取人脸区域的人脸子块以消除人脸遮挡等噪声影响,通过在预训练的卷积神经网络模型上迁移学习获得深度表情特征;然后,估计水平自由度下的头部姿态参数以消除头部姿态运动的影响,建立多视角条件概率模型,并将条件概率和神经联结函数引入随机树的节点分裂学习中,提高模型在有限训练集上的学习能力和区分力;最后通过多视角权重投票决策人脸表情类别.M-DNF能够获得不同视角下的表情分类结果,而不需要大量的数据集训练.在CK+、多视角BU-3DFE和自发LFW这3个具有挑战的公共人脸数据集上进行实验的结果表明,该方法平均识别准确率分别达到98.85%, 86.63%和57.20%,均高于目前已有且公认的识别率高的表情识别方法.

结构外观度量下的无监督人体图像生成

针对目标姿态下的人体图像生成过程中需要成对数据的局限性问题,提出了基于CycleGAN循环一致性思想的无监督生成方法.首先由源图像生成目标姿态图像,再由生成的图像映射回源图像.通过两次对抗训练优化生成器参数,使得生成的目标图像趋于逼真的效果,避免了成对数据的需求,可以应用到其他非刚性对象的转换任务中.此外,为了进一步地加强生成图像的特征一致性和结构一致性,本文提出了新颖的外观一致性损失.最后,在DeepFashion和Market-1501数据集上对提出的方法进行了实验,并与其它先进的模型进行了比较.结果表明从定性和定量两方面都取得了满意的结果.

基于模型约束的人体姿态视觉识别算法研究

针对移乘服务机器人对人体姿态识别高精度性的要求,以及现有的人体姿态识别方法在关节遮挡情况下识别精度低的问题,提出了一种基于模型约束的人体姿态识别算法,以解决移乘操作前机器人系统对人体关节空间坐标的精确提取。首先采用OpenPose算法识别彩色图像中未遮挡关节的像素坐标,通过对RGB-D相机的彩色图像与深度图像进行对齐,将关节像素坐标转换为3D坐标。然后依据人体模型相关参数以及未被遮挡关节坐标计算与之相连接的被遮挡关节的空间坐标,用于提高遮挡关节的识别精度。实验结果表明,所提出的算法在关节未遮挡时识别精度为92%,在关节遮挡时达到了90%。单帧计算平均用时约为190 ms,满足移动服务机器人操作的实时性要求。

解析图引导的多任务人物图像姿态转换算法

人物图像合成技术最近已成为一个研究热点,在网上购物、社交平台等有着重要的作用.针对于姿态转换任务,姿态信息的引导有局限性,视角变换时生成模型难以处理复杂的人物外观特征.为了解决以上问题,首先提出多尺度特征融合的编码解码结构生成具有目标姿态的人体解析图作为辅助信息取代简单的姿态节点,然后提出一个多任务生成网络,将预训练好的VGG网络和可训练的卷积神经网络组合在一起提高网络的特征提取能力,同时生成粗糙结果、光流和掩码,通过一个光流引导的变形模块和融合模块将多任务结果融合在一起,保留了特征级的人物轮廓信息和像素级的纹理细节信息,生成更精准的目标姿态的人物图像.在多类别大型服装数据集DeepFashion上验证了所提出算法的有效性.

基于变形图的谱姿态迁移

为减低谱姿态迁移结果受几何代理Cage的影响程度,提出基于变形图的谱姿态迁移方法。首先,利用优化二次误差度量方法简化源网格得到变形图,将源网格顶点以测地距离为权重用变形图顶点表示,强制源网格顶点与基于耦合准调和基的姿态迁移结果尽可能相同,同时保持变形图的拉普拉斯坐标,获得低频姿态迁移结果,并利用嵌入变形算法对此结果进行优化;然后,通过观察找到次级姿态学习不充分的局部网格,分割出局部子网格,对这些子网格使用低频姿态迁移方法,可以学习到次级姿态。实验结果表明,在一定程度上降低了几何代理的影响,有效地提高了谱姿态迁移结果。

基于双流卷积神经网络和生成式对抗网络的行人重识别算法

近年来,针对行人重识别问题的深度学习技术研究取得了很大的进展。然而,在解决实际数据的特征样本不平衡问题时,效果仍然不理想。为了解决这一问题,设计了一个更有效的模型,该模型很好地解决了目标的不同姿态的干扰以及数据集中的图片数量不足的问题。首先,通过迁移姿态生成对抗网络生成行人不同姿势的图片,解决姿态干扰及图片数量不足的问题。然后利用两种不同的独立卷积神经网络提取图像特征,并将其结合得到综合特征。最后,利用提取的特征完成行人重识别。采用姿势转换方法对数据集进行扩展,有效地克服了由目标不同姿势引起的识别误差,识别错误率降低了6%。实验结果表明,该模型在Market-1501和DukeMTMC-Reid上达到了更好的识别准确度。在DukeMTMC-Reid数据集上测试时,Rank-1准确度增加到92.10%,m AP达到84.60%。

基于视觉临场感的KUKA工业机器异构主从控制系统设计

针对传统系统受到误差反馈影响导致控制效果差的问题,提出基于视觉临场感的KUKA工业机器异构主从控制系统设计。根据系统总体框架,选用PCM⁃3363型号嵌入式主板设计硬件结构,使用串口通信模式将机械关节信息传递到STM32电机控制板中,利用PID控制方式控制电机主从机械结构的协调运行,实现电机位置控制。局部平面主元分析法(PCA)描述坐标系下姿态和位置,确定位置坐标和围绕三轴的旋转姿态坐标参数,使用平移向量描述位姿。运用法线估计方法估计物体位姿,获取作业目标物体位姿信息,由此实现KUKA工业机器异构主从控制。由实验结果可知,该系统受到误差反馈影响较小,具有良好控制效果,满足实际工业需要。

基于自适应蒙皮变形的点云姿态迁移

为避免全局平滑系数的DDM在点云姿态迁移时出现撕裂、扭曲以及姿态学习不充分等问题,提出一种自适应权重蒙皮变形点云姿态迁移方法.首先利用改进的拉普拉斯收缩骨架提取方法提取源点云模型和参考点云模型的同构骨架,用聚类优化关节点位置,并计算2个同构骨架之间的关节点的几何变换;然后根据顶点变形程度和聚类划分改进DDM的逐点平滑系数,利用骨架层次信息对源姿态进行刚性蒙皮权重绑定;最后将蒙皮问题重新表达成求解刚性变换矩阵,实现姿态迁移.在现有MPI DYNA的人体点云模型和MIT的动物点云模型上进行骨架提取与蒙皮变形实验,实验结果表明,所提方法可生成无冗余分支和关节点的同构骨架,得到细节保持良好、姿态学习较充分的目标姿态模型.

变形图驱动和变形感知的谱姿态迁移

为了提高姿态迁移过程中网格表面形状细节的保持能力,减少分层姿态迁移的交互环节,提出变形图驱动且变形感知的自动分层谱姿态迁移方法.首先利用变形图对三维模型进行形状保持的全局低频姿态迁移;然后根据模型变形前后的特征变化自动分割出局部刚性块,并对它再次进行姿态迁移,直到所有局部网格的姿态得到充分迁移.通过多个例子对文中方法和Yin等方法进行了比较,实验结果表明,文中方法次级姿态迁移的次数降低38.0%,平均距离误差降低54.0%,表面积和体积的变化降低12.5%.该方法的姿态迁移较充分,在模型的形状保持上更有优势,且自动化程度较高.

基于双流全卷积网络的驾驶员姿态估计方法

针对现有姿态估计方法在驾驶室复杂环境条件下发生的非目标误检测和检测精度低的问题,提出了一种基于双流全卷积网络的驾驶员姿态估计方法.该方法通过建立2条独立的FCN(fully convolutional network)分支,分别对关键点坐标及关键点间的连接信息进行预测,同时在2个分支中构建沙漏状的网络结构,增强了网络提取关键信息的能力.为了进一步提高模型的特征提取能力,将浅层与深层网络得到的特征图进行融合.为了验证所提方法的检测效果,采用COCO(common objects in context)数据集和DDS(driver′s driving situation)数据集进行验证.试验结果表明:该方法在COCO数据集和DDS数据集上的检测平均精度分别达到64.5%和78.4%,优于其他3种对比算法;该方法可以提高驾驶员人体姿态的检测精度,具有较好的鲁棒性.

针对多姿态迁移的虚拟试衣算法研究

针对人体姿态迁移结果会损失服装和人脸等大量细节,以及现有的虚拟试衣算法没有实现多姿势迁移,提出一种新的姿态迁移网络。通过设计解析图生成网络,对目标姿势的解析图进行生成,再对空间变换网络(Spatial Transformer Network, STN)扭曲目标服装进行正则限制,最后利用优化的融合网络对服装和人体进行融合得到最终的姿态迁移图像。实验结果表明了该方法具有较高的鲁棒性和可靠性。

移动并联式六自由度转运调姿方法研究

针对大型航天相机长距离转运和快速精确自动调姿需求,提出一种基于全向移动平台和3RPS并联调姿机构的移动并联式六自由度调姿方法。首先,测得相机当前姿态和目标姿态,推导二者位姿矩阵;通过运动学模型反解全向移动平台和并联调姿机构的各轴运动参数,将多轴耦合的空间六自由度完全解耦;建立全向移动平台和并联机构的运动学模型,实现上述运动参数的驱动;最后,进行了调姿算法试验,结果表明,调姿设备能够快速精准实现大型相机任意姿态向目标姿态的自动化柔性姿态调整,全向移动平台移动精度优于0.3 mm,旋转精度优于0.05°,并联机构杆长精度优于0.5 mm,验证了自动调姿的准确性。

基于物体姿态迁移学习的机器人无序抓取方法

采用智能机器人完成无序抓取任务(Bin-picking)已成为工业自动化的上下料场景的新型解决方案,而从散乱零件中识别目标物体并完成姿态估计是解决此类问题的关键。为解决高度自动化的工业上下料场景中的机器人无序抓取任务,借助基于物体渲染的样本合成方法,提出用于姿态估计样本的改进CycleGAN迁移模型,增加了基于物体掩码的内容一致性损失,实现了无需真实域标注和无配对样本下的姿态估计样本的跨域迁移,并提出了基于姿态迁移学习的机器人无序抓取方法,进行了无需人工标注的物体6D姿态估计,实现了高度自动化的模型训练流程和简单易用的模型部署流程。同时,该文方法经实际场景下的抓取实验证明其切实有效。

基于姿态引导的场景保留人物视频生成

人物视频生成技术是通过学习人体结构与运动的特征表示,实现从特征表示到人物视频帧的空间生成映射。针对现有的人物视频生成算法未考虑背景环境转换及人体姿态估计精度较低等问题,提出一种基于姿态引导的场景保留人物视频生成算法(PSPVG)。首先,取合适的源视频和目标视频,利用分割人物外观的视频帧代替源视频帧作为网络的输入;然后,基于GAN的运动转换模型将源视频中的人物替换成目标人物,并保持动作一致性;最后,引用泊松图像编辑将人物外观与源背景融合,去除边界异常像素,实现将人物自然地融入源场景且避免改变画面背景环境和整体风格。该算法使用分割出的前景人物图代替源视频帧中的人物,减少背景干扰,提高姿态估计精度,自然地实现运动转移过程中源场景的保留,生成艺术性与真实性和谐并存的人物视频。

基于迁移学习的人脸姿态分类方法

人脸姿态分类在智能人机交互、虚拟现实、智能控制以及人脸识别等多个领域都有广泛的应用。由于人脸姿态分类过程中存在不同角度间特征重叠率高的问题,导致其分类精度过低。为提高人脸姿态分类的准确率与鲁棒性,提出了基于迁移学习的人脸姿态分类方法。该方法利用卷积神经网络的特征提取和学习能力,对特征进行识别和分类,从而得到单方向人脸姿态的训练参数。利用迁移学习,将卷积神经网络训练好的参数应用于训练两个方向的人脸姿态模型中。使用该方法在CAS-PEAL数据集上进行了实验,最终结果的准确率达到98. 7%,并且与AlexNet、VGGNet和ResNet等网络模型做对比实验,得到了更好的人脸姿态分类效果。实验结果表明,所提出的方法显著提高了人脸姿态分类的准确率与鲁棒性。

基于正则化方法的阶梯边界条件反问题研究

针对复杂的第三类周期性阶梯型边界条件,基于Tikhonov正则化方法,通过求解极坐标下的二维导热反问题,建立了计算空心圆柱体钢坯表面换热系数分布的热物理模型。考虑计算结果的精确性与稳定性,提出‘斜率法’以选取正则化系数。利用数值仿真验证了斜率法的适用性,计算结果中R2值为0.998;将斜率法应用于实验数据中,计算结果与预期相符合。结果表明,斜率法很好的平衡了解的精确性与稳定性,可以有效解决导热反问题的不适定性问题。