基于DeepSportLab的篮球检测及球员姿态估计研究

为了提升团队体育运动中的智能分析效果,提出通过结合部件强度场和空间嵌入原理来训练多任务,同时实现运动场景中的篮球检测、球员姿态预测和球员实例掩码分割的统一框架(DeepSportLab),以解决团队运动场景的复杂性和特殊性,例如强遮挡和运动模糊。首先,部件强度场提供了篮球和球员的位置信息,以及球员关节的位置。然后,采用空间嵌入技术将球员实例像素与球员各自中心点相关联,并将球员的关节点组合成骨架信息。在DeepSport篮球数据集上进行了验证,并取得了与具有独立任务的单个模型相当的良好性能。

基于感兴趣区域的物体抓取位姿检测

在工业生产中,待抓取物体往往具有种类众多、摆放位置杂乱、形状不规则等特点,使得难以准确获取物体抓取位姿。针对以上问题,提出一种基于深度学习的两阶段抓取位姿估计方法。第1阶段,提出一种基于YOLOv4(you only look once version4)改进的轻量级旋转目标检测算法,提高目标的检测速度和检测精度。首先,使用轻量化网络GhostNet和深度可分离卷积对原始网络进行重构,降低整个模型参数。然后,在颈部网络中增加自适应空间特征融合结构和无参注意力模块,提高对感兴趣区域的定位精度;最后,使用近似倾斜交并比(skew intersection over union,SkewIoU)损失解决角度的周期性问题。第2阶段,制作与原始图片尺寸一样的掩膜提取感兴趣区域;同时,提出一种改进的DeepLabV3+算法,用以检测感兴趣区域中物体的抓取位姿。实验结果表明,改进后的YOLOv4网络检测精度达到92.5%,改进的DeepLabV3+算法在Cornell抓取数据集上的图像拆分和对象拆分精度分别达到94.6%,92.4%,且能准确检测出物体的抓取位姿。

面向抓取检测的位姿估计数据集自动采集标注系统

机器人抓取在物流分拣、自动装配和医疗手术等领域中具有广泛的应用.抓取检测是机器人抓取中的重要步骤之一,随着三维传感器的成本逐渐降低,抓取检测任务中越来越多地使用深度相机采集彩色图像和深度图像对(RGB-D),并采用基于位姿估计的方法实现机器人抓取.然而,目前已经公开的基于RGB-D图像的位姿估计数据集,大多需要借助价格昂贵的三维激光扫描仪获得目标物体的三维模型,而且标注过程依赖人工操作,费时费力,不利于大规模数据集的制作.为此,本文设计并实现了一个面向位姿估计的数据集自动采集标注系统.该系统无需使用三维激光扫描仪,只通过采集、分析由深度相机获得的RGB-D图像序列即可重建出目标物体的三维模型,并自动标注目标物体的位姿信息,生成二维图像中的分割掩码.实验中,使用该系统制作了包含84个物体、8400张RGB-D图像的位姿估计数据集,并将自动标注数据与手动标注数据进行了对比,发现两者分割掩码重合率可以达到98%,并且自动标注的位姿信息能够使模型点云与场景点云的对齐率达到100%,充分说明了所提系统自动标注结果的准确性与可靠性.

视觉引导下机器人拆垛场景识别定位抓取方法

针对2D图像识别缺乏3D姿态信息,而传统的3D视觉需要处理大量点云,运算时间较长等问题,提出一种基于改进Mask R-CNN与局部点云迭代优化相结合的机器人拆垛、分拣及码垛策略。对Mask R-CNN网络进行改进,在其ROIAlign结构之后加入空间变换网络模块,提升识别准确率;利用改进的Mask R-CNN网络对目标进行实例分割,结合场景点云分割得到物体感兴趣区(ROI)场景局部点云;采用加入K维树邻域搜索的迭代最近点算法将物体ROI场景局部点云与模板点云进行配准,最终得到位姿估计的结果。UR5协作机器人根据此结果解决拆垛、分拣及码垛问题,实验结果表明:利用改进的Mask R-CNN网络提升了目标识别的准确率,使用ROI局部点云法减少了场景点云与模板点云配准的迭代次数,提高了工业机器人的拆垛、分拣及码垛效率。

基于生成对抗网络的人像修复

人像修复广泛用于基于图像渲染和计算摄影的照片编辑。针对衣着的不同、高矮胖瘦的区别以及姿态的高自由度等因素给人像修复带来的困难,提出了一种基于生成对抗网络(GAN)的高效人像修复方法。算法分为两阶段:第一阶段基于编码器-解码器网络粗略修复图像,然后估计其中人体姿态信息;第二阶段基于姿态信息和GAN来精确修复人像。利用人像姿态信息来连接人像姿态关键点,形成姿态框架并执行膨胀操作,得到人像姿态掩码,以此构造人像姿态损失函数进行网络训练。实验结果表明,与Contextual Attention修复方法相比,所提方法的修复结果在结构相似度(SSIM)上提升了1%。该方法将人像姿态信息加入到修复过程中,有效地约束了待修复区域人像数据的解空间范围,加强了网络对人像姿态信息的关注程度。

面向室内动态场景的VSLAM

传统VSLAM算法基于静态场景实现,其在室内动态场景下定位精度退化,三维稀疏点云地图也会出现动态特征点误匹配等问题。文中在ORB-SLAM2框架上进行改进,结合Mask R-CNN进行图像的语义分割,剔除位于动态物体上的动态特征点,优化了相机位姿,得到了静态的三维稀疏点云地图。在公开的TUM数据集上的实验结果表明,结合Mask R-CNN的ORB-SLAM2有效提高了智能移动机器人的位姿估计精度,绝对轨迹的均方根误差可提高96.3%,相对平移轨迹的均方根误差可提高41.2%,相对旋转轨迹的误差也有明显改善。相较于ORB-SLAM2,文中所提方法能更准确地建立无动态物体特征点干扰的三维稀疏点云地图。

基于pix2pixHD的行人图像生成

本文提出了一个基于行人姿态mask利用条件生成对抗网络来生成逼真的行人图像的方法,使用了一种最新的adversarial loss和最新的多尺度生成器-判别器结构来增加提高行人图像细节。实验表明,通过使用成对的行人姿态mask和行人图像训练后的pix2pixHD网络可以生成了一幅视觉吸引人的具有目标姿态不同属性性质的行人图像。

基于增强现实和人脸姿态估计的虚拟试戴技术

得益于增强现实技术,虚拟信息能够在真实世界中予以体现和融合,使得脱离实体的虚拟信息在现实世界中的应用场景不断泛化.基于此,本文提出了一种高效实时的虚拟试戴技术,可运用于多种实际场景中.比如在电商场景下,用户购买商品前可在先线上选择相应款式的模型文件进行虚拟试戴,并根据效果辅助决策.拟议方法依据人脸姿态参数将模型文件映射至可与实时视频流加合的图形状态,在特定区域加合后反馈给视频帧中,最终加合的模型文件能够自适应头部的位置变化.实验结果表明,拟议方法在人脸远近位置、图形渲染以及佩戴实时性等方面具有较好的效果.

一种基于实例分割和点云配准的六维位姿估计方法

本文提出一种基于Mask R-CNN实例分割网络和Super4PCS点云配准算法来估计物体六维姿态的方法。通过目标点云与已知位姿的参考点云进行配准,可以获取目标的六维姿态。但实际中往往采用三维设备扫描目标的整体环境,生成的点云数量庞大,直接作为源点云与参考点云配准时,会由于候选集较多从而导致运算时间太长,因此本文先对目标实例分割处理后再配准:首先,利用深度相机获取整体环境的RGB-D图,其次利用Mask R-CNN模型将把目标分割出来,并将分割的目标RGB-D图转化为点云图,利用Super4PCS点云配准算法与参考点云进行配准,最终得到目标的六维位姿。在自制作的数据集上进行了验证,对比分割前后的四组实验,时间降低率约为60%-80%,有效证明了本方法的可行性。

嵌入双尺度分离式卷积块注意力模块的口罩人脸姿态分类

目的针对口罩遮挡的人脸姿态分类新需求,为了提高基于卷积神经网络的人脸姿态分类效率和准确率,提出了一个轻量级卷积神经网络用于口罩人脸姿态分类。方法本文设计的轻量级卷积神经网络的核心为双尺度可分离注意力卷积单元。该卷积单元由3×3和5×5两个尺度的深度可分离卷积并联而成,并且将卷积块注意力模块(convolutional block attention module,CBAM)的空间注意力模块(spatial attention module,SAM)和通道注意力模块(channel attention module,CAM)分别嵌入深度(depthwise,DW)卷积和点(pointwise,PW)卷积中,针对性地对DW卷积及PW卷积的特征图进行调整。同时对SAM模块补充1×1的点卷积挤压结果增强其对空间信息的利用,形成更加有效的注意力图。在保证模型性能的前提下,控制构建网络的卷积单元通道数和单元数,并丢弃全连接层,采用卷积层替代,进一步轻量化网络模型。结果实验结果表明,本文模型的准确率较未改进SAM模块分离嵌入CBAM的模型、标准方式嵌入CBAM的模型和未嵌入注意力模块的模型分别提升了2.86%、6.41%和12.16%。采用双尺度卷积核丰富特征,在有限的卷积单元内增强特征提取能力。与经典卷积神经网络对比,本文设计的模型仅有1.02 MB的参数量和24.18 MB的每秒浮点运算次数(floating-point operations per second,FLOPs),大幅轻量化了模型并能达到98.57%的准确率。结论本文设计了一个轻量高效的卷积单元构建网络模型,该模型具有较高的准确率和较低的参数量及计算复杂度,提高了口罩人脸姿态分类模型的效率和准确率。