基于改进堆叠沙漏网络的动物姿态估计

堆叠沙漏网络在动物姿态估计任务中得到成功应用,但其编码-解码过程容易丢失网络的浅层信息,影响了检测精度。针对该问题,提出基于改进堆叠沙漏网络的动物姿态估计模型。设计一种基于SE注意力机制的多尺度最大池化模块,完成多尺度信息的提取,解决池化后信息大量丢失的问题,提高网络获取全局信息的能力,同时提出多级特征融合方法,充分提取和融合特征信息。在此基础上,嵌入CBAM注意力机制,学习特征融合权重,提升网络对多通道信息的提取能力,抑制无效特征,使网络提取出更丰富、细腻的特征。在TigDog数据集和合成动物数据集上进行训练和测试,结果表明,该模型估计性能优于Syn、BDL、CyCADA和CC-SSL模型,其对于马和老虎的PCK@0.05指标较次优的CC-SSL模型分别提高4.6%和3.5%。消融实验结果也验证了整个网络体系结构的先进性和有效性。

基于堆叠沙漏网络改进的多人姿态估计

为解决多人姿态估计中小尺度关键点(手腕、脚踝等)定位准确率低的问题,采用自顶向上的方式,结合先进的人体目标检测模型YOLOv3,提出一种基于堆叠沙漏网络改进的多人姿态估计方法。在沙漏网络中融入通道混洗模块,加强不同尺度下多层特征之间的跨通道信息交流,提高被遮挡关键点的识别效果;使用注意力机制对沙漏网络原有的残差模块进行特征增强,抑制无用特征并提升有用特征,提高小尺度关键点的识别率。实验结果表明,在MPII数据集上的总体PCK@0.5达到了88.6%,在MSCOCO数据集上的AP@0.75相比原始网络提升了4.6%,验证了所提方法的有效性。

一种基于轻量级堆叠沙漏网络的机械臂姿态估计方法

现有的机械臂姿态估计方法通常只考虑如何改进模型的泛化能力,而忽略了模型的效率,因此在实际应用中,开发出的模型参数量和计算量过大.为了解决此问题,本文提出一种新的基于Ghost模块的堆叠沙漏网络(Ghost Module-Based Stacked Hourglass Network,Ghost-SHN).Ghost-SHN以堆叠沙漏网络(Stacked hourglass Network,SHN)为基础,构建了具有两个堆的堆叠沙漏网络,并通过把堆叠沙漏网络中的普通卷积替换成轻量的Ghost模块来压缩模型,能够更好地在机械臂上进行部署,实现了轻量级的机械臂姿态估计.四个典型数据集上的实验结果表明,Ghost-SHN相比同类模型,不仅减少了参数量和计算量,而且泛化性能很好,取得了比堆叠沙漏网络更好的精度.

基于堆叠沙漏网络的量体特征点定位

为提高复杂背景和任意着装情况下的量体特征点定位精度,将堆叠沙漏网络(SHN)引入人体图像量体特征点定位中,并针对SHN模型输出特征图分辨率过低导致定位精度不足的问题,构建了一种Deconv-SHN模型。一方面用多个反卷积层代替初始模型的输出层以提高输出特征图的分辨率,另一方面基于Smooth L1和局部响应对目标函数进行了优化。在自建的6700幅正面人体图像数据集上对Deconv-SHN模型、SHN模型以及传统算法进行实验的结果表明,Deconv-SHN模型在复杂背景和任意着装情况下的特征点定位精度较传统算法有显著提升,也明显优于SHN模型,基本满足人体参数测量应用的要求。

端到端堆叠沙漏网络的遥感影像建筑物轮廓重构

针对如何以端到端可训练的方式重构建筑物轮廓的问题,本文提出了一种端到端多残差模块堆叠沙漏网络的建筑物轮廓重构方法。首先,采用多残差模块堆叠沙漏网络提取建筑物角点和边缘特征;其次,利用角点检测模块匹配对应角点的相对位置,以获取候选角点;然后,通过线段采样将候选角点生成候选轮廓线;最后,线验证模块利用候选线段及多残差模块堆叠沙漏网络得到特征图,并验证每个线段是否为建筑物轮廓线,以获得建筑物轮廓重构结果。试验结果表明,在SpaceNet建筑物数据集上,本文方法能检测出建筑物角点及边缘,并有效实现了以端到端可训练的方式重构建筑物轮廓。

基于堆叠沙漏网络的单分蘖水稻植株骨架提取

针对水稻栽培和遗传育种研究中单分蘖性状高通量无损提取的实际需求,该研究提出了一种基于沙漏网络模型的单分蘖水稻关键点预测和骨架提取方法。首先,对原始图像进行批量裁剪、gamma校正和锐化卷积等预处理,获取单色背景下的水稻单分蘖图像数据集;设计水稻单分蘖各器官关键点数据标注策略,构建监督数据集。然后,构建堆叠沙漏网络架构实现叶片数固定和不固定的水稻关键点检测,引入沙漏结构整合图像的多尺度特征,结合中间监督机制整合不同沙漏模块信息。叶片数一致的情况,模型预测准确率最高可达96.48%;叶片数不一致的情况,预测准确率达到82.09%。最后,根据预测关键点及其对应的语义信息连接形成植株骨架,选取茎秆长、叶片长、穗长、叶片-茎秆夹角和茎节点位置5个表型参数对生成骨架模型的实际意义进行评估,其均方根误差依次为5.82 cm、3.09 cm、1.71 cm、3.22°和2.0356cm,证明了该方法能较好地识别水稻单分蘖关键点,为水稻骨架提取提供了一种新思路,有助于加快水稻育种速度。

基于改进堆叠沙漏网络的交警姿态估计

针对交警动作中的姿态估计问题,提出一种改进的堆叠沙漏网络模型。该模型通过减少沙漏网络级联次数,来简化堆叠沙漏网络结构。利用多尺度下深浅层特征信息之间的聚合,得到丰富的上下文信息,增强姿态、遮挡、低分辨率图像的鲁棒性。将不同阶段产生的热图估计结果进行融合平均化处理,进一步提高局部位置坐标的精细定位以及整体估计结果的准确性。在MPII数据集以及中国交警数据集上进行实验,结果表明,改进后的网络模型提高了运行的效率,同时可以很好地对目标交警的姿态特征信息进行提取,对结果热图平均化处理后,提高了位置坐标整体估计的准确性。

基于改进沙漏网络的人体姿态估计方法

近年来人体姿态估计已成为计算机视觉领域的热门研究方向,堆叠沙漏网络是人体姿态估计领域中最具代表性的研究成果之一,但该网络对于图像细节特征的提取能力较差。为增强网络对细节特征的处理能力,本文提出了基于改进沙漏网络的人体姿态估计模型。该模型使用ResNet50提取高质量的图像底层特征,用步长为2的3×3卷积核代替maxpooling进行下采样,最大程度保留原有图像信息;考虑到不同分辨率下的特征丰富度具有一定差异性,使用不同的残差模块对不同分辨率的feature map进行处理,增强网络对特征的学习能力;最后使用反卷积最大化还原原始图像的局部特征。实验结果显示,本文模型在COCO测试集上的平均精度达到74.1%,比堆叠沙漏网络高出4.7%,检测精度有较大提升。

基于注意力机制改进的多人姿态估计网络研究

为解决多人姿态估计中小尺度关节点定位准确率低的问题,采用自顶向下的方法,结合人体目标检测模型YOLOv4-tiny,提出一种基于堆叠沙漏网络改进的多人姿态估计网络.该网络包含人体目标检测器和人体姿态估计算法,通过在沙漏网络原始残差模块中融入坐标注意力机制进行特征增强,抑制无用特征的同时增强有用特征,从而提高对人体中小尺度关节点的识别准确率.实验结果表明,该模型在COCO数据集上获得了64.9%的平均准确率,在MPII数据集上正确关键点的比例达88.8%,验证了网络的有效性.

面向太极拳学习的人体姿态估计及相似度计算

针对当前线上太极拳学习自然交互性差、缺乏学习反馈等问题,提出一种面向太极拳学习的人体姿态估计及相似度计算方法。首先,输入太极拳视频,利用帧间差分法提取关键帧图像;然后,利用堆叠沙漏网络模型对关键帧图像进行二维关节点检测;接着,使用长短期记忆(LSTM)网络结合Sequence-to-Sequence网络模型对检测到的二维关节点序列进行二维到三维的映射,预测三维关节点的位置坐标;最后对估计的人体姿态进行二维和三维余弦相似度计算。利用该方法设计并开发了一款相关设备简便、用户体验感强的太极拳学习与反馈应用系统,并在实际中应用。该系统可以检测太极拳学员的整体动作及各肢体段动作是否标准,并给出反馈,学员可以根据反馈结果练习和改善不标准动作,达到提升学习效果的目的。

有条件生成对抗网络的IVUS图像内膜与中-外膜边界检测

针对血管内超声(IVUS)图像中各类斑块、超声阴影和血管分支等造成内膜(LU)与中-外膜(MA)边界难以准确检测的问题,提出一种结合堆叠沙漏网络(SHGN)和有条件生成对抗网络(C-GAN)的IVUS内膜与中-外膜检测的改进方法。首先根据血管形态特点,使用旋转、缩放和Gamma变换等方法将图像训练集扩充57倍,降低网络训练过拟合风险;然后利用对抗训练思想,构建基于L1、L2重建损失的联合损失函数,学习超声图像与其对应分割图像的映射关系,将IVUS图像分割为3种不同区域:血管外周组织、斑块区域和内腔区域;最后在图像分割结果上,采用阈值处理方法,检测最终的内膜与中-外膜边界。采用国际标准IVUS图像数据集(10位病人435幅)评价所提出的算法。实验量化评价结果为:内膜计算面积交并比(JM) 93%,面积差异百分比(PAD) 3%,Hausdorff距离(HD) 0.19 mm;中-外膜JM 95%,PAD 3%,HD 0.16 mm。这些指标满足临床诊断要求,性能优于现有的、近年较好的9种算法,以及Pix2Pix模型。在临床实践应用分析中,利用南部战区总医院心血管内科所收集的100幅IVUS图像进行检验,取得较好的分割结果。这表明该方法具有较好的跨数据集泛化性能。

基于引导对抗网络的人体深度图像修补方法

移动设备配备的小型深度相机采集到的人体深度图像存在严重的孔洞问题。针对该问题,提出基于深度学习的引导对抗网络。使用基于堆叠沙漏网络的引导器从RGB图像中提取人体部分分割特征和深度类别特征;在上述人体特征引导下,使用独特的生成器修复人体深度图像中的孔洞。为使结果更加逼真,加入判别器在网络训练过程中对生成器进行优化调整。实验结果显示,该方法在现有的人体数据集和小型深度相机采集的数据集上,都能很好解决孔洞问题,均取得比现有方法更好的效果。

基于沙漏网络的人脸面部特征点检测

针对头部姿态变化较大、脸部遮挡等情况下,由面部特征类型多样和尺度不同造成的面部特征点检测准确度较低的问题,提出了一种面部分组特征线条化和点热图回归相结合的人脸特征点检测方法,并设计了两段式堆叠沙漏网络深度学习模型来实现图像特征分析与特征点定位。利用提出的方法开发了检测算法,并利用该领域几个典型的公共图像数据集,将所提方法与其他方法进行实验对比。结果表明,提出的方法可以适应姿态变化和脸部部分遮挡的应用,相比其他方法,具有检测误差较小、人脸面部特征点检测准确度较高的优势。

利用改进生成对抗网络进行人体姿态识别

针对人体模型中某些重要关节点准确定位的问题,提出了一种新型深度卷积生成对抗网络以进行静态图像中人体姿态的估计的方法。该方法采用了深度卷积的堆叠沙漏网络来准确提取图像上关键关节点的位置,该网络的生成和辨别部分被设计用于编码第一层次结构(亲本)与第二层次结构(子本)中的空间关系,并且展示了人体部位的空间层次。生成器和判别器在网络中被设计为两部分,并按照顺序连接在一起用来编码外观可能的关系,同时为人体部位存在的可能性以及身体的每个部分与其亲本部分之间的关系进行编码。在静态图像中,可以较准确地识别人体模型关键节点以及大致人体姿态。该方法在不同的数据集上进行了实验,在大部分情况下,提出的方法获得的结果优于其他几种对比方法。

基于姿态辨识的遥操作液压工程机器人视觉提示

针对遥操作液压工程机器人视频传输时延问题,提出一种基于姿态辨识的遥操作液压工程机器人视觉提示方法。利用摄像机获取遥操作液压工程机器人图像,通过关键点识别堆叠沙漏网络(KPR-SHN)模型和姿态辨识神经网络(AR-NN)模型,获取遥操作液压工程机器人液压缸的位移,依此驱动虚拟工程机器人实现对操作者的视觉提示。实验结果表明:该方法简单有效,误差小于8%,可为基于虚拟现实的遥操作工程机器人的视觉提示系统设计提供指导。

改进的CornerNet-Saccade车辆检测算法

针对现有的CornerNet-Saccade算法在车辆检测任务中存在明显的误检和漏检现象,提出了一种改进的CornerNet-Saccade算法。首先通过加深堆叠沙漏网络结构,增强车辆高级特征提取能力;其次,增加更小尺度的attention maps以改善小目标车辆的检测能力,引入Dense Block模型和瓶颈残差单元降低堆叠沙漏网络参数的复杂度,保证层与层之间的最大信息流;最后,通过Sigmoid激活函数得到最终的检测结果。在KITTI数据库和自制数据库上对改进算法进行了仿真实验,平均精确率分别达92.56%和95.21%,检测速度分别达40 FPS和49FPS,同时在自制数据库上对原CornerNet-Saccade算法和改进算法进行了仿真实验,精确率和召回率相比原算法分别提高了3.8%和8.5%。结果表明:此改进的CornerNet-Saccade算法在车辆检测任务中具有明显优势。

对抗训练在人脸关键点序列稳定化问题中的应用

人脸关键点检测问题在静态图像上已经得到了较好的解决,然而当使用这类解决方案逐帧地应用于视频数据时,所预测出的人脸关键点会呈现出明显的非规则抖动,因此如何准确且稳定地对流媒体中的人脸关键点进行定位成为了新的挑战.本文提出了一种基于平滑网格逆变换以及借助参数化人脸3D模型进行对抗训练的方式对现有方案进行改进.该方案训练所得的神经网络模型能够在不借助序列平滑后处理算法的情况下,逐帧应用于流媒体数据,给出稳定且准确的人脸关键点位置信息.其准确性相较于改进前的模型保持一致,而稳定性则超越了已有工作.

基于关键点的眼睛定位和状态估计

眼睛定位和状态估计是虹膜、巩膜、眼周等生物特征识别中重要的预处理过程。非合作环境下捕获的眼睛图像经常面临严重的遮挡和复杂的背景。为此提出一种鲁棒而准确的基于眼睛关键点的单阶段方法去定位眼睛的位置并估计眼睛的左右和开闭状态。为了训练和评估提出的模型,手工标注一个新的数据集OCE-1000,每幅图像标注左右两只眼睛共8个关键点,以及左右眼的开闭状态。实验结果表明,提出的模型在OCE-1000数据集上达到了98%的关键点定位准确率,眼睛状态估计的准确率为97%。

基于人工智能的数字X线机自助检查系统的设计

为了实现数字X线机检查的体位识别智能化与摆位自助化,采用自主研发的基于堆叠沙漏网络的体位识别装置、应用动作相关关系模型的体位判断装置和加入语音提示功能的数字X线机“自助检查”装置,解决了如今影像摄片体位精准度不高、影像科技术人员数量不足、传统摄片耗时较长等问题;经多次实验结果表明,系统将原本人均将近6分钟的摄影时间缩短到大约三分半,将甲级片出片率的不足40%提升到将近80%,进而将误诊率减少30%,同时能够有效地减少医患接触,减低院内感染的风险,系统实现了缩短摄片时间、提高摄影质量、降低院内感染的目标。

基于深度学习的配电高压操作机器人运动控制技术研究

随着人工智能的快速发展,体感控制成为机器人人机交互的热点方向,如何快速且准确地识别人体姿态是完成体感控制的一大难点。此次研究将通过改进后的YOLOv4模型检测人体框架,改进后的堆叠沙漏网络模型识别关节点,以提高人体姿态识别的速度和准确率;并针对机器人上半身手臂运动和下半身步态控制的特点,开发关节点映射算法来对机器人进行体感控制,解决配电高压操作机器人进行人机交互时容易摔倒的问题。结果表明,改进后YOLOv4网络检测人体目标的最好结果为84.37%,改进堆叠沙漏网络模型的收敛损失函数为0.096,PCK值为88.3%;研究模型的识别速度均值较CPN模型提高了21.5 s,表明研究模型在提高人体姿态识别准确率的同时,提高了体感控制的效率,在体感控制领域有一定的研究价值。