期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
9
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于深度学习的视觉手势估计综述
1
作者
武胜
秦浩东
《智能计算机与应用》
2023年第11期232-238,共7页
基于深度学习的视觉手势估计一直是计算机视觉领域的重点研究课题之一,随着深度学习和神经网络相关研究取得了巨大进步,针对手势估计中的高自由度、肤色、环境干扰、遮挡等问题已经远远优于传统方法。基于深度学习的三维手势估计主要是...
基于深度学习的视觉手势估计一直是计算机视觉领域的重点研究课题之一,随着深度学习和神经网络相关研究取得了巨大进步,针对手势估计中的高自由度、肤色、环境干扰、遮挡等问题已经远远优于传统方法。基于深度学习的三维手势估计主要是通过构建神经网络,对图像特征进行抽象化分析和理解,从而预测出手指关键点的三维坐标以及角度等信息,进而构建出手掌模型。准确的三维手势估计可以快速推动AR/VR行业的发展,因为沉浸与交互是AR/VR的关键要素,通过视觉手势交互可以为用户提供更方便、快捷、逼真的AR/VR互动体验。本文首先对当前手势估计方案进行阐述,了解到手势估计各方案的优缺点,然后介绍了基于深度学习的手势估计方法、相关数据集和评价指标,最后根据各研究结果,对当前三维手势估计所面临的挑战以及未来发展进行阐述。
展开更多
关键词
手势估计
深度学习
关键点检测
神经网络
下载PDF
职称材料
基于级联卷积神经网络的彩色图像三维手势估计
被引量:
1
2
作者
刘玮
戴仕明
+2 位作者
杨文姬
杨红云
钱文彬
《小型微型计算机系统》
CSCD
北大核心
2020年第3期558-563,共6页
估计手的三维姿态是人机交互中重要的组成部分.针对从单个彩色图像估计准确的三维手势困难这一问题,提出了一种基于级联卷积神经网络的估计方法,该级联网络分三阶段,手部掩膜估计、二维手势估计和三维手势估计,三阶段级联网络进行端到...
估计手的三维姿态是人机交互中重要的组成部分.针对从单个彩色图像估计准确的三维手势困难这一问题,提出了一种基于级联卷积神经网络的估计方法,该级联网络分三阶段,手部掩膜估计、二维手势估计和三维手势估计,三阶段级联网络进行端到端的训练,可以实现相互促进,最终优化三维手势估计的准确性.在两个公共数据集上进行了实验,实验结果表明该级联网络产生了卓越的三维手势估计精度,验证了该级联网络的有效性.
展开更多
关键词
级联卷积神经网络
手势估计
三维手姿态
彩色图像
下载PDF
职称材料
基于深度图像预旋转的手势估计改进方法
被引量:
1
3
作者
徐正则
张文俊
《华东师范大学学报(自然科学版)》
CAS
CSCD
北大核心
2020年第4期124-133,共10页
基于深度图像的手势估计比人体姿势估计更加困难,部分原因在于算法不能很好地识别同一个手势经旋转后的不同外观样式.提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)推测预旋转角度的手势姿态估计改进方法:先利用自动...
基于深度图像的手势估计比人体姿势估计更加困难,部分原因在于算法不能很好地识别同一个手势经旋转后的不同外观样式.提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)推测预旋转角度的手势姿态估计改进方法:先利用自动算法标注的最佳旋转角度来训练CNN;在手势识别之前,用训练好的CNN模型回归计算出应预旋转的角度,然后再对手部深度图像进行旋转;最后采用随机决策森林(Random Decision Forest, RDF)方法对手部像素进行分类,聚类产生出手部关节位置.实验证明该方法可以减少预测的手部关节位置与准确位置之间的误差,手势姿态估计的正确率平均上升了约4.69%.
展开更多
关键词
手势估计
图像旋转
深度图像
下载PDF
职称材料
基于LHPN算法的手势姿态估计方法研究
被引量:
2
4
作者
周全
甘屹
+2 位作者
何伟铭
孙福佳
杨丽红
《软件》
2020年第7期66-71,共6页
随着广大用户越来越追求人工智能产品的体验,手势姿态估计存在广阔的应用前景,但也是当今计算机视觉的难题。针对目前自顶向下的姿态估计模式容易受视觉传感器与目标检测精度的影响,本文提出基于轻量级手势姿态网络(LightweightHandPose...
随着广大用户越来越追求人工智能产品的体验,手势姿态估计存在广阔的应用前景,但也是当今计算机视觉的难题。针对目前自顶向下的姿态估计模式容易受视觉传感器与目标检测精度的影响,本文提出基于轻量级手势姿态网络(LightweightHandPoseNet,LHPN)算法的手势姿态估计方法,该算法采用ConvolutionalPose Machines(CPM)算法的多层次顺序结构,在每个阶段后隐式地将上下文信息融合,并设计了轻量级主干网络,以提升手势姿态估计的综合性能。基于STB数据集对比分析不同内部结构的LHPN算法性能,并与典型算法进行对比。实验结果表明,LHPN算法能够对手势姿态进行准确估计,与CPM算法相比,在AUC方面提升了0.5%,在每帧图像运算时长方面减少了0.1358 s。
展开更多
关键词
手势
姿态
估计
Lightweight
Hand
Pose
Net
Convolutional
Pose
Machines
轻量级
下载PDF
职称材料
深度图像中的3D手势姿态估计方法综述
被引量:
9
5
作者
王丽萍
汪成
+1 位作者
邱飞岳
章国道
《小型微型计算机系统》
CSCD
北大核心
2021年第6期1227-1235,共9页
3D手势姿态估计是计算机视觉领域一个重要的研究方向,在虚拟现实、增强现实、人机交互、手语理解等领域中具有重要的研究意义和广泛的应用前景.深度学习技术已经广泛应用于3D手势姿态估计任务并取得了重要研究成果,其中深度图像具有的...
3D手势姿态估计是计算机视觉领域一个重要的研究方向,在虚拟现实、增强现实、人机交互、手语理解等领域中具有重要的研究意义和广泛的应用前景.深度学习技术已经广泛应用于3D手势姿态估计任务并取得了重要研究成果,其中深度图像具有的深度信息可以很好地表示手势纹理特征,深度图像已成为手势姿态估计任务重要数据源.本文首先全面阐述了手势姿态估计发展历程、常用数据集、数据集标记方式和评价指标;接着根据深度图像的不同展现形式,将基于深度图像的数据驱动手势姿态估计方法分为基于简单2D深度图像、基于3D体素数据和基于3D点云数据,并对每类方法的代表性算法进行了概括与总结;最后对手势姿态估计未来发展进行了展望.
展开更多
关键词
3D
手势
姿态
估计
深度学习
深度图像
虚拟现实
人机交互
下载PDF
职称材料
基于伪三维卷积神经网络的手势姿态估计
被引量:
3
6
作者
张宏源
袁家政
+3 位作者
刘宏哲
原春锋
王雪峤
邓智方
《计算机应用研究》
CSCD
北大核心
2020年第4期1230-1233,1243,共5页
大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些...
大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些方法常难以满足实时性要求。为了克服这些缺点,提出以空间滤波器和深度滤波器级联的方式模拟三维卷积,减少网络参数量。同时,在各个尺度上提取手势姿态特征并加以整合,充分利用手势的三维信息。实验表明,该方法能有效提高手势姿态估计精度,减小模型尺寸,且在具有单块GPU的计算机上能以超过119 fps的速度运行。
展开更多
关键词
手势
姿态
估计
伪三维卷积神经网络
三维特征
深度图像
深度学习
下载PDF
职称材料
基于三级神经网络的鲁棒3D手姿估计
被引量:
1
7
作者
邹序焱
何汉武
吴悦明
《计算机应用研究》
CSCD
北大核心
2022年第3期925-930,共6页
人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征...
人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。
展开更多
关键词
神经网络
手势估计
RGBD相机
深度图
手的拓扑结构
下载PDF
职称材料
融合多尺度特征的复杂手势姿态估计网络
8
作者
贾迪
李宇扬
+1 位作者
安彤
赵金源
《中国图象图形学报》
CSCD
北大核心
2023年第9期2887-2898,共12页
目的基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法1)采用ResNet50(50-layer residual network)模...
目的基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法1)采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2)在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3)计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4)综合以上结果获得最终的手势姿态。结果采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在InterHand2.6M数据集上,与InterNet方法相比,本文方法的交互手关节点的平均误差降低5.8%,单手关节点的平均误差降低8.3%,根节点的平均误差降低5.1%。从RHD数据集的测试结果看,与同类方法相比,本文方法在手部关节点的平均误差上获得最小值。结论本文提出的多尺度特征融合网络能够更准确地预测手部关节点位置,适用于复杂手势或遮挡条件下的手势姿态估计(本文方法代码网址:https://github.com/cornersInHeart/hand-pose-esitmation.git)。
展开更多
关键词
手势估计
深度学习
注意力机制
多尺度特征
图像处理
原文传递
基于多任务学习CNN辅助Transformer的手部mesh重建
9
作者
谢苏
张孙杰
+1 位作者
王永雄
颜婷丽
《计算机应用研究》
CSCD
北大核心
2022年第12期3830-3836,共7页
针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题,首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图,通过多任务学习CNN的框架对2D信息进行特征提取,并针对手的拓扑结构进行信息融合增强。为了解决Trans...
针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题,首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图,通过多任务学习CNN的框架对2D信息进行特征提取,并针对手的拓扑结构进行信息融合增强。为了解决Transformer encoder中的隐层embeddings维度一致性以及参数过大问题,设计了一种新的MLP(multi-layer perception)模块嵌入Transformer encoder之间,达到embeddings的数量渐进增加以及其维度渐进减少的目的,从而完成手部mesh精细化的预测。实验结果表明该CNN与Transformer混合的新框架在FreiHAND和RHD数据集均取得了较好效果。
展开更多
关键词
手势
姿态
估计
手部mesh重建
HOG特征
多任务学习
TRANSFORMER
下载PDF
职称材料
题名
基于深度学习的视觉手势估计综述
1
作者
武胜
秦浩东
机构
中国电子科技南湖研究院
出处
《智能计算机与应用》
2023年第11期232-238,共7页
文摘
基于深度学习的视觉手势估计一直是计算机视觉领域的重点研究课题之一,随着深度学习和神经网络相关研究取得了巨大进步,针对手势估计中的高自由度、肤色、环境干扰、遮挡等问题已经远远优于传统方法。基于深度学习的三维手势估计主要是通过构建神经网络,对图像特征进行抽象化分析和理解,从而预测出手指关键点的三维坐标以及角度等信息,进而构建出手掌模型。准确的三维手势估计可以快速推动AR/VR行业的发展,因为沉浸与交互是AR/VR的关键要素,通过视觉手势交互可以为用户提供更方便、快捷、逼真的AR/VR互动体验。本文首先对当前手势估计方案进行阐述,了解到手势估计各方案的优缺点,然后介绍了基于深度学习的手势估计方法、相关数据集和评价指标,最后根据各研究结果,对当前三维手势估计所面临的挑战以及未来发展进行阐述。
关键词
手势估计
深度学习
关键点检测
神经网络
Keywords
gesture estimation
deep learning
key point detection
neural network
分类号
TP183 [自动化与计算机技术—控制理论与控制工程]
下载PDF
职称材料
题名
基于级联卷积神经网络的彩色图像三维手势估计
被引量:
1
2
作者
刘玮
戴仕明
杨文姬
杨红云
钱文彬
机构
江西农业大学计算机与信息工程学院
江西农业大学软件学院
江西省高等学校农业信息技术重点实验室
出处
《小型微型计算机系统》
CSCD
北大核心
2020年第3期558-563,共6页
基金
国家自然科学基金项目(61462038,61562039,61502213)资助.
文摘
估计手的三维姿态是人机交互中重要的组成部分.针对从单个彩色图像估计准确的三维手势困难这一问题,提出了一种基于级联卷积神经网络的估计方法,该级联网络分三阶段,手部掩膜估计、二维手势估计和三维手势估计,三阶段级联网络进行端到端的训练,可以实现相互促进,最终优化三维手势估计的准确性.在两个公共数据集上进行了实验,实验结果表明该级联网络产生了卓越的三维手势估计精度,验证了该级联网络的有效性.
关键词
级联卷积神经网络
手势估计
三维手姿态
彩色图像
Keywords
cascade convolution neural network
gesture estimation
3d gesture
color image
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于深度图像预旋转的手势估计改进方法
被引量:
1
3
作者
徐正则
张文俊
机构
上海大学上海电影学院
华东师范大学传播学院
出处
《华东师范大学学报(自然科学版)》
CAS
CSCD
北大核心
2020年第4期124-133,共10页
基金
华东师范大学实验技术研究项目(20190704)。
文摘
基于深度图像的手势估计比人体姿势估计更加困难,部分原因在于算法不能很好地识别同一个手势经旋转后的不同外观样式.提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)推测预旋转角度的手势姿态估计改进方法:先利用自动算法标注的最佳旋转角度来训练CNN;在手势识别之前,用训练好的CNN模型回归计算出应预旋转的角度,然后再对手部深度图像进行旋转;最后采用随机决策森林(Random Decision Forest, RDF)方法对手部像素进行分类,聚类产生出手部关节位置.实验证明该方法可以减少预测的手部关节位置与准确位置之间的误差,手势姿态估计的正确率平均上升了约4.69%.
关键词
手势估计
图像旋转
深度图像
Keywords
hand pose estimation
image rotation
depth image
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于LHPN算法的手势姿态估计方法研究
被引量:
2
4
作者
周全
甘屹
何伟铭
孙福佳
杨丽红
机构
上海理工大学机械工程学院
日本中央大学
出处
《软件》
2020年第7期66-71,共6页
基金
国家自然科学基金项目(批准号:51375314)。
文摘
随着广大用户越来越追求人工智能产品的体验,手势姿态估计存在广阔的应用前景,但也是当今计算机视觉的难题。针对目前自顶向下的姿态估计模式容易受视觉传感器与目标检测精度的影响,本文提出基于轻量级手势姿态网络(LightweightHandPoseNet,LHPN)算法的手势姿态估计方法,该算法采用ConvolutionalPose Machines(CPM)算法的多层次顺序结构,在每个阶段后隐式地将上下文信息融合,并设计了轻量级主干网络,以提升手势姿态估计的综合性能。基于STB数据集对比分析不同内部结构的LHPN算法性能,并与典型算法进行对比。实验结果表明,LHPN算法能够对手势姿态进行准确估计,与CPM算法相比,在AUC方面提升了0.5%,在每帧图像运算时长方面减少了0.1358 s。
关键词
手势
姿态
估计
Lightweight
Hand
Pose
Net
Convolutional
Pose
Machines
轻量级
Keywords
Hand pose estimation
Lightweight hand pose net
Convolutional pose machines
Lightweight
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
深度图像中的3D手势姿态估计方法综述
被引量:
9
5
作者
王丽萍
汪成
邱飞岳
章国道
机构
浙江工业大学计算机科学与技术学院
浙江工业大学教育科学与技术学院
出处
《小型微型计算机系统》
CSCD
北大核心
2021年第6期1227-1235,共9页
基金
浙江省重点研发计划基金项目(2018C01080)资助.
文摘
3D手势姿态估计是计算机视觉领域一个重要的研究方向,在虚拟现实、增强现实、人机交互、手语理解等领域中具有重要的研究意义和广泛的应用前景.深度学习技术已经广泛应用于3D手势姿态估计任务并取得了重要研究成果,其中深度图像具有的深度信息可以很好地表示手势纹理特征,深度图像已成为手势姿态估计任务重要数据源.本文首先全面阐述了手势姿态估计发展历程、常用数据集、数据集标记方式和评价指标;接着根据深度图像的不同展现形式,将基于深度图像的数据驱动手势姿态估计方法分为基于简单2D深度图像、基于3D体素数据和基于3D点云数据,并对每类方法的代表性算法进行了概括与总结;最后对手势姿态估计未来发展进行了展望.
关键词
3D
手势
姿态
估计
深度学习
深度图像
虚拟现实
人机交互
Keywords
3D hand pose estimation
deep learning
depth map
virtual reality
human-computer interaction
分类号
TP391 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于伪三维卷积神经网络的手势姿态估计
被引量:
3
6
作者
张宏源
袁家政
刘宏哲
原春锋
王雪峤
邓智方
机构
北京联合大学北京市信息服务工程重点实验室
北京开放大学
中国科学院自动化研究所模式识别国家重点实验室
出处
《计算机应用研究》
CSCD
北大核心
2020年第4期1230-1233,1243,共5页
基金
国家自然科学基金资助项目(61571045)
北京成像技术高精尖创新中心项目(BAICIT-2016002)
+1 种基金
北京市教委科技计划一般项目(KM201811417002)
北京联合大学研究生资助项目。
文摘
大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些方法常难以满足实时性要求。为了克服这些缺点,提出以空间滤波器和深度滤波器级联的方式模拟三维卷积,减少网络参数量。同时,在各个尺度上提取手势姿态特征并加以整合,充分利用手势的三维信息。实验表明,该方法能有效提高手势姿态估计精度,减小模型尺寸,且在具有单块GPU的计算机上能以超过119 fps的速度运行。
关键词
手势
姿态
估计
伪三维卷积神经网络
三维特征
深度图像
深度学习
Keywords
hand pose estimation
pseudo-3D convolutional neural network
3D features
depth image
deep learning
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
基于三级神经网络的鲁棒3D手姿估计
被引量:
1
7
作者
邹序焱
何汉武
吴悦明
机构
广东工业大学机电工程学院
宜宾学院人工智能与大数据学部
广东工贸职业技术学院
出处
《计算机应用研究》
CSCD
北大核心
2022年第3期925-930,共6页
基金
国家重点研发专项资助项目(2018YFB1004902)
广东省重点研发资助项目(2017B010110008)。
文摘
人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。
关键词
神经网络
手势估计
RGBD相机
深度图
手的拓扑结构
Keywords
neural network
hand pose estimation
RGBD camera
depth image
hand topology
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
融合多尺度特征的复杂手势姿态估计网络
8
作者
贾迪
李宇扬
安彤
赵金源
机构
辽宁工程技术大学电子与信息工程学院
辽宁工程技术大学电气与控制工程学院
出处
《中国图象图形学报》
CSCD
北大核心
2023年第9期2887-2898,共12页
基金
国家自然科学基金项目(61601213)
辽宁省教育厅项目(LJ2020FWL004)。
文摘
目的基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法1)采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2)在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3)计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4)综合以上结果获得最终的手势姿态。结果采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在InterHand2.6M数据集上,与InterNet方法相比,本文方法的交互手关节点的平均误差降低5.8%,单手关节点的平均误差降低8.3%,根节点的平均误差降低5.1%。从RHD数据集的测试结果看,与同类方法相比,本文方法在手部关节点的平均误差上获得最小值。结论本文提出的多尺度特征融合网络能够更准确地预测手部关节点位置,适用于复杂手势或遮挡条件下的手势姿态估计(本文方法代码网址:https://github.com/cornersInHeart/hand-pose-esitmation.git)。
关键词
手势估计
深度学习
注意力机制
多尺度特征
图像处理
Keywords
gesture estimation
deep learning
attention mechanism
multi-scale features
image processing
分类号
TP391 [自动化与计算机技术—计算机应用技术]
原文传递
题名
基于多任务学习CNN辅助Transformer的手部mesh重建
9
作者
谢苏
张孙杰
王永雄
颜婷丽
机构
上海理工大学光电信息与计算机工程学院
上海理工大学理学院
出处
《计算机应用研究》
CSCD
北大核心
2022年第12期3830-3836,共7页
基金
国家自然科学基金资助项目(61673276,61603255)。
文摘
针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题,首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图,通过多任务学习CNN的框架对2D信息进行特征提取,并针对手的拓扑结构进行信息融合增强。为了解决Transformer encoder中的隐层embeddings维度一致性以及参数过大问题,设计了一种新的MLP(multi-layer perception)模块嵌入Transformer encoder之间,达到embeddings的数量渐进增加以及其维度渐进减少的目的,从而完成手部mesh精细化的预测。实验结果表明该CNN与Transformer混合的新框架在FreiHAND和RHD数据集均取得了较好效果。
关键词
手势
姿态
估计
手部mesh重建
HOG特征
多任务学习
TRANSFORMER
Keywords
hand pose estimation
hand mesh reconstruction
HOG feature
multi task learning
Transformer
分类号
TP391.41 [自动化与计算机技术—计算机应用技术]
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于深度学习的视觉手势估计综述
武胜
秦浩东
《智能计算机与应用》
2023
0
下载PDF
职称材料
2
基于级联卷积神经网络的彩色图像三维手势估计
刘玮
戴仕明
杨文姬
杨红云
钱文彬
《小型微型计算机系统》
CSCD
北大核心
2020
1
下载PDF
职称材料
3
基于深度图像预旋转的手势估计改进方法
徐正则
张文俊
《华东师范大学学报(自然科学版)》
CAS
CSCD
北大核心
2020
1
下载PDF
职称材料
4
基于LHPN算法的手势姿态估计方法研究
周全
甘屹
何伟铭
孙福佳
杨丽红
《软件》
2020
2
下载PDF
职称材料
5
深度图像中的3D手势姿态估计方法综述
王丽萍
汪成
邱飞岳
章国道
《小型微型计算机系统》
CSCD
北大核心
2021
9
下载PDF
职称材料
6
基于伪三维卷积神经网络的手势姿态估计
张宏源
袁家政
刘宏哲
原春锋
王雪峤
邓智方
《计算机应用研究》
CSCD
北大核心
2020
3
下载PDF
职称材料
7
基于三级神经网络的鲁棒3D手姿估计
邹序焱
何汉武
吴悦明
《计算机应用研究》
CSCD
北大核心
2022
1
下载PDF
职称材料
8
融合多尺度特征的复杂手势姿态估计网络
贾迪
李宇扬
安彤
赵金源
《中国图象图形学报》
CSCD
北大核心
2023
0
原文传递
9
基于多任务学习CNN辅助Transformer的手部mesh重建
谢苏
张孙杰
王永雄
颜婷丽
《计算机应用研究》
CSCD
北大核心
2022
0
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部