基于STGCN算法的视频图像人体动作轮廓动态识别

人体动作轮廓在视频中的呈现具有多样性和连续性。人体动作不仅涉及到时间上的变化,还包括空间上的位置关系,受其姿势、速度、方向等影响。人体动作时空信息之间的关联难以充分捕捉,导致动作轮廓识别精度较低。为此,引入时空图卷积网络(STGCN)算法,提出一种视频图像人体动作轮廓动态识别方法。文中采用OpenPose模型从视频图像中提取描述关节点位置的置信图和描述人体关节间连接情况的二维矢量场,构建人体动作骨架图。结合视频帧时间序列组建人体动作骨架时空图,将其作为STGCN模型的输入,通过时空图卷积操作充分捕捉人体动作的时空特征后,采用Softmax层获取动态识别到的视频图像人体动作轮廓;并在STGCN模型中引入两种注意力模块,强化网络特征提取能力,提高动作轮廓识别精度。实验结果表明,所提方法可以有效实现视频图像人体动作轮廓的动态识别,引入的两种注意力模块对STGCN模型进行改进,可提升其动作轮廓识别效果。

青年男性颈肩部轮廓量化分析与形态匹配

以190名青年男大学生为研究对象,通过照片测量法、三维人体扫描法获取人体正侧面照片及三维点云数据。基于三维点云数据,提取颈肩部轮廓曲线进行椭圆傅立叶拟合得到椭圆系数,经主成分分析和聚类分析,将青年男性颈肩部正侧面形态各分为3类。采用角度半径和欧几里得距离实现二维照片与三维点云数据之间的匹配,并验证匹配准确率。结果显示:颈肩部正面轮廓匹配验证准确率达92.5%,侧面轮廓匹配验证准确率达95.0%。该研究为基于人体照片的人体形态研究提供了理论依据。

基于角度半径的青年男子躯干部形态相似性匹配

为实现基于三维人体点云的人体形态相似性匹配,文章提出了利用角度半径进行青年男体躯干部轮廓形态描述的方法。先以187名18~25周岁的青年男大学生为研究对象,使用三维扫描法获取其三维点云数据。再通过逆向工程软件识别人体躯干部特征点,截取其正侧面躯干轮廓形态。然后分别建立正侧面躯干部坐标系,提取27个正面角度半径值和60个侧面角度半径值形成三维点云躯干形态数据库。选取14名被试者进行验证,提取的正、侧面角度半径为样本,采用均方根误差法与点云截面数据库进行匹配,并使用OpenCV框架中的MatchSharp法验证匹配结果。结果显示,13名被试者的躯干部正侧面轮廓形态与三维点云轮廓形态匹配成功,准确率达92.86%。研究结果可为三维点云形态相似性分析提供一定的理论基础。

基于关键点运动轨迹建模的步态识别

步态信息作为一个新兴的生物特征,在医疗、刑侦等方面具有广泛的应用前景.研究者已经提出了很多种步态识别方法,但普遍存在适应性不强、特征描述过于复杂或缺乏可解释性等问题.针对此问题,首先,通过改进三帧差分完成对视频图像中人体轮廓的提取;然后,基于人体轮廓图获取人体骨架模型,通过骨架模型得到所需的人体关键点位置,并对视频图像中同一关键点的位置轨迹进行曲线建模;最后依据关键点轨迹曲线模型建立一种以模型参数作为步态特征向量的步态特征描述方法,并在此基础上选取合适的分类方法进行步态识别.实验结果表明,基于关键点运动轨迹模型的步态特征表达能够很好地描述步态信息,识别率也相对较高.

基于DT‒SVM优化算法的人体姿态特征提取与识别研究

为确定人体运动行为在空间环境中的表现情况,实现对姿态特征的准确定义,针对基于DT‒SVM优化算法的人体姿态特征提取与识别方法展开研究.利用DT‒SVM优化算法,推荐必要的姿态特征节点,确定人体运动行为所处空间平面.实施对姿态特征的梯度化处理,根据获取到的轮廓节点,计算夹角向量的具体数值,从而求解姿态特征提取与识别的数学表达式,完成基于DT‒SVM优化算法的人体姿态特征提取与识别方法的设计.实验结果表明,上述方法的应用,可同时在X轴、Y轴、Z轴三个方向上,控制人体运动行为,使其偏向角数值均不超过12°,符合精准定义人体姿态特征的实际应用需求.

基于图像的人体肩部特征点检测方法

针对现有检测算法对肩部特征点的误检、漏检和检测误差大等问题,提出了一种改进的基于人体轮廓编码的肩部特征点的检测方法。该方法以人体所占图像的大小来确定特征链码串的长度,并且通过特征区域分割、特征区域遍历,具有几何特征的链码串动态筛选的搜索方式,筛选出符合条件的肩部特征点。在获取肩部特征点以后,计算出肩宽值,并且与实际人工测量的肩宽值进行比对与分析。本文实验共选取了100名不同身型的青年测试者(50男/50女)在同一拍摄环境下对该方法的可行性进行测试。结果表明,采用该方法能够快速识别人体的肩部特征点,与人工测量值对比得出的平均误差仅在3%左右,较好地提升了二维人体肩宽尺寸检测的效率,并且为后续服装匹配等相关工作提供了更加精确的数据支持。

复杂背景下人体轮廓及其参数提取

针对基于人体照片的尺寸提取技术对照片拍摄场景限制的问题,提出利用整体嵌套边缘检测深度学习模型实现复杂背景下人体轮廓的提取并进行参数提取分析。以450张不同背景人体照片为原始图像数据集,通过人体轮廓标签图制作与数据增强手段建立了43200张图片训练集,利用深度学习网络模型进行训练学习并构建最优边缘检测模型;最后选取40名样本作为验证对象,以13个人体比例、角度等参数作为验证参数,对人体轮廓提取值与三维点云测量值进行误差分析。结果表明,本文研究成果能够快速实现复杂背景下人体轮廓的自动提取,且人体轮廓提取值与三维点云测量值的角度参数误差小于2°,比例参数误差小于0.09,为非接触式二维测量技术的进一步研究提供理论依据和技术支撑。

影子辅助的三维人体重建

光线投射至地面的人体影子可以为人体重建任务提供约束信息,有助于缓解单目图像中的深度歧义问题和自遮挡问题.为了重建三维人体模型,提出一种基于影子输入和深度神经网络的重建方法.首先搭建2个独立的卷积神经网络模块用于提取图像特征和影子特征,并估计对应的人体模型参数;然后建立一个可导投影算子(differentiable projection operator,DPO)对齐2个网络的输出;最后将DPO构建的损失函数应用于微调神经网络和直接优化输出.在Human3.6M合成影子数据集上的实验结果表明,与基线方法相比,微调神经网络的关节误差指标下降了1.4~4.9 mm;在自采集的一个含真实影子的3人2视角小规模数据集上的定性实验结果表明,直接优化的人体姿态更加接近原始图像.

基于二维图像的参数化人体建模

为解决现有基于二维图像的三维人体建模容易出现误差、模型参数估计不准确等问题,结合深度学习和优化后的人体建模算法,并利用深度学习算法提供的结果作为先验,缓解优化算法对参数初始值敏感的问题,以实现针对单帧RGB图像和多帧RGB图像的三维人体建模。同时基于HMR深度学习模型预测SMPL-X模型的初始参数,通过添加人体轮廓、二维关键点等对模型参数进一步优化求解,并利用视频序列的帧间连贯性对视频帧中人物的三维姿态进行约束。结果表明:添加人体分割轮廓约束可使重建模型更加贴合人体,能够提升模型拟合的精度;基于视频序列帧间连贯性重建的人体模型,可减少身体旋转、四肢弯曲等误差出现的可能性,与目标对象姿态更加相近。

结合纹理结构相似度和轮廓相似度的SAR干扰效果评估

对SAR干扰效果的评估是衡量抗干扰方法的有效性及SAR系统抗干扰性能的一项重要的综合性指标,文中提出一种结合图像纹理结构相似度和图像轮廓匹配度的SAR干扰效果评估方法(GSIM)。该方法利用图像轮廓匹配度和图像结构相似度构建图像干扰综合评估指标体系,根据指标在不同条件下的重要性进行不同权重的赋值,得到综合的评价结果。为了验证该方法的有效性及准确性,对两组实验图像进行了不同程度的噪声干扰和条纹干扰,通过GSSIM、LKS、GSIM三种评估方法对干扰后的两组实验图像的相似度数据进行对比分析,发现GSIM方法根据不同的干扰环境进行方法组合及权重分配能够对干扰效果进行客观评价,且评价结果更符合人眼的主观感受。该方法为SAR目标的伪装和防护提供了有效的理论支持和技术支撑。

基于图像处理技术的人机交互界面控制研究

以更好地实现人机交互界面控制为目的,本文设计了基于图像处理技术的人机交互界面控制方法。首先提取人机交互界面图像边缘轮廓特征,采用视觉传达优化方法增强人机交互界面图像视觉传达信息,构建图像的边缘包络特征,利用向量量化法实现图像信息增强处理,结合多分辨率层次分析法提取图像多分辨特征量,优化图像视觉传达输出,从整体上实现更好的人机交互界面控制,采用超完备字典学习的图像去噪算法提升图标图像的清晰度与直观性,从局部上更精准地控制人机交互界面。测试结果显示方法能够准确描述测试对象内部图像的边缘轮廓,可精准地控制人机交互界面。

基于HSV颜色空间的人体轮廓提取方法研究

目前已有人体轮廓提取系统大多先将彩色图像转换为灰度图像,然后经过人工修图,从灰度图像中提取人体轮廓.在此过程中,大量图像信息丢失,且这些系统普遍存在对背景、着装、像素和光线要求严格等问题.为了解决这些问题,本工作采用符合人类视觉习惯的HSV颜色空间,利用MATLAB软件编写程序,通过分析和转换图像的H、S、V值从彩色图像上直接提取人体轮廓,从而实现人体轮廓提取的准确化和自动化.试验结果表明,利用HSV颜色空间可降低对背景、着装、像素和光线等因素的要求,实现复杂情况下人体轮廓的准确提取.

汉语耳语音库的建立与听觉实验研究

耳语音的识别和转换是个全新的课题,可应用于公共场合下的通讯和公安司法工作的某些特殊需要等方面.首先建立了一个包含1172个字和98个近音词的单人女声的汉语耳语音库.通过对两个听觉测试实验数据的统计分析,研究了人耳对汉语耳语音字和近音词声调的辨认率特征,得出人耳对孤立字四个声调的辨认率由高到低的排序为三声>四声>二声>一声.同时也得出人耳对词声调的辨认能力比字要强得多.幅值包络和音长这两个特征参量能够反映出汉语耳语音声调的特性,基于此参数对汉语耳语音字进行声调识别实验,其声调识别率已达到了人耳的平均辨认率,为连续耳语音声调识别研究打下了基础.

一种新的基于轮廓特征的指尖及手指指向检测方法

传统基于K-Curvature以及凸包理论的指尖识别算法往往存在严重漏检问题.针对此问题,提出一种新的基于手指轮廓特征的指尖及手指指向检测方法,关键步骤包括轮廓平滑、直线区域检测、手指指向及指尖定位三部分,可实现精确快速的指尖识别过程.通过对不同姿态手势进行实验验证,所提算法能在准确定位指尖位置的同时,得到手指指向信息.满足人机交互系统对指尖点及手指指向获取的实时性要求,并对不同手指指向具有较强的自适应性.

服装CAD中三维人体模型的参数化研究

针对三角网格曲面表示的 3D人体模型缺少语义信息 ,提出一种 3D人体模型的参数化方法 :首先通过三角面片求交的采样策略得到采样点 ,然后使用B样条曲线构造人体轮廓线 ,最后由用户交互得到 3D人体模型的参数化信息 ,建立 3D人体模型的参数化模板 这样 ,在参数化人体模型模板的基础上 ,可以根据用户所输入的特定人体参数信息 ,动态地调整轮廓线和重建人体模型体表曲面 ,快速生成逼真的 3D人体模型 。

人眼视觉感知模型指导的有理函数图像插值

基于有理函数模型提出了一种新的自适应图像插值算法.此类有理函数具有简单显性数学表达式,且含有可调参数.当两个参数都等于1时,有理函数变为双三次插值函数.基于有理函数构造图像插值曲面,原始图像通过等值线分析自适应地分解为平滑和边缘两部分.其中自适应阈值根据有理函数构造原理来确定,思路是将人眼视觉感知与图像结构相融合,对于像素结构简单视觉关注度低的平滑区域,采用双三次插值.对于像素结构复杂视觉关注度高的边缘区域,采用有理插值处理,参数由人眼对比敏感特性来确定.实验表明,该算法细节信息保持优于当前经典的图像插值算法,具有较好的视觉效果.

以头部为基准的人体轮廓模型

为了提高以人体轮廓为主要特征对人体行为进行识别时的性能,提出一种以头部为基准的人体轮廓模型.采用无需重新初始化的level set方法提取视频序列图像中的人体轮廓,将人体轮廓纵横比最小的帧确定为关键帧.根据欧式距离局部极大原则确定关键帧中轮廓上的人体端点(头、手、脚等),通过肤色模型确定头部位置并作为轮廓标记的基准点,建立以头部为基准的人体轮廓模型.基于该模型提取特征,采用支持向量机(SVM)对人体行为进行识别.以WEIZMANN数据库为对象的行为识别实验结果验证了该模型和行为识别方法的有效性.

基于手眼协调机器人的共享控制遥操作系统

提出了一种基于机器人手眼协调的共享控制遥操作系统框架。基于双目视差和主动轮廓构建机器人自主手眼协调系统,并将这种手眼协调机器人作为遥机器人构成一个半自主、共享式的遥操作系统。为了将人和机器人的各自的长处充分的融合到系统中,开发了相应的自然图像用户界面和遥自主命令程序模块用于人和自主机器人之间的交互。实验表明提出的这种基于手眼协调的共享控制遥操作系统具有高操作效率和对操作者友好等优点。

基于肤色和轮廓信息的人脸检测

针对彩色图像提出了一种基于肤色模型、脸部轮廓信息以及眼睛特征的人脸检测算法。采用基于YCbCr色彩空间的肤色分割模型,初步筛选人脸的候选区域;然后进行边缘检测,获得人脸轮廓信息,并利用三点定圆法来拟合脸部的圆形;最后在圆形区域的水平方向根据眼睛的几何特征来检测"眼睛对",再根据"三停五眼"来定位人脸,并利用左右对称性验证人脸。实验表明,该算法对于彩色图像的正面人脸检测具有良好的效果。

基于深度图序列和时空占用模式的人类行为识别研究

针对人类行为识别问题,提出一种基于深度图序列和时空占用模式的行为识别方法。首先,使用深度图序列将空间和时间轴分为多个部分,从而定义一个4D网格;然后,将网格中的每个单元与占用值相关联,利用高维特征向量的所有单元占用值组成时空占用模式。最后,利用基于正交级别学习的主成分分析降维获得低维特征向量,并完成最终的行为识别。在公共3D行为数据集MSR上的实验结果表明,提出的离线识别方法比现有方法所获得的识别准确度较高。