单目RGB穿衣人体的手部精细化重建

为解决单目穿衣人体在复杂姿态下手部形状重建存在遮挡和缺失的失真问题,提出了一种结合ECON与MANO手部模型,实现高效穿衣人体的手部精细化重建方法H-ECON(hand-focused explicit clothed humans obtained from normals)。具体而言,该方法首先以类型无关的手部检测器聚焦手部区域并进行翻转和裁剪;然后,引入注意力机制用于增强对手部区域的感知能力,空洞螺旋卷积则更好地捕捉手部不同尺度的特征;最后,独特的融合模块确保了手部重建与整身模型的融合效果。在FreiHAND和HanCo公开数据集上与其他方法的定量定性对比结果表明了H-ECON的有效性,其独立手部模块明显优于ECON中的替代手部模块。H-ECON实现了对人体手部几何和姿态变化的精确描述,进一步缩小了2D图像生成到3D人体网格之间的差距。

基于4D成像雷达的隔墙人体姿态重建与行为识别研究

隔墙人体姿态重建和行为识别在智能安防和虚拟现实等领域具有广泛应用前景。然而,现有隔墙人体感知方法通常忽视了对4D时空特征的建模以及墙体对信号的影响,针对这些问题,该文创新性地提出了一种基于4D成像雷达的隔墙人体感知新架构。首先,基于时空分离的分步策略,该文设计了ST~2W-AP时空融合网络,解决了由于主流深度学习库缺少4D卷积而无法充分利用多帧3D体素时空域信息的问题,实现了保留3D空域信息的同时利用长序时域信息,大幅提升姿态估计任务和行为识别任务的性能。此外,为抑制墙体对信号的干扰,该文利用深度学习强大的拟合性能和并行输出的特点设计了深度回波域补偿器,降低了传统墙体补偿方法的计算开销。大量的实验结果表明,相比于现有最佳方法,ST~2W-AP将平均关节位置误差降低了33.57%,并且将行为识别的F1分数提高了0.51%。

基于无线信号的人体姿态估计综述

人体姿态估计在人机交互、动作捕捉和虚拟现实等领域具有广泛的应用前景,一直是人体感知研究的重要方向。然而,基于光学图像的姿态估计方法往往受限于光照条件和隐私问题。因此,利用可在各种光照遮挡下工作,且具有隐私保护性的无线信号进行人体姿态估计获得了更多关注。根据无线信号的工作频率,现有技术可分为高频方法和低频方法,且不同的信号频率对应硬件系统、信号特性、噪声处理和深度学习算法设计等方面均有所不同。该文将以毫米波雷达、穿墙雷达和WiFi信号为代表,回顾其在人体姿态重建研究中的进展和代表性工作,分析各类信号模式的优势与局限,并对潜在研究难点以及未来发展趋势进行了展望。

非凸时序差分低秩约束的人体运动捕获数据恢复算法

人体运动捕获数据恢复问题旨在恢复缺少的运动标记点位置信息,同时消除噪声。现有基于低秩矩阵填充的恢复方法大多利用人体运动捕获数据矩阵的低秩性。然而,随着运动数据帧数的不断增加,低秩性可能不再满足。为更好地刻画运动数据的低秩性,提出一种联合Schatten-p范数和lq范数的非凸时序差分低秩约束(NTDLR)的人体运动捕获数据恢复算法。首先,将数据矩阵投影至时序差分空间,构造时序差分矩阵。其次,引入非凸Schatten-p范数,刻画数据时序差分矩阵的低秩性,同时引入非凸lq范数约束稀疏噪声项。再次,利用交替方向乘子法求解模型,采用Newton-Raphson迭代法求解子问题。最后,在CMU数据集和HDM05数据集上,将NTDLR与经典的TrNN、CaNN和IRNNL Lp算法进行了比较,结果表明,NTDLR算法的视觉效果更优,具有更好的恢复性能。

基于深度学习的二维人体姿态估计研究进展

人体姿态估计在人体行为识别、人机交互、体育运动分析等方面有着广泛的应用前景,是计算机视觉领域的一个研究热点。在最近的十年中,得益于深度学习技术,大量的研究工作极大地推动了人体姿态估计技术的发展,但由于受训练样本不足、人体姿态的多变性、遮挡、环境的复杂性等因素影响,人体姿态估计仍然面临着诸多的挑战。文中对近年来基于深度学习的2D人体姿态估计方法进行归纳和总结,着重分析一些有代表性的人体姿态估计方法的思路及工作原理,以便研究人员了解当前的研究现状、面临的挑战以及今后的研究方向,拓展研究思路。

基于MIMO雷达成像图序列的切向人体姿态识别方法

现有的基于雷达传感器的人体动作识别研究主要聚焦于相对雷达径向运动产生的微多普勒特征。当面对非径向,特别是静态姿势或者运动方向与雷达波束中心垂直的切向动作(切向人体姿态)时,传统基于微多普勒的方法无法对径向运动微弱的切向人体姿态进行有效表征,导致识别性能大幅下降。为了解决这一问题,该文提出了一种基于多发多收(MIMO)雷达成像图序列的切向人体姿态识别方法,以高质量成像图序列的形式来表征切向姿态的人体轮廓结构及其动态变化,通过提取图像内的空间特征和图序列间的时序特征,实现对切向人体姿态的准确识别。首先,通过恒虚警检测算法(CFAR)定位人体目标所在距离门,接着,利用慢时滑窗将目标动作划分为帧序列,对每帧数据用傅里叶变换和二维Capon算法估计出切向姿态的距离、俯仰角度和方位角度,得到切向姿态的成像图,将各帧成像图按照时序串联起来,构成切向人体姿态成像图序列;然后,提出了一种改进的多域联合自适应阈值去噪算法,抑制环境杂波,增强人体轮廓和结构特征,改善成像质量;最后,采用了一种基于空时注意力模块的卷积长短期记忆网络模型(ST-ConvLSTM),利用ConvLSTM单元来学习切向人体姿态成像图序列中的多维特征,并结合空时注意力模块来强调成像图内的空间特征和图序列间的时序特征。对比实验的分析结果表明,相比于传统方法,该文所提出的方法在8种典型的切向人体姿态的识别中取得了96.9%的准确率,验证了该方法在切向人体姿态识别上的可行性和优越性。

基于毫米波雷达三维点云的人体动作识别数据集与方法

毫米波雷达凭借其出色的环境适应性、高分辨率和隐私保护等优势,在智能家居、智慧养老和安防监控等领域具有广泛的应用前景。毫米波雷达三维点云是一种重要的空间数据表达形式,对于人体行为姿态识别具有极大的价值。然而,由于毫米波雷达点云具有强稀疏性,给精准快速识别人体动作带来了巨大的挑战。针对这一问题,该文公开了一个毫米波雷达人体动作三维点云数据集mmWave-3DPCHM-1.0,并提出了相应的数据处理方法和人体动作识别模型。该数据集由TI公司的IWR1443-ISK和Vayyar公司的vBlu射频成像模组分别采集,包括常见的12种人体动作,如走路、挥手、站立和跌倒等。在网络模型方面,该文将边缘卷积(EdgeConv)与Transformer相结合,提出了一种处理长时序三维点云的网络模型,即Point EdgeConv and Transformer(PETer)网络。该网络通过边缘卷积对三维点云逐帧创建局部有向邻域图,以提取单帧点云的空间几何特征,并通过堆叠多个编码器的Transformer模块,提取多帧点云之间的时序关系。实验结果表明,所提出的PETer网络在所构建的TI数据集和Vayyar数据集上的平均识别准确率分别达到98.77%和99.51%,比传统最优的基线网络模型提高了大约5%,且网络规模仅为1.09 M,适于在存储受限的边缘设备上部署。

三维人体特征点自动提取的研究与应用

人体特征点准确快速地提取是三维人体尺寸测量、三维人体建模、体型分类等的基础,文章综述了三维人体特征点提取的重要性与困难,以及几何形状分析法、函数法、模板法这三种主要提取方法的原理、特点和应用现状。几何形状分析法计算较为简单,但受体型差异影响较大;函数法方法简单,但拟合精度较低;模板法精度较高但计算量大,且模型库构建成本高。最后,指出了三维人体特征点自动提取的研究应重点突破特征点提取过程中由体型差异、姿态变化等因素带来的难点,开发具备更高鲁棒性、适用性强的自动化算法,以实现更精确、快速的三维人体特征点自动提取。

基于注意力细化的实时人体姿态估计网络

由于人体姿态的复杂性和多样性,取得高准确度的网络模型往往具有大量的参数和复杂的结构,给部署和应用带来一定困难。本文提出一种基于注意力细化的实时人体姿态估计网络,使用多分辨率图像金字塔嵌入模块融合图片中多分辨率的空间特征,减少单分辨率下空间特征损失;使用注意力细化网络进行人体姿态估计,对全局注意力特征进行局部细化,降低参数量与计算量,实现实时的人体姿态估计。本文方法达到701 fps的推理速度,与推理速度为174 fps的HRFormer-small相比,提升4倍,但在精度上略低0.34%。

融合交叉序列预测和一致性对比的WiFi人体活动识别

随着IEEE 802.11bf标准的发布,WiFi感知技术已从学术研究走向工业应用。针对现有的基于WiFi的人体活动检测系统往往依赖于较强假设约束问题,从如何充分利用无标签CSI样本出发,设计了一种适用于WiFi感知领域的自监督模型CPCC-Fi。模型在对比学习思想的基础上首先使用序列数据增强生成不同视图的无标记CSI样本;然后通过自监督学习获取CSI序列内在表示特征;再通过少量标记样本对模型进行微调,最后即可实现下游人体活动的有效感知和识别。在自采和公开数据集上的相关实验结果表明,与CNN+Linear、CNN+Transformer+Linear和TS-TCC相比,CPCC-Fi模型的各项性能均有所提升。

紫外线防晒剂暴露及其对人体健康影响研究

紫外线防晒剂广泛应用于个人护理品及塑料、油漆等工业产品中。它们可通过不同途径进入环境,并对人体健康产生潜在危害。本文从紫外线防晒剂的环境赋存特征、人体暴露水平、防晒剂暴露与多种不良健康结局的关联、防晒剂暴露对不同人群健康影响等方面进行了综述,对典型紫外线防晒剂引起人群暴露不良影响的潜在机制与证据进行了详细讨论,提出需要进一步明确相关分子标志物,研究防晒剂的性别特异性与联合毒性危害,探索长期暴露与慢性健康问题之间存在的关联,以深化对这类新型环境污染物的认知,为预防暴露风险、合理使用紫外线防晒剂提供参考依据,并为新污染物治理和健康中国建设提供数据支撑。

基于门控注意力机制的轻量化人体姿态估计算法

目前广泛使用的人体姿态估计方法都采用了保持高分辨率的网络架构,但是由于模型参数和计算复杂度的限制,在边缘设备上部署这些方法十分困难。为了解决这一问题,提出了一种基于增强门控注意力机制的轻量化人体姿态估计方法,设计了全局多尺度并行瀑布模块来增强普通门控注意力模块性能,使其能够有效捕捉多尺度全局特征表征。此外,采用最新Ghost轻量化模块来构建高分辨率网络,以提升轻量级网络的上下文特征提取性能。增强门控注意力网络通过采用重复的多尺度信息交换和增强的特征融合单元,取得了卓越的效果。大量实验结果表明,与现有高分辨率网络HRNet相比,该方法的参数量减少了92.6%,计算复杂度降低了91.2%。在MPII基准数据集的姿态估计性能有了显著的提升。

自调节图卷积UNet的三维人体姿态估计方法

基于图卷积网络的三维人体姿态估计方法无法提取关节点的多尺度特征和未充分利用相邻节点的拓扑关系问题,提出自调节图卷积UNet的三维人体姿态估计方法M-Joint-UNet。M-Joint-UNet方法由Joint-UNet、自调节图卷积和融合损失3部分组成:Joint-UNet通过关节点池化与去池化改变特征图大小,以提取关节点的不同尺度特征;自调节图卷积通过可学习矩阵自动调节相邻节点或人体骨架结构的关系;使用L_(1)和L_(2)融合的损失缓解梯度爆炸。对比实验表明:所提方法在参数量和估计性能方面均获得了最优的结果,以Human3.6M的二维真实关节点作为输入的参数量仅为0.54×10^(6),MPJPE和P-MPJPE值分别为37.81 mm和30.21 mm。

“非接触生命体征与人体感知技术专刊”编者按

非接触生命体征与人体感知技术在健康监护、灾后搜救、反恐侦测等领域有着十分重要的应用价值。当前针对非接触式生命体征感知技术已经开展了广泛的研究,然而,非接触感知呼吸、心跳等生命体征以及人体姿态等存在信号幅度弱、杂波干扰多、特征提取难等问题,特别是在遮蔽空间场景中有效感知生命体征和人体姿态更加困难。因此,迫切需要研究非接触生命体征与人体感知的新理论和新技术,开展精密测量、穿透探测、运动补偿、微弱信号增强与提取、多源信号融合、多模态表征、生命体征信号智能识别与监测、人体姿态感知与识别等研究,为智能家居、智能安防、智慧城市等提供技术支持。

基于微多普勒效应的人体身份深度识别方法

针对现有基于整体或者局部微多普勒(m-D)相关特征的身份识别模型存在的识别性能有限的问题,本文提出基于双流网络深度融合整体及局部m-D特征的识别模型。首先,基于Boulic模型构造贴近实际场景的体态及运动姿态模型;其次,基于连续波雷达构造回波模型,以获得m-D信号;此外,将全局m-D图(GMD)变换为梅尔倒谱(MC)以增强全局特征,利用分量分离技术抑制躯干对肢体m-D图的干扰;最后,基于双流网络融合所得增强全局及局部特征以获得高可分特征,进而实现人体身份有效识别。实验结果表明,相较于主流识别算法,所提模型可显著改善身份识别性能。

单通道超宽带雷达人体姿态增量估计技术

该文针对光学与雷达传感器融合人体姿态估计研究,基于连续时间微动累积量与姿态增量的物理对应关系,提出了一种单通道超宽带雷达人体姿态增量估计方案。具体来说,通过构造空时分步增量估计网络,采用空域伪3D卷积层与时域膨胀卷积层分步提取空时微动特征,将其映射为时间段内人体姿态增量,结合光学提供的姿态初值,实现人体三维姿态估计。实测数据结果表明,融合姿态估计在原地动作集取得5.38 cm估计误差,并能够实现一段时间行走动作连续姿态估计。与其他雷达姿态估计对比和消融实验证明了该文方法的优势。

基于解耦注意力与幻影卷积的轻量级人体姿态估计

随着轻量级网络的发展,人体姿态估计任务得以在计算资源有限的设备上执行,然而,提升精度变得更具有挑战性。这些挑战主要源于网络复杂度与计算资源的矛盾,导致模型在简化时牺牲了表示能力。针对上述问题,提出一种基于解耦注意力和幻影卷积的轻量级人体姿态估计网络(DGLNet)。具体来说,DGLNet以小型高分辨率网络(Small HRNet)模型为基础架构,通过引入解耦注意力机制构建DFDbottleneck模块;采用shuffleblock的结构对基础模块进行重新设计,即用轻量级幻影卷积替代计算量大的点卷积,并利用解耦注意力机制增强模块性能,从而构建DGBblock模块;此外,用幻影卷积和解耦注意力重新构建的深度可分离卷积模块来替代原过渡层模块,从而构建GSCtransition模块,进一步减少计算量并增强特征交互性和提高性能。在COCO验证集上的实验结果显示,DGLNet优于轻量级高分辨率网络(Lite-HRNet),在计算量和参数量不增加的情况下,最高精度达到了71.9%;与常见的轻量级姿态估计网络MobileNetV2和ShuffleNetV2相比,DGLNet在仅使用21.2%和25.0%的计算量情况下分别实现了4.6和8.3个百分点的精度提升;在AP~(50)的评价标准上,DGLNet超过了大型高分辨率网络(HRNet)的同时计算量和参数量远小于HRNet。

人体红外测温系统自动校准方法研究

本文对人体红外测温原理进行了分析,研究了红外热像仪对标准黑体灰度响应值与环境温度、黑体设置温度之间的映射关系,并计算了测温拟合函数。设计了基于标准黑体进行实时温度自动校准的人体红外测温系统。介绍了系统的硬件组成和软件方案,以及温度自动校准流程。通过自动识别黑体所在区域,计算并校准温度偏差,系统可在无人操作情况下,自动进行温度校准,提高了系统的测温准确率和使用便捷性。

家用智能高效洁净吸油烟机的人体工程设计

厨房是现代家庭生活中不可或缺的一部分,它的功能性与舒适性日益受到人们的重视。随着人们生活水平的不断提高,人们对厨房生活方式的要求也越来越高,家庭厨房电器向智能化、高效率的方向发展。吸油烟机是厨房中必不可少的一种电器,它的设计与性能直接影响着整个厨房的空气品质以及使用者的居住体验。然而,传统的吸油烟机在满足基本功能的同时,却忽略了人体工程的运用,给使用者带来了不便。本文旨在探讨如何运用人机工程学原理,根据操作者的身高、操作活动可能的尺度范围和手臂轻松存取物品的要求为准,确定各种操作台、吸油烟机操作面板等工作点尺度,尽可能地降低操作中人体的疲劳程度。

数智融合下STEM校本课程教学策略探索与实践——以“人体红外感应灯”一课为例

在数智融合背景下,通过分析STEM教育的现状和面临的挑战,针对如何有效实施STEM校本课程教学,本文提出了STEM课程教学策略,以“人体红外感应灯”项目为例,介绍了该策略在实际教学中的具体应用和成效。研究发现,利用数智融合平台的丰富资源、高度互动性和个性化学习支持,可以有效提升学生的创新能力和实践技能,为未来STEM教育的优化提供了有益的经验和启示。