HourglassNet:一种用于遥感目标检测的改进FCOS算法

针对遥感图像中背景复杂、目标分布密集、目标尺度形态多样等问题,该文在单阶段全卷积(FCOS)目标检测模型的基础上,基于沙漏特征金字塔并且与多尺度上下文场景结合,提出了沙漏网(HourglassNet)。针对卷积神经网络(CNN)中不同深度语义信息和空间信息不均衡的问题,提出了一种沙漏特征金字塔,通过将多尺度特征缩放至中间尺度进行融合和优化以获得全局特征。基于注意力机制将全局特征向不同尺度特征传递,在抑制无关特征的同时增强了有效特征,实现了对多尺度特征的补偿。为了将高层特征的语义信息更加充分地融入不同尺寸的特征图内,设计了多尺度上下文融合模块。利用适当的感受野提取高层特征的上下文信息,提升了特征的鲁棒性和辨识性。分别在DOTA v1.5和NWPU VHR-10公开遥感图像数据集上进行了性能对比与消融实验。结果表明,该文算法的均值平均精度(mAP)相比于FCOS在DOTA v1.5和NWPU VHR-10数据集上分别提升了4.3%和3.4%,且检测性能优于YOLOv3等其它对比方法。

基于语音信号特性的沙漏网络下的人声与伴奏分离算法

沙漏神经网络最初是为了解决人体姿态估计而设计的,最近有的工作将其迁移到人声与伴奏分离的任务之中,然而这种网络结构较简单,并且分离性能较差,分离出的信号会产生伪影。为了进一步提高分离性能,针对语音信号的特性构造一种新的损失函数,可以使网络更好地学习和优化;在整个网络中加入批标准化和Leaky-ReLU激活函数,改进网络的反向梯度传播,稳定学习过程。在MIR-1K数据集上的实验结果表明,改进后的算法分离后的人声在源-失真比,源-算法引入伪像比上原始沙漏网络分别提高了0.18 dB和0.26 dB,分离后的伴奏在源-失真比、源-干扰比和源-算法引入伪像比上分别提高了0.23 dB和0.32 dB,明显超过了目前的人声伴奏的算法。

基于全连接神经网络的三维人体姿态估计

人体姿态估计是计算机视觉领域的重要分支,在实践中有广泛应用,例如:智能交通、安防监控、影视娱乐、司法分析等。现有的三维人体姿态估计算法大多来源于二维人体姿态估计算法的扩展,其识别结果是以三维关节点、线的形式来体现,无法展示更多的人体细节信息,且表达形式比较抽象,难于理解。为解决这个问题,本文引入了参数化人体模型(SMPL),该模型可以实体化的展示三维人体姿态。本文通过二维图像预测人体的三维姿态,该过程分为3个阶段,首先从多角度二维图像中预测人体关节点的二维坐标,然后基于全连接神经网络实现二维关节点到SMPL模型参数的映射,最后根据这些参数构建三维SMPL模型,以展示三维人体姿态。实验表明,本文通过从图像中提取二维关节点坐标,并以此为全连接神经网络的输入,可以快速、准确的估计出人体三维姿态。相比从二维图像直接估计三维人体姿态的方法,本文的模型降低了训练参数,简化了网络结构,加快了模型训练的速度,节约了训练成本。

二维人体姿态估计研究进展

人体姿态估计一直是计算机视觉领域的研究热点,随着人体姿态估计方法的性能和精度不断提升,目前可以广泛应用于人机交互、智能监控和人体活动分析等领域。人体姿态估计属于强应用相关的研究领域,现有研究成果均不同程度地涉及方法、模型和应用层面,亟待对其进行系统性归纳和总结。文中综述了大量二维人体姿态估计的研究成果,以供研究人员参考。具体包括:单人和多人姿态估计方法,基于ResNet,Hourglass和HRNet的姿态估计模型,以及姿态估计在人机交互和智能监控领域的应用。文中提出的关于移动设备中的人体姿态估计、拥挤场景下的人体姿态估计和装备人群的姿态估计等研究问题和研究思路,是现有研究的良好补充,为研究人员提供了广阔的研究空间。

基于非对称沙漏网络结构的目标检测算法

基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度,然而其速度却远低于同层次的普通网络的速度,并且不同尺度目标间的特征会互相干扰。针对上述问题,提出了一种非对称沙漏网络结构的目标检测算法。该算法在融合不同网络层的特征时不受形状大小的约束,能够快速高效抽象出网络的语义信息,使模型更容易学习到各种尺度之间的差异。针对不同尺度目标检测问题,设计了一种多尺度输出的沙漏网络结构用来解决不同尺度目标间特征互相干扰的问题,并精细化输出的检测结果。另外,针对多尺度输出使用了一种特殊的非极大值抑制算法以提高检测算法的召回率。实验结果表明,所提算法在COCO数据集上的AP50指标达到61.3%,相较于无锚框网络CenterNet提升了4.2个百分点。所提算法在精度与时间的平衡上超越了原始算法,尤其适用于对工业场景的目标进行实时检测。

基于级联卷积神经网络的服饰关键点定位算法

随着深度学习的发展,使用深度卷积神经网络进行关键点定位受到了广泛关注.虽然在人体姿态、人脸识别等多个方面的关键点定位技术已经获得了长足的发展,但是应用于服饰的关键点定位由于其图像背景以及姿态等的多变性依然面临很大的挑战.服饰关键点定位技术在电商以及时尚搭配等方面有很大应用价值,本文将关键点定位应用于时尚领域,提出一种基于级联卷积神经网络的服饰关键点定位算法.该算法的目的是通过级联的两级卷积神经网络,实现对服饰关键点的初步定位以及对困难关键点的定位调整.算法的第1级以深度残差网络作为特征提取网络,在特征金字塔结构中引入空洞卷积,解决高层特征图感受野大但是空间分辨率低的问题,从而保留更多图像底层细节信息,实现对关键点的初步定位;第2级将第1级网络得到的定位结果作为关键点之间的结构先验,结合沙漏网络提取多尺度特征,对困难关键点进行精细调整,进一步提高定位精度.实验选用2018Fashion AI服饰关键点定位数据集进行训练和测试,将该数据集中对服饰关键点定位的平均归一化误差结果降低到3.56%,充分验证了算法的有效性.与几种常见关键点定位算法进行对比,本文算法在服饰关键点定位任务中取得最好效果,尤其是提高了对困难关键点的定位精度.

基于骨架模型的人体行为分析

随着深度学习运用到图像领域,姿态估计、行为分析等算法的性能得到显著提升,希望在利用较好模型基础上进一步分析,在尽可能短的时间内得到更直观的结果。2016年提出的沙漏堆网络对人体关节点进行多尺度、多阶段的训练,在MPII数据集上回归了16对关节点坐标,在单个11 G显存的GPU上的平均准确率为87.6%;连接关节点构建人体骨架模型,然后根据骨架模型的加权角和倾斜角等几何特征,进一步推断人体的动作和行为状态,最后对人体行为进行分类和判断,包括站立、直坐、躺下等常见7类动作,平均准确率为82%,优势在于有效降低计算量和处理时间。

基于沙漏网络的多层次协同搜索方法

目前,人工智能快速发展,人们可以通过探索硬件设计空间使优秀的神经网络算法高效部署在FPGA加速器。然而,由于参数量大、操作过于复杂而导致算法与硬件难以匹配,加速效率不高。为了算法和硬件两者匹配性更强,提出了一种多层次协同搜索的方法,采用SPOS搜索策略并以检测准确率和延时为评估目标,搜索出最优神经网络架构、量化方式和硬件设计参数组合。该方法应用在姿态识别中具有优异性能的沙漏网络中,在获取候选子网络量化前、后的检测准确率的同时对硬件设计参数使用遍历搜索得到预估延时,根据目标函数获取最高得分的最优组合。为了保证获取的数据有效性,子网络需要进行重新训练、量化后重新推理得到检测准确率,获取硬件设计参数则利用基于Spinal HDL设计的加速器模板进行仿真测试得到测试延时。就平均而言,该方法比文献[1]减少了83.3%的参数,准确率只下降了0.69;比传统加速方法平均减少了33.2%参数量,准确率只下降了0.46,网络推理的测试总延时减少22.1%,在沙漏块的测试延时减少67.8%。总体而言,该协同搜索方法对于沙漏网络的优化有一定效果,比传统加速设计方法更有优势。

基于堆叠沙漏网络的单分蘖水稻植株骨架提取

针对水稻栽培和遗传育种研究中单分蘖性状高通量无损提取的实际需求,该研究提出了一种基于沙漏网络模型的单分蘖水稻关键点预测和骨架提取方法。首先,对原始图像进行批量裁剪、gamma校正和锐化卷积等预处理,获取单色背景下的水稻单分蘖图像数据集;设计水稻单分蘖各器官关键点数据标注策略,构建监督数据集。然后,构建堆叠沙漏网络架构实现叶片数固定和不固定的水稻关键点检测,引入沙漏结构整合图像的多尺度特征,结合中间监督机制整合不同沙漏模块信息。叶片数一致的情况,模型预测准确率最高可达96.48%;叶片数不一致的情况,预测准确率达到82.09%。最后,根据预测关键点及其对应的语义信息连接形成植株骨架,选取茎秆长、叶片长、穗长、叶片-茎秆夹角和茎节点位置5个表型参数对生成骨架模型的实际意义进行评估,其均方根误差依次为5.82 cm、3.09 cm、1.71 cm、3.22°和2.0356cm,证明了该方法能较好地识别水稻单分蘖关键点,为水稻骨架提取提供了一种新思路,有助于加快水稻育种速度。

面向智能体能检测系统的三维姿态估计方法研究及应用

为了提升体能检测中的计数效率,研究提出一种结合堆叠沙漏模型(Stacked Hourglass Model,Hourglass)和超轻量级神经网络的三维人体姿态估计模型,并引入了K邻近算法(K Nearest Neighbors,KNN)来实现动作分类与计数。实验结果显示,所提模型的计数精度可达99.66%,实际测试的帧速在27.41 FPS左右。对不同体能姿态估计的平均召回率在99.33%。与传统的计数方式相比,本智能计数模型具有更高的计算精度和更低的成本。由此,本次实验所构建的模型具有较强的适用性。