基于模糊神经网络的大场景人群密度估计方法

提出了一种估计大场景下密集人群密度的方法。该方法根据人类视觉的模糊性原理,认为用模糊集来划分人群密度范围比用确定的方法更符合人眼视知觉的认知方式,利用统计的方法确定灰度共生矩阵各指标对于各个密度类别的隶属函数;设计基于误差反向传播训练算法(BP)的模糊神经网络,计算样本模式对于各个密度类别的隶属度,并根据人群密度变化的时域连续性原理对人群密度范围进行合理估计。实验表明该方法提高了估计精度。

基于多信息卷积神经网络的人群密度估计

针对现有人群密度估计方法在实际应用中容易受到环境干扰、适应性不强等限制,提出一种基于多信息卷积神经网络的人群密度估计方法。首先,根据样本数据的特点生成数据密度图标注与数据增强;然后,为适应不同真实场景的巨大差异,提取图像的色调、色饱和度、灰度(H SG)信息作为训练数据的输入,并利用共享卷积层、结合两个子网络不同卷积深度的特征构建网络模型;最后,对网络输出的密度图进行积分,得到相应的人数。与主流方法对比,在Shanghaitech数据集上进行的相关实验证明了所提方法的良好性能。

基于概率神经网络的人群密度估计

研究图像在频域中的纹理特性,实现了在频域中的人群密度估计.首先,对视频的每一帧进行离散余弦变换(DCT),将视频图像的空域性质转化到频域中;其次,统计分析视频图像DCT变换矩阵的纹理特性,提取能描述不同密度等级的纹理描述子作为特征向量;最后,用提取出的特征向量训练概率神经网络,并进行人群密度等级估计.实验表明,该方法可以很好地进行密度估计,获得了较高识别效率.

基于深度卷积神经网络的人群密度估计方法

人群密度自动估计作为人群控制和管理的方法,是当前视频监控中的一个重要研究领域。现有的方法通过提取复杂的特征来进行人群密度估计,由于人群遮挡、透视效果和环境复杂等条件限制,难以满足实际应用中的需求,而深度卷积神经网络在特征学习上具有较强的能力。提出了一种基于深度卷积神经网络DCNN(Deep Convolution Neural Network)的方法来进行自然场景下人群密度估计。首先,为了消除摄像机透视效果,以图像中行人身高作为尺度基准,将图像分成多个子图像块。其次,设计一种新的深度卷积神经网络结构,利用多种不同的卷积核提取人群图像的深层次特征进行人群密度估计。实验结果证明该方法在自然场景下人群密度估计具有良好的稳定性和鲁棒性。

局部二值平均熵模式与深度残差网络的人群密度估计

针对人群密度估计算法中场景的人群遮挡、尺度光照变化、噪声和低分辨率等问题,提出了一种结合局部二值熵值纹理特征(ELBP)与深度残差网络的人群密度估计算法。该算法首先在原始RGB人群图像上提取LBP特征;然后通过计算邻域像素点的平均信息熵模式构建ELBP纹理特征;随后基于ELBP纹理特征构建了一个深度为18层的深度残差网络;最后形成了对人群密度估计的end-to-end模式。为验证算法的可行性和有效性,在开源的人群密度估计数据集上进行实验。首先邀请10位专家对开源的数据集进行有效的人群聚集标注作为真实输出标签;随后采用研究提出的算法对人群密度完成估计,并与真实结果进行比较。另外,在三种不同的特征和三种不同的机器学习模型上进行了横向比较。实验结果表明,提出的ELBP纹理特征能够很好地应对噪声和低分辨率问题;深度残差网络则能够解决人群遮挡、尺度光照变化的问题。与传统算法相比,提出的算法能够提升人群密度估计的性能。

基于卷积神经网络的多尺度融合特征图在人群密度估计中的应用

提出了一种以Unet++为基础的卷积神经网络,适用于人群密度估计。该网络的优点是用并行连接的方式进行多尺度融合,结合浅层网络的细节信息和深层网络的高阶语义信息来消除两者之间过大的语义鸿沟。此外,还引入了膨胀卷积来提高网络性能。在Shanghai Tech和UCF_CC_50两个通用人群密度估计数据集上进行实验,选取平均绝对误差(MAE)和均方误差(MSE)作为评价指标。实验结果表明,在这两个数据集上该网络均有效降低了MAE和MSE,说明其在人群密度估计方面有较好的准确度和鲁棒性。

基于卷积神经网络的人群密度估计综述

近年来国内城市不断发展,各大城市人口日益增长,公共娱乐场所也越来越多。随之而来的是踩踏,聚众闹事,抗议游行,以及疫情传播等重大事件的频频出现,而应用在智能监控中的人群密度估计方法能够在一定程度上解决这些问题。20世纪90年代前,人群密度估计的手段主要是人工监控视频,但人工监控耗时耗力且效果不佳,不能保证一天24小时实时监控。基于传统机器学习的人群密度估计方法因此被提出,但是人们逐渐发现随着技术的不断发展这些方法在低密度的情况下估计效果愈加准确,却在中高密度的情景下难以达到很好的效果。这个阶段人群密度估计面临的主要问题有:人群密度较大时人与人之间的相互遮挡,建筑物对人的遮挡;摄像机的透视效应,离摄像机近的人群像素点多,而离摄像机远的人群像素点少;视频监控的背景复杂,前景提取困难。

基于深度特征的人群密度估计方法

传统的人群密度估计方法大多采用传统特征,这类特征在人群背景较为复杂时无法很好地描述人群密度情况。相关研究表明,深度特征相比传统特征能够更准确地表达图像特征信息。因此,提出了一种基于深度特征的人群密度估计方法。首先,对人群图像的原始数据进行预处理,获得训练集和测试集,分别用于分类器训练和效果检测;然后,通过卷积神经网络提取人群图像的深度特征,以此训练对应的Softmax分类器;最后,将测试集输入训练好的分类器,得到人群密度估计等级,从而实现人群密度估计。实验结果表明,使用卷积神经网络提取的深度特征能够提高人群密度估计的准确性。

结合单列多列神经网络的移动状态人群计数方法研究

已有人群计数方法局限于对人群的全部进行计数,在仅对人群中的移动者进行计数时准确率较低,基于注意力的多阶段深度学习框架被提出以解决这一问题。通过注意力机制适应性地在单列和多列计数网络进行选择,结合单列网络的深层特征表示能力和多列网络多尺度特征学习能力,有效提取人群中移动者的特征。实验结果表明,所提出的方法均方误差(MSE)和平均绝对误差(MAE)皆低于已有人群计数方法,能够有效提高处于移动状态的人群的计数精度。

基于卷积特征的非平衡人群密度估计方法

人群密度估计在智能监控领域具有重要的应用价值。大量理论和经验研究表明,基于数据驱动的深度神经网络往往优于传统的基于手工特征的方法。但是人群样本的数据规模很小,深层次的网络很难得到较优解。鉴于此,提出了3种解决方法:训练较浅的神经网络,使用预训练深度模型的全连接层特征和使用预训练深度模型的卷积-FV(Fisher Vector)特征。针对样本的不平衡性问题,提出了使用多个分类评估标准的解决方案。在标准数据集PETs2009上的实验结果表明,相比于现有的手工特征,卷积特征具有更好的效果。其次,相比于训练一个全新的卷积模型,基于迁移学习的深度卷积特征是更好的选择。另外,通过层数较少的深度模型获得的较低层特征的迁移性更好。

基于CNN的人群计数与密度估计研究综述

人群计数与密度估计在智能监控、智慧城市建设及社会安全等领域广泛应用,但遮挡、尺度变化及透视失真等因素对任务精度的影响亟待解决。通过考察相关文献,对人群计数与密度估计方法进行综述。介绍了人群计数与密度估计方法的研究背景、现状及发展趋势。从检测、回归与密度估计三方面对传统方法进行了总结,重点针对基于CNN的方法进行了分析。对常用的密度估计数据集作简要介绍,阐述了主流的评价指标。在一系列分析基础上对人群计数与密度估计技术的主要特点及发展前景进行了总结。

基于空间维度循环感知网络的密集人群计数模型

考虑目前对具有透视畸变的高密度人群图像进行特征提取的局限性,提出了一种融合全局特征感知网络(GFPNet)和局部关联性特征感知网络(LAFPNet)的人群计数模型LMCNN。GFPNet是LMCNN的主干网络,将其输出的特征图进一步序列化并作为LAFPNet的输入,再利用循环神经网络(RNN)在时序维度上对局部关联性特征感知的特点将单一的空间静态特征映射到具有局部序列关联性特征的特征空间,从而有效地削减了透视畸变对人群密度估计造成的影响。为了验证所提模型的有效性,在Shanghaitech Part A子集和UCF_CC_50数据集上与原子卷积空间金字塔网络(ACSPNet)进行对比,结果表明所提模型的平均绝对误差(MAE)分别至少减小了18.7%和20.30%,均方误差(MSE)分别至少减小了22.3%和22.6%。LMCNN注重空间维度上前后特征的相关性,通过对空间维度特征与单图像内序列特征的充分融合,减小了由透视畸变引起的人群计数误差,能更加准确地预测密集区域人数,提高人群密度回归精度。

比例融合与多层规模感知的人群计数方法

针对密集场景下人群图像拍摄视角或距离多变造成的多尺度特征获取不足、融合不佳和全局特征利用不充分等问题,提出一种比例融合与多层规模感知的人群计数网络。首先采用骨干网络VGG16提取人群密度初始特征;其次,设计多层规模感知模块,获得人群多尺度信息的丰富表达;再次,提出比例融合策略,根据卷积层捕获的特征权重重构多尺度信息,提取显著性人群特征;最后,采用卷积回归策略进行密度图的回归。同时,提出一种局部一致性损失函数,通过区域化密度图的方式增强生成密度图与真实密度图的相似度,提高计数性能。在多个人群数据集上的试验结果表明,所提模型优于近年人群计数的先进方法,且在车辆计数上有较好推广性。

自适应融合特征的人群计数网络

针对人群计数方法中存在的尺度变化和多层级特征融合不佳的问题,基于U-Net的编码器-解码器网络结构,提出一种自适应特征融合网络,来进行精准的人群计数。提出自适应特征融合模块,根据解码器分支的需要,高效地聚合编码器分支提取的高层语义信息和底层的边缘信息;提出自适应上下文信息提取器,从不同感受野下提取多尺度的上下文信息并自适应加权融合,提高网络对于人头尺度变化的鲁棒性。在ShanghaiTech、UCF-CC-50和UCG-QNRF上的实验表明,与目前主流的人群计数算法相比,该算法具有更强的准确性和鲁棒性。

基于多任务学习及由粗到精的卷积神经网络人群计数模型

人群计数是指计算单张图像或单个视频帧中人的数目,为了解决人群任务的计数不够准确的问题,提出了一种基于多任务学习及由粗到精的卷积神经网络人群计数模型。首先,多任务学习是指引入与原始任务相关的辅助任务,指导主要任务的学习,人群密度估计是人群计数模型的主要任务,人群分割任务作为辅助任务以提高网络性能。其次,由粗到精策略表明人群计数模型预测密度图是一个由粗糙到精细的过程,即生成粗糙且不准确的人群密度图,结合人群分割图后得到准确的人群密度图。在Shanghai Tech数据集Part A部分、Part B部分和UCF_CC_50数据集上的实验表明,所提人群计数模型相比之前最好的CSRNet模型绝对误差分别降低了4.55%,14.15%,19.09%,均方误差分别降低了10.00%,19.09%,19.47%,显著提高了人群计数模型的准确性和鲁棒性。

基于深度特征融合生成的密集人群计数网络

为了进一步提高密集人群计数任务的计数精度,提出一种利用深度语义特征逐步降维重建的密集人群计数网络。前端采用深度卷积网络得到基本的深度语义特征;后端采用基于空洞卷积的多尺度特征融合块来丰富深度语义特征。通过语义重建块与上采样相结合,在进行多次降维重建以后生成与原始图像相同分辨率的人群密度图,并由此得到人群数量。将该模型在公开的数据集ShanghaiTech、UCF_CC_50、UCF-QNRF上与历年的主要方法进行对比,该方法无论是在人群计数精度还是密度图质量上都体现出了明显的优势,同时在多个数据上的验证实验表明模型具有较好的鲁棒性。

双任务交互下的四段监督人群计数网络

针对人群计数任务中存在的场景遮挡问题和人群分布不均问题,本文提出了一种双任务交互下的四段监督人群计数网络(Four stage supervised network,F2SNet).首先,通过优化早期分布来监督早阶段的特征,提升浅层网络对前背景的甄别能力,同时避免了训练过程中的梯度消失以及收敛过慢问题.计数监督则关注了网络的计数准确性,并生成反映不同特征重要程度的人群响应图.终期分布修正模块结合高频语义信息,进一步监督人群的分布预测.背景抑制模块则抑制网络在背景区域上的误判.4个模块协同工作,在保证预测精度的前提下关注了密度分布的一致性.在4个常用人群数据集上的实验结果表明,与已有的人群计数算法相比,F2SNet具有良好的人群计数能力和分布预测能力.

基于像素级注意力机制的人群计数方法

针对人群分布不均和网络学习参数众多问题,提出了一种由像素级注意力机制(PAM)和改进的单列人群密度估计网络两部分组成的高密度人群计数方法。首先,使用PAM通过对人群图像进行像素级别的分类来生成高质量的局部人群密度图,利用全卷积网络(FCN)生成每个图像的密度掩码,将图像中的像素分为不同的密度级别;然后,以生成的密度掩码为标签,使用单列人群密度估计网络以更少的参数学习到更多的代表性特征。在此之前,在Shanghaitech数据集partB部分、UCFCC50数据集以及WorldExpo’10数据集上,拥塞场景识别网络(CSRNet)方法的计数误差最小。将所提方法与CSRNet方法的误差结果对比,发现所提方法在Shanghaitech数据集partB部分的平均绝对误差(MAE)和均方误差(MSE)分别降低了8.49%和4.37%;在UCFCC50数据集上的MAE和MSE分别降低了58.38%和51.98%,优化效果显著;在WorldExpo’10数据集上的整体平均值部分的MAE降低了1.16%。实验结果表明,在针对人群分布不均的高密度人群计数时,结合PAM和单列人群密度估计网络的方法能够有效提高高密度人群计数的精确度和训练效率。

人群计数研究综述

人群计数广泛应用在公共安防、视频监控和智慧城市建设等领域,对控制特定场所人数、指挥公共交通、防止疫情蔓延、保障社会稳定具有重要积极意义。传统的计数方法精度不高、场景受限,随着深度学习的发展,传统方法逐渐被卷积神经网络(convolutional neural network,CNN)方法代替。介绍了人群计数的研究背景、现状和发展趋势,叙述了两种传统方法;从计数精度、网络结构、评价指标和数据集等方面重点分析了CNN方法,发现CNN技术可以有效解决多尺度和跨场景等问题;阐述了基于Vision Transformer(ViT)序列的弱监督计数方法并且对比各类方法。对未来人群计数的研究前景做出展望。

多层次特征融合的人群密度估计

目的人群数量和密度估计在视频监控、智能交通和公共安全等领域有着极其重要的应用价值。现有技术对人群数量大,复杂环境下人群密度的估计仍存在较大的改进空间。因此,针对密度大、分布不均匀、遮挡严重的人群密度视觉检测,提出一种基于多层次特征融合网络的人群密度估计方法,用来解决人群密度估计难的问题。方法首先,利用多层次特征融合网络进行人群特征的提取、融合、生成人群密度图;然后,对人群密度图进行积分计算求出对应人群的数量;最后,通过还原密度图上人群空间位置信息并结合估算出的人群数量,对人群拥挤程度做出量化判断。结果在Mall数据集上本文方法平均绝对误差(MAE)降至2.35,在Shanghai Tech数据集上MAE分别降至20.73和104.86,与现有的方法进行对比估计精度得到较大提升,尤其是在环境复杂、人数较多的场景下提升效果明显。结论本文提出的多层次特征融合的人群密度估计方法能有效地对不同尺度的特征进行提取,具有受场景约束小,人群数量估计精度高,人群拥挤程度评估简单可靠等优点,实验的对比结果验证了本文方法的有效性。