静态图像中采用混合卷积结构进行人群密度估计

提出了一种混合卷积神经网络用于人群数量的感知计算,在高度密集的场景中可以准确地预测人群密度图。模型仅由两个部分组成:前端为扩张卷积神经网络提取二维特征;后端采用分数步长卷积神经网络降低下采样中的信息损失。为了验证和分析算法性能,模型设计基于当前较为流行的Shanghai Tech数据集,使用回归问题的评价指标,即平均绝对误差(MAE)和均方误差(MSE)作为评估算法性能的标准。在Shanghai Tech(MAE=100.8)、UCF_CC_50(MAE=305.3)与WorldExpo’10数据集上进行测试,实验表明模型在密集场景下较以往的方法有效降低了MAE和MSE,提高了密集人群计数的准确率。

多任务多层级CNN在人群计数中的应用

为了提升人群图像的计数精度,设计一种多层级多任务深度卷积网络。多层级神经网络由卷积和上采样的组合方式构成,该网络的优点在于结合浅层网络提取的细节信息和深层网络提取的高阶语义信息。在此基础上,使用多任务学习的方法提升网络性能,多任务学习分为两个部分:人群密度估计任务和人群密度等级分类任务。网络的高分辨率层与人群密度估计任务相连,网络的深层与人群密度等级分类任务相连。将两个任务的损失融合并构成新的损失函数。实验在人群计数公共数据集ShanghaiTech、WorldExpo’10和UCFCC50上进行,实验结果表明,该网络在人群计数上具有较好的准确率和鲁棒性。

基于WGAN网络的自然视频预测

计算机视觉技术已经在学术界和工业界取得了巨大的成果,近年来,视频预测已经成为一个重要的研究领域。现有基于生成对抗网络的视频预测模型在训练中需要小心平衡生成器和判别器的训练,生成模型多样性不足。针对这些问题,提出用Wasserstein对抗生成网络(WGAN)代替生成对抗网络,采用拉普拉斯金字塔模型的级联卷积网络训练一个多尺度的卷积网络,根据输入视频序列预测未来几帧,再由低分辨率到高分辨率的迭代去生成比较清晰的图像。最后在UCF-101数据集上进行了实验,并与不同的网络结构进行了比较,实验结果表明,改进的网络在数据集的实验结果优于现有的视频生成模型。