面向自动驾驶场景的脉冲视觉研究

自动驾驶是计算机视觉重要的研究方向,具有广阔的应用前景。纯视觉感知方案在自动驾驶场景中具有重要的研究价值。不同于传统相机,脉冲视觉传感器能更加灵敏地感受光子,具备比传统视频快千倍以上的成像速度,具有高时间分辨率、高动态范围、低数据冗余和低功耗等优势。本文面向自动驾驶场景,总结了脉冲相机的成像原理、感知能力与优势;围绕自动驾驶相关视觉任务,详细介绍了脉冲视觉影像重建原理与方法,讨论了基于传感器融合的影像增强技术路线;归纳总结了基于脉冲相机的运动光流估计、目标识别检测分割与跟踪,以及三维场景深度估计算法进展及技术路线;梳理了脉冲相机数据及感知系统的发展现状,分析了脉冲视觉的研究挑战;研究提出了潜在解决方案及未来研究方向。脉冲相机及其算法和系统在自动驾驶领域具有巨大潜力,是未来计算机视觉的主要研究方向之一。

基于脉冲数据重构的高速铁路关键零部件检测算法

对运行中的高速铁路(简称“高铁”)关键零部件进行快速准确定位是高铁故障诊断的基础之一。然而,利用普通工业相机对运行中的高铁进行数据采集会存在运动模糊或关键零部件丢失问题,而利用超高速脉冲相机采集的数据进行目标检测模型训练又会存在数据难以标注以及模型难以训练等问题。对此,文章提出一种基于脉冲数据重构的高铁关键零部件检测方法。其首先基于脉冲触发原理,利用脉冲间隔还原不同位置的光强,并通过计算全局光强调整局部光强,且对调整后的结果进行滤波与局部增强处理,重构出高清分辨率灰度图像;在此基础上,对重构后的灰度图像进行数据清洗与标注,并利用标注后的数据进行高铁关键零部件检测模型训练;最后,基于TensorRT对训练后的模型进行加速。试验结果表明,经过加速后的高铁关键零部件目标检测模型能够实现98.7%的平均精确度以及平均3.5 ms的单帧推理速度,为算法的工程化应用奠定基础。

基于DT-LIF神经元与SSD的脉冲神经网络目标检测方法

相对于传统人工神经网络(ANN),脉冲神经网络(SNN)具有生物可解释性、计算效率高等优势。然而,对于目标检测任务,SNN存在训练难度大、精度低等问题。针对上述问题,该文提出一种基于动态阈值LIF神经元(DT-LIF)与单镜头多盒检测器(SSD)的SNN目标检测方法。首先,设计了一种DT-LIF神经元模型,该模型可根据累积的膜电位动态调整神经元的阈值,以驱动深层网络的脉冲活动,提高推理速度。同时,以DT-LIF神经元为基元,构建了一种基于SSD的混合SNN。该网络以脉冲视觉几何群网络(Spiking VGG)和脉冲密集连接卷积网络(Spiking DenseNet)为主干(Backbone),具有由批处理归一化(BN)层、脉冲卷积(SC)层与DT-LIF神经元构成的3个额外层和SSD预测框头(Head)。实验结果表明,相对于LIF神经元网络,DT-LIF神经元网络在Prophesee GEN1数据集上的目标检测精度提高了25.2%。对比AsyNet算法,所提方法的目标检测精度提高了17.9%。

基于普通器件实现快1000倍的相机与机器视觉

在数码相机中,我们发现了一个重大缺陷,即从胶片相机继承的图像和视频模型阻碍了相机捕捉快速变化的光子世界。我们提出了一种新的视觉形式,称为视象(vform),这是一个比特序列阵列,其中每个比特表示光子的累积是否达到了一个阈值,从而可以记录和重建任何时刻场景的光强。仅使用消费级CMOS传感器和集成电路,开发了一种比传统相机快1000倍的脉冲相机。将视象看作生物视觉中的脉冲序列,进一步开发了基于脉冲神经网络的机器视觉系统,它可以将机器的速度和生物视觉的机理结合起来,从而实现了比人类视觉快1000倍的高速目标检测和跟踪,并通过辅助裁判和目标瞄准系统证明了脉冲相机和超级视觉系统的效用。视象模型和芯片有望从根本上改变图像和视频的概念以及摄影、电影和视觉媒体等相关行业,并开启一个全新的基于脉冲神经网络的速度自由的机器视觉时代。

适用于SCNN的多维度注意力方法

脉冲卷积神经网络(Spiking Convolutional Neural Network, SCNN)具有强大的局部特征提取能力,但维度分布复杂,对脉冲事件易作出错误判断,影响网络的识别精度与收敛速度。受卷积神经网络的多维度注意力方法(Convolutional Block Attention Module, CBAM)启发,采用双路压缩-提取技术来获取各维度的注意力,提出一种适用于SCNN的多维度注意力方法,提升了网络对脉冲事件的感知能力,并优化了网络整体性能。实验结果表明,相比于基准的空域反向传播(Spatio-Temporal Backpropagation, STBP)算法,提出方法的识别精度提高了4.31%。

在正面扣球教学中使用视觉标记的实验研究

根据排球扣球的技术原理 ,运用视觉标记对助跑步幅、助跑时的重心轨迹、空中挥臂时机和击球过网点 ,给以可视性的具体提示和诱导强化。研究结果证明 ,在扣球教学中运用视觉标记 。

一种离散时间调度的图像自分类脉冲神经网络

针对现有脉冲神经网络(SNN)图像分类模型中存在的资源占用高和运算较复杂等实际约束问题,为寻求更加轻量高效的机器视觉解决方案,提出了一种新型的基于离散时间调度的SNN图像自分类模型。通过高斯差分归一化和首脉冲时间编码完成了从灰度图像到脉冲序列的转换;结合经典的脉冲时间依赖可塑性算法与强化学习的奖惩机制,实现了网络自分类;通过引入竞争性机制和双重约束条件,保证了脉冲传递的稀疏性和学习特征的特异性,有效抑制了过拟合的出现。在Face/Moto数据集上的实验结果表明:相较于传统SNN分类模型,权重更新算法复杂度由O(n^(2))降低为O(1),脉冲编码模式简化了近90%,网络训练参数减少了60%以上;模型开始迭代6次后权重近乎收敛,分类准确率由40%迅速上升至90%,在迭代20次后分类性能趋于稳定,最终准确率达到了93.4%;当训练样本比例减少至原先的40%后,模型的分类准确率仍能稳定保持在80%左右。所提模型可为高效率低功耗的小型智能化硬件终端的边缘计算方案实现提供参考。

脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。

基于多列空洞卷积神经网络的麦穗计数方法研究

田间麦穗计数因主要依靠人工而存在耗时长、成本高等问题,为提高麦穗计数的效率和准确性,提出基于人群计数卷积神经网络的麦穗计数方法,在图像基础上进行麦穗数量自动化计数。试验改进了现有人群计数模型中的多列卷积神经网络MCNN和空洞卷积神经网络CSRNet,并对MCNN和CSRNet进行融合,建立了多列卷积神经网络MCSRNet。测试结果表明:MCSRNet网络对麦穗的预测准确率可以达到92.4%,较MCNN和CSRNet分别提高1.0%和4.0%,且训练迭代次数分别减少39次和5次。另基于独立数据集进行了测试,MCSRNet网络平均准确率为81.9%,较MCNN和CSRNet分别提高了0.4%和0.7%。MCSRNet的麦穗计数结果R2为0.80,优于MCNN和CSRNet。以上研究结果表明,MCSRNet网络有较高的麦穗计数准确率,同时有较快的训练速度,可为后续基于图像的小麦产量预测提供技术方法。

视觉遮挡下猕猴皮质内峰电位信号的感觉解码

目的研究猕猴执行抓握运动时视觉信息对不同脑功能区的神经元发放机制和神经信号解码准确率的影响。方法设计一种实验装置,可有效训练猕猴在无视觉遮挡和视觉遮挡两种条件下分辨3种不同形状物体。在猕猴大脑初级运动皮质(M1)、初级感觉皮质(S1)和后顶叶皮质(PPC)植入浮动微电极阵列(FMA),通过神经数据采集系统记录猕猴执行不同形状物体抓握任务中皮质内神经信号。对猕猴的行为学数据、峰电位数据进行统计分析,采用线性判别分析(LDA)、支持向量机(SVM)和胶囊网络(CAPSNET)3种算法对神经信号进行解码。结果视觉遮挡可增加猕猴抓握过程中形状辨别的时间,3种目标抓握辨别的时间分别延长19.48%、39.71%及14.29%;CAPSNET解码器最高可实现98.21%的多脑区解码准确率,以及97.52%的单脑区解码准确率;视觉遮挡对不同脑功能区的解码准确率可产生显著影响。结论视觉遮挡可引起不同脑功能区解码准确率的改变,视觉遮挡后触觉相关脑区的功能性会增强,而视觉相关脑区的功能性则会减弱。