利用时空特征编码的单目标跟踪网络

目的 随着深度神经网络的出现,视觉跟踪快速发展,视觉跟踪任务中的视频时空特性,尤其是时序外观一致性(temporal appearance consistency)具有巨大探索空间。本文提出一种新颖简单实用的跟踪算法——时间感知网络(temporal-aware network, TAN),从视频角度出发,对序列的时间特征和空间特征同时编码。方法 TAN内部嵌入了一个新的时间聚合模块(temporal aggregation module, TAM)用来交换和融合多个历史帧的信息,无需任何模型更新策略也能适应目标的外观变化,如形变、旋转等。为了构建简单实用的跟踪算法框架,设计了一种目标估计策略,通过检测目标的4个角点,由对角构成两组候选框,结合目标框选择策略确定最终目标位置,能够有效应对遮挡等困难。通过离线训练,在没有任何模型更新的情况下,本文提出的跟踪器TAN通过完全前向推理(fully feed-forward)实现跟踪。结果 在OTB(online object tracking:a benchmark)50、OTB100、TrackingNet、LaSOT(a high-quality benchmark for large-scale single object tracking)和UAV(a benchmark and simulator for UAV tracking)123公开数据集上的效果达到了小网络模型的领先水平,并且同时保持高速处理速度(70帧/s)。与多个目前先进的跟踪器对比,TAN在性能和速度上达到了很好的平衡,即使部分跟踪器使用了复杂的模板更新策略或在线更新机制,TAN仍表现出优越的性能。消融实验进一步验证了提出的各个模块的有效性。结论 本文提出的跟踪器完全离线训练,前向推理不需任何在线模型更新策略,能够适应目标的外观变化,相比其他轻量级的跟踪器,具有更优的性能。

一种基于SOM与脉冲神经网络的音频识别方法

近年来,在人工神经网络技术的推动下,音频分类技术不断提高。然而,传统人工神经网络存在计算功耗大、时域信号处理困难等问题。脉冲神经网络由于其事件驱动的特性,有着低功耗、可解释、时域处理能力强等特点,非常适用于音频信号处理任务。提出一种基于SOM时空特征稀疏编码和SNN有监督分类的音频识别方法,利用MFCC进行时-频域转换后,再利用SOM实现对时间序列音频信号的稀疏编码,不同于其他基于误差反向传播的有监督学习,利用带积分的STDP学习规则训练权重,并且通过使用兴奋抑制双监督训练方法,可以使得SNN有效提取和分析音频信号中的空间特征与时间特征,最终所提方法在TIDIGITS数字音频数据集上取得了96.47%的分类准确度。

外观和运动模式感知的有丝分裂细胞检测

目的在癌症筛查和药物研发等医学研究和诊疗过程中,显微图像中的有丝分裂细胞检测可以提供重要的生物学判据。然而,不同培养条件下图像分布差异明显,且细胞密度逐渐增大导致场景变得复杂,常规预处理方法难以进行有效的区域筛选;不同阶段细胞外观相似、运动过程模糊,现有方法缺乏对区域特征编码的显式监督,容易因为语义区分能力不足导致错误预测。为此,本文提出基于外观和运动模式感知的检测框架,通过两阶段预处理和对细胞状态模式的判别性学习,实现复杂场景下的精准预测。方法本文方法采用3阶段检测框架:在预处理阶段结合区域分割网络和先验优化算法来充分精简候选区域;在预训练阶段构造基于图像分类和重构的两种辅助任务,为候选区域的外观和运动编码提供直接监督,使编码网络具备对不同细胞状态的语义感知能力;在全模型训练和预测阶段,以预处理得到的候选区域序列作为输入,用预训练的编码网络提取候选区域特征,最终通过时序网络融合序列上下文信息得到细胞检测结果。结果在C2C12-16数据集上的实验结果表明,本文方法的平均性能达到:验证集精准率85.3%,召回率89.3%,F得分87.2%;测试集精准率86.4%,召回率86.1%,F得分86.2%,时序检测误差0.221±0.536帧,空间检测误差3.321±2.461像素,在检测精度和稳定性上都超过了现有方法。结论本文提出了新的复杂场景下有丝分裂细胞检测框架。所采用的预处理策略可以有效精简候选区域,显著提高检测效率;针对编码网络的辅助任务预训练充分提升了模型对候选区域外观和运动特征的学习能力,最终能够克服电镜图像中复杂场景和细胞模式的干扰,准确且稳定地对有丝分裂细胞进行时空检测。