针对夜间低光照场景下目标特征提取困难和跟踪不稳定的问题,提出了基于自编码器结构及改进Bytetrack的多目标行人检测及跟踪算法。在检测阶段,基于YOLOX(you only look once X)搭建多任务自编码变换模型框架,以一种自监督的方式考虑物...针对夜间低光照场景下目标特征提取困难和跟踪不稳定的问题,提出了基于自编码器结构及改进Bytetrack的多目标行人检测及跟踪算法。在检测阶段,基于YOLOX(you only look once X)搭建多任务自编码变换模型框架,以一种自监督的方式考虑物理噪声模型和图像信号处理(image signal processing,ISP)的过程,通过对真实光照退化变换过程进行编码与解码学习内在视觉结构,并基于这种表示通过解码边界框坐标与类实现目标检测任务。为了抑制背景噪声的干扰,在目标解码器颈部网络引入自适应特征融合模块ASFF。跟踪阶段,基于Bytetrack算法进行改进,将基于Tranformer重识别网络提取到的外观嵌入信息与NSA卡尔曼滤波获得的运动信息通过自适应加权的方法完成数据关联,并通过Byte两次匹配的算法完成夜间行人的跟踪。在自建夜间行人检测数据集上测试检测模型的泛化能力,mAP@0.5达到了94.9%,结果表明本文的退化变换过程符合现实条件,具有良好的泛化能力。最后通过自建夜间行人跟踪数据集验证多目标跟踪性能,实验结果表明,本文提出的夜间低光照行人多目标跟踪算法MOTA(multiple object tracking accuracy)为89.55%,IDF1(identity F1 score)为88.34%,IDs(ID switches)为15。与基准方法Bytetrack相比,MOTA提高了10.72%,IDF1提高了6.19%,IDs减少了50%。结果表明,本文提出的基于自编码结构及改进Bytetrack的多目标跟踪算法可以有效解决在夜间低光照场景下行人跟踪困难的问题。展开更多
基于运动想象的脑机接口系统一直是海内外研究学者的关注对象。针对传统运动想象脑电识别系统不能精准提取显著特征、分类识别准确率低等问题,提出一种新的基于自编码器(AE,auto-encoder)降维的Transformer分类识别模型。该方法使用滤...基于运动想象的脑机接口系统一直是海内外研究学者的关注对象。针对传统运动想象脑电识别系统不能精准提取显著特征、分类识别准确率低等问题,提出一种新的基于自编码器(AE,auto-encoder)降维的Transformer分类识别模型。该方法使用滤波器组共空间模式(FBCSP, filter bank common spatial pattern)对数据进行多个频段的特征提取,并利用AE获得降维后的特征矩阵。同时借助Transformer模型的位置编码考虑全局信号特征影响并利用多头自注意力机制考虑特征矩阵的内部关联性,提升系统分类识别效果。与传统的基于线性判别分析(LDA,linear discriminantanalysis)的K-近邻(KNN,K-nearestneighbors)法分类识别系统进行对比,实验表明AE+Transformer模型的分类识别效果优于LDA+KNN系统,说明这种改进后的算法适用于运动想象的二分类。展开更多
文摘针对夜间低光照场景下目标特征提取困难和跟踪不稳定的问题,提出了基于自编码器结构及改进Bytetrack的多目标行人检测及跟踪算法。在检测阶段,基于YOLOX(you only look once X)搭建多任务自编码变换模型框架,以一种自监督的方式考虑物理噪声模型和图像信号处理(image signal processing,ISP)的过程,通过对真实光照退化变换过程进行编码与解码学习内在视觉结构,并基于这种表示通过解码边界框坐标与类实现目标检测任务。为了抑制背景噪声的干扰,在目标解码器颈部网络引入自适应特征融合模块ASFF。跟踪阶段,基于Bytetrack算法进行改进,将基于Tranformer重识别网络提取到的外观嵌入信息与NSA卡尔曼滤波获得的运动信息通过自适应加权的方法完成数据关联,并通过Byte两次匹配的算法完成夜间行人的跟踪。在自建夜间行人检测数据集上测试检测模型的泛化能力,mAP@0.5达到了94.9%,结果表明本文的退化变换过程符合现实条件,具有良好的泛化能力。最后通过自建夜间行人跟踪数据集验证多目标跟踪性能,实验结果表明,本文提出的夜间低光照行人多目标跟踪算法MOTA(multiple object tracking accuracy)为89.55%,IDF1(identity F1 score)为88.34%,IDs(ID switches)为15。与基准方法Bytetrack相比,MOTA提高了10.72%,IDF1提高了6.19%,IDs减少了50%。结果表明,本文提出的基于自编码结构及改进Bytetrack的多目标跟踪算法可以有效解决在夜间低光照场景下行人跟踪困难的问题。
文摘基于运动想象的脑机接口系统一直是海内外研究学者的关注对象。针对传统运动想象脑电识别系统不能精准提取显著特征、分类识别准确率低等问题,提出一种新的基于自编码器(AE,auto-encoder)降维的Transformer分类识别模型。该方法使用滤波器组共空间模式(FBCSP, filter bank common spatial pattern)对数据进行多个频段的特征提取,并利用AE获得降维后的特征矩阵。同时借助Transformer模型的位置编码考虑全局信号特征影响并利用多头自注意力机制考虑特征矩阵的内部关联性,提升系统分类识别效果。与传统的基于线性判别分析(LDA,linear discriminantanalysis)的K-近邻(KNN,K-nearestneighbors)法分类识别系统进行对比,实验表明AE+Transformer模型的分类识别效果优于LDA+KNN系统,说明这种改进后的算法适用于运动想象的二分类。