针对复杂交通场景下,特别是拥堵道路中,经常出现的交通目标密集、互相遮挡,小尺度目标检测精度低的问题,提出了一种面向复杂交通场景的目标检测模型YOLO-T(You Only Look Once-Transformer)。首先提出CTNet主干网络,相较于CSPDarknet53...针对复杂交通场景下,特别是拥堵道路中,经常出现的交通目标密集、互相遮挡,小尺度目标检测精度低的问题,提出了一种面向复杂交通场景的目标检测模型YOLO-T(You Only Look Once-Transformer)。首先提出CTNet主干网络,相较于CSPDarknet53,该主干拥有更深的网络结构和多尺度特征提取模块,不仅能够更好地学习密集目标的多级特征,还可以提高模型对复杂交通场景的应对能力,进而引导模型更加关注小目标的特征信息,提升小目标的检测性能;其次引入Vit-Block,采用卷积和Transformer并行的方式融合更多的特征,兼顾局部和上下文信息的关联性,从而提升检测精度;最后在颈部网络Neck后增加Reasonable模块,引入注意力机制,进一步提高目标检测算法对复杂场景和遮挡目标的鲁棒性。实验结果表明,相比基准算法,YOLO-T在KITTI数据集和BDD100K数据集的检测精度分别提高了1.92%和12.78%,能有效提升复杂交通场景下的检测性能,更好地辅助驾驶员对其他车辆行驶行为的判断,减少交通事故的发生。展开更多
基于深度序列的人体行为识别,一般通过提取特征图来提高识别精度,但这类特征图通常存在时序信息缺失的问题.针对上述问题,本文提出了一种新的深度图序列表示方式,即深度时空图(Depth space time maps,DSTM).DSTM降低了特征图的冗余度,...基于深度序列的人体行为识别,一般通过提取特征图来提高识别精度,但这类特征图通常存在时序信息缺失的问题.针对上述问题,本文提出了一种新的深度图序列表示方式,即深度时空图(Depth space time maps,DSTM).DSTM降低了特征图的冗余度,弥补了时序信息缺失的问题.本文通过融合空间信息占优的深度运动图(Depth motion maps,DMM)与时序信息占优的DSTM,进行高精度的人体行为研究,并提出了多聚点子空间学习(Multi-center subspace learning,MCSL)的多模态数据融合算法.该算法为各类数据构建多个投影聚点,以此增大样本的类间距离,降低了投影目标区域维度.本文在MSR-Action3D数据集和UTD-MHAD数据集上进行人体行为识别.最后实验结果表明,本文方法相较于现有人体行为识别方法有着较高的识别率.展开更多
本文针对危险驾驶识别中主流行为检测算法可靠性差的问题,提出了一种快速、可靠的视觉协同分析方法。对手机、水杯、香烟等敏感物体进行目标检测,提出的LW(low weight)-Yolov4(You only look once v4)通过去除CSPDarknet53(cross stage ...本文针对危险驾驶识别中主流行为检测算法可靠性差的问题,提出了一种快速、可靠的视觉协同分析方法。对手机、水杯、香烟等敏感物体进行目标检测,提出的LW(low weight)-Yolov4(You only look once v4)通过去除CSPDarknet53(cross stage partial Darknet53)卷积层中不重要的要素通道提升了检测速度,并L1正则化产生稀疏权值矩阵,添加到BN(batch normalization)层的梯度中,实现优化网络模型的目的;提出姿态检测算法对驾驶员指关节关键点进行检测,经过仿射逆变换得到原始帧中的坐标;通过视觉协同分析对比敏感物品的检测框位置与驾驶员手部坐标是否重合,判定驾驶员是否出现违规驾驶行为及类别。实验结果表明,该方法在识别精度与检测速度方面均优于主流的算法,能够满足实时性和可靠性的检测要求。展开更多
分心驾驶是交通事故发生的主要原因之一.针对目前分心驾驶检测手段单一、检测种类少、检测效率低的问题,提出一种基于轻量化网络与嵌入式的分心行为协同检测系统.首先,结合Ghost模块和通道注意力机制提出一种轻量化目标检测网络YOLO-Gho...分心驾驶是交通事故发生的主要原因之一.针对目前分心驾驶检测手段单一、检测种类少、检测效率低的问题,提出一种基于轻量化网络与嵌入式的分心行为协同检测系统.首先,结合Ghost模块和通道注意力机制提出一种轻量化目标检测网络YOLO-Ghost,采用CSPGBottleck构建GhostDarknet作为主干网络,同时构建一种具有多尺度注意力机制的多特征融合模块SE-FPN来进行特征融合,根据固有检测场景进行检测头优化,以CIOU(complete-IOU)作为损失函数.采用YOLO-Ghost识别和定位局部特征,提出APJ(anchor position judge)对手动分心行为进行判定;协同检测方面,利用MobileNetv3与YOLO-Ghost协同进行人脸关键点回归和视线估计;最后利用检测出的多模态信息对驾驶员当前行驶状态进行联合判定.实验结果表明,YOLO-Ghost的准确率和检测速度优于其他主流方法.将算法部署到嵌入式设备中,在NVIDIA Jetson TX1上实现了20FPS的实时检测性能,准确性和实时性均达到检测要求.展开更多
“行程码”的有效使用需要解决图像模糊、网络权重大等问题。本文提出一种基于损失函数改进的轻量化模型LL_YOLO(Lightweight Loss YOLO)。LL_YOLO基于YOLOv5模型,通过接口在线调用图像增强函数进行画质增强、改进损失函数,提高检测精度...“行程码”的有效使用需要解决图像模糊、网络权重大等问题。本文提出一种基于损失函数改进的轻量化模型LL_YOLO(Lightweight Loss YOLO)。LL_YOLO基于YOLOv5模型,通过接口在线调用图像增强函数进行画质增强、改进损失函数,提高检测精度,轻量化压缩模型。实验结果表明,LL_YOLO在图像增强与损失函数模块等的作用下,识别精度提高到91.82%,参数量降低为2.8M。因此LL_YOLO具有低参数量和计算量的优势,对高算力硬件的依赖性低,能够极大地降低应用部署成本。展开更多
文摘针对复杂交通场景下,特别是拥堵道路中,经常出现的交通目标密集、互相遮挡,小尺度目标检测精度低的问题,提出了一种面向复杂交通场景的目标检测模型YOLO-T(You Only Look Once-Transformer)。首先提出CTNet主干网络,相较于CSPDarknet53,该主干拥有更深的网络结构和多尺度特征提取模块,不仅能够更好地学习密集目标的多级特征,还可以提高模型对复杂交通场景的应对能力,进而引导模型更加关注小目标的特征信息,提升小目标的检测性能;其次引入Vit-Block,采用卷积和Transformer并行的方式融合更多的特征,兼顾局部和上下文信息的关联性,从而提升检测精度;最后在颈部网络Neck后增加Reasonable模块,引入注意力机制,进一步提高目标检测算法对复杂场景和遮挡目标的鲁棒性。实验结果表明,相比基准算法,YOLO-T在KITTI数据集和BDD100K数据集的检测精度分别提高了1.92%和12.78%,能有效提升复杂交通场景下的检测性能,更好地辅助驾驶员对其他车辆行驶行为的判断,减少交通事故的发生。
文摘基于深度序列的人体行为识别,一般通过提取特征图来提高识别精度,但这类特征图通常存在时序信息缺失的问题.针对上述问题,本文提出了一种新的深度图序列表示方式,即深度时空图(Depth space time maps,DSTM).DSTM降低了特征图的冗余度,弥补了时序信息缺失的问题.本文通过融合空间信息占优的深度运动图(Depth motion maps,DMM)与时序信息占优的DSTM,进行高精度的人体行为研究,并提出了多聚点子空间学习(Multi-center subspace learning,MCSL)的多模态数据融合算法.该算法为各类数据构建多个投影聚点,以此增大样本的类间距离,降低了投影目标区域维度.本文在MSR-Action3D数据集和UTD-MHAD数据集上进行人体行为识别.最后实验结果表明,本文方法相较于现有人体行为识别方法有着较高的识别率.
文摘本文针对危险驾驶识别中主流行为检测算法可靠性差的问题,提出了一种快速、可靠的视觉协同分析方法。对手机、水杯、香烟等敏感物体进行目标检测,提出的LW(low weight)-Yolov4(You only look once v4)通过去除CSPDarknet53(cross stage partial Darknet53)卷积层中不重要的要素通道提升了检测速度,并L1正则化产生稀疏权值矩阵,添加到BN(batch normalization)层的梯度中,实现优化网络模型的目的;提出姿态检测算法对驾驶员指关节关键点进行检测,经过仿射逆变换得到原始帧中的坐标;通过视觉协同分析对比敏感物品的检测框位置与驾驶员手部坐标是否重合,判定驾驶员是否出现违规驾驶行为及类别。实验结果表明,该方法在识别精度与检测速度方面均优于主流的算法,能够满足实时性和可靠性的检测要求。
文摘分心驾驶是交通事故发生的主要原因之一.针对目前分心驾驶检测手段单一、检测种类少、检测效率低的问题,提出一种基于轻量化网络与嵌入式的分心行为协同检测系统.首先,结合Ghost模块和通道注意力机制提出一种轻量化目标检测网络YOLO-Ghost,采用CSPGBottleck构建GhostDarknet作为主干网络,同时构建一种具有多尺度注意力机制的多特征融合模块SE-FPN来进行特征融合,根据固有检测场景进行检测头优化,以CIOU(complete-IOU)作为损失函数.采用YOLO-Ghost识别和定位局部特征,提出APJ(anchor position judge)对手动分心行为进行判定;协同检测方面,利用MobileNetv3与YOLO-Ghost协同进行人脸关键点回归和视线估计;最后利用检测出的多模态信息对驾驶员当前行驶状态进行联合判定.实验结果表明,YOLO-Ghost的准确率和检测速度优于其他主流方法.将算法部署到嵌入式设备中,在NVIDIA Jetson TX1上实现了20FPS的实时检测性能,准确性和实时性均达到检测要求.
文摘“行程码”的有效使用需要解决图像模糊、网络权重大等问题。本文提出一种基于损失函数改进的轻量化模型LL_YOLO(Lightweight Loss YOLO)。LL_YOLO基于YOLOv5模型,通过接口在线调用图像增强函数进行画质增强、改进损失函数,提高检测精度,轻量化压缩模型。实验结果表明,LL_YOLO在图像增强与损失函数模块等的作用下,识别精度提高到91.82%,参数量降低为2.8M。因此LL_YOLO具有低参数量和计算量的优势,对高算力硬件的依赖性低,能够极大地降低应用部署成本。
