随着列车智能化程度的不断提高,许多研究探索了车载设备目标检测模型的轻量化技术,以满足在资源有限情况下的高效计算。针对当前YOLO(You Only Look Once)系列目标检测模型轻量化方法通用性不够强的问题,文章提出了一种针对YOLO系列的...随着列车智能化程度的不断提高,许多研究探索了车载设备目标检测模型的轻量化技术,以满足在资源有限情况下的高效计算。针对当前YOLO(You Only Look Once)系列目标检测模型轻量化方法通用性不够强的问题,文章提出了一种针对YOLO系列的低秩分解参数压缩算法。首先通过预设的低秩比例系数和卷积单元的输入/输出通道数量计算低秩,然后通过对目标结构的卷积层进行Tucker分解,得到新的卷积序列,最后融合新的卷积序列,取代原有卷积层。使用公开数据集对所提出的基于低秩分解的参数压缩方法进行试验,选用了YOLOv5-l、YOLOv8-x和YOLOX-x这3种模型,在保证低秩分解后的模型检测平均精度为原模型96%的前提下,模型参数量和浮点计算量均减少了约40%,同时图像检测速度能达到原模型的150%左右。此外,可视化结果显示,该方法压缩过的模型与原模型在相同图像上的关注区域基本相同。试验结果表明,文章提出的方法可以有效地对单阶段YOLO系列目标检测模型进行轻量化压缩,提高模型在车载设备上的可用性;同时,所做工作对轨道交通领域自动驾驶场景下的其他模型的轻量化处理也具有重要的借鉴意义。展开更多
微调后的大语言模型(Large language models,LLMs)在多任务中表现出色,但集中式训练存在用户隐私泄漏的风险。联邦学习(Federated learning,FL)通过本地训练避免了数据共享,但LLMs庞大的参数量对资源受限的设备和通信带宽构成挑战,导致...微调后的大语言模型(Large language models,LLMs)在多任务中表现出色,但集中式训练存在用户隐私泄漏的风险。联邦学习(Federated learning,FL)通过本地训练避免了数据共享,但LLMs庞大的参数量对资源受限的设备和通信带宽构成挑战,导致在边缘网络中部署困难。结合分割学习(Split learning,SL),联邦分割学习可以有效解决这一问题。基于模型深层权重的影响更为显著,以及对部分层的训练准确率略低于整体模型训练的发现,本文按照Transformer层对模型进行分割,同时引入低秩适应(Low⁃rank adaption,LoRA)进一步降低资源开销和提升安全性。因此,在设备端,仅对最后几层进行低秩适应和训练,然后上传至服务器进行聚合。为了降低开销并保证模型性能,本文提出了基于联邦分割学习与LoRA的RoBERTa预训练模型微调方法。通过联合优化边缘设备的计算频率和模型微调的秩,在资源受限的情况下最大化秩,提高模型的准确率。仿真结果显示,仅训练LLMs最后3层的情况下,在一定范围内(1~32)增加秩的取值可以提高模型的准确率。同时,增大模型每轮的容忍时延和设备的能量阈值可以进一步提升模型的准确率。展开更多
文摘随着列车智能化程度的不断提高,许多研究探索了车载设备目标检测模型的轻量化技术,以满足在资源有限情况下的高效计算。针对当前YOLO(You Only Look Once)系列目标检测模型轻量化方法通用性不够强的问题,文章提出了一种针对YOLO系列的低秩分解参数压缩算法。首先通过预设的低秩比例系数和卷积单元的输入/输出通道数量计算低秩,然后通过对目标结构的卷积层进行Tucker分解,得到新的卷积序列,最后融合新的卷积序列,取代原有卷积层。使用公开数据集对所提出的基于低秩分解的参数压缩方法进行试验,选用了YOLOv5-l、YOLOv8-x和YOLOX-x这3种模型,在保证低秩分解后的模型检测平均精度为原模型96%的前提下,模型参数量和浮点计算量均减少了约40%,同时图像检测速度能达到原模型的150%左右。此外,可视化结果显示,该方法压缩过的模型与原模型在相同图像上的关注区域基本相同。试验结果表明,文章提出的方法可以有效地对单阶段YOLO系列目标检测模型进行轻量化压缩,提高模型在车载设备上的可用性;同时,所做工作对轨道交通领域自动驾驶场景下的其他模型的轻量化处理也具有重要的借鉴意义。
