基于Transformer-CNN的轻量级图像超分辨率重建网络

针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部−全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU(Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR(Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。

面向移动端图像分类的轻量级CNN优化

为解决图像分类算法由于计算量大和参数冗余难以应用在存储空间与计算能力受限的移动设备上的问题,提出一种轻量的卷积计算模块Extremely Lightweight Block(ELBlock),采用逐点卷积叠加深度可分离卷积的方法,对逐点卷积进行分组,增加相邻层过滤器之间的对角相关性,进一步降低卷积操作的计算复杂度;利用通道混洗关联输入和输出通道,提高特征的信息表达能力;基于ELBlock设计一个极其轻量的小型神经网络架构ELNet,结构更加简洁、高效。在Android手机上的实验结果表明,所提ELNet在保证分类精度的同时,具有计算量小、参数少和推理时间短的优点。

深度神经网络架构轻量化方法综述

当前,深度神经网络作为学术界和工业界最受关注的研究方向之一,倍受广大科研人员青睐,但是存在架构很复杂、参数量巨大、计算成本、存储成本过高的缺点。因此,如何在保证神经网络性能可接受的情况下对其去冗余、实现轻量化设计成为热点问题。当前,各种轻量化方法如雨后春笋般涌现,为给希望利用轻量化神经网络解决具体问题的研究人员建立对网络轻量化方法的整体认识、快速选择合适的解决方案,文中对具有代表性的架构轻量化方法进行介绍:剪枝、架构搜索、知识蒸馏以及轻量化卷积核设计,并从不同角度对比分析各种方法优劣,最后在宏观层面展望神经网络轻量化的未来发展方向。

基于维度融合注意力的行人重识别

对于行人重识别,注意力机制具有增强显著特征和抑制不相关特征的优点,而先前基于注意力的方法大多独立关注通道域和空间域而忽略了通道与空间的对应关系。针对这一问题,提出一种维度融合注意力的行人重识别方法。在提取特征期间,采用滑动窗口的方法融合通道维度和空间维度,使用超大一维卷积核不断学习通道与空间之间的关系;在网络的最后阶段引入ECA注意力,ECA注意力具有局部跨通道交互的作用,与维度融合注意力相配合使用能够显著提高重识别率。实验结果表明,该方法在计算成本有限的情况下优于当前大多数方法。

无线电智能感知仪的设计与实现

为解决电磁环境日益复杂下传统电磁感知设备体积大、人工操作繁琐、识别准确率低和运算量庞大等问题,本文设计了一款无线电智能感知仪,提出了一种基于滑动窗的信号频谱能量检测算法,以提高识别精度;其次为降低模型与运算量大小,提出了一种基于轻量化神经网络的识别算法;最后设计搭建了无线电智能感知仪硬件模块,部署算法。实验结果表明,所设计的无线电智能感知仪在信号感知任务中有较好的性能,在0 dB及以上的信噪比环境下,调制识别的准确率可达到95%以上,对不同的信号调制类型的召回率和精准度均在93%以上,模型轻量化部署后降低了99.07%的浮点运算量,而准确率仅下降了0.25%。试验结果可用于指导在复杂电磁环境下无线电频谱感知设备的设计与制作过程。

基于轻量化与多信息融合的输送带块煤实时监测方法

煤炭在国家工业体系和社会发展中有着举足轻重的作用,针对煤炭运输过程中的块煤监测问题,提出一种基于轻量化和多信息融合(lightweightandmulti-informationfusion,LM)的实时监测方法——LMYOLOv5。首先,利用自适应直方图均衡化进行数据预处理;其次,引入Ghost轻量化卷积,减少计算量和特征提取的冗余性;最后,结合协同注意力(coordinate attention, CA)机制改善特征提取的倾向性,引入双向特征金字塔网络(bidirectional feature pyramid network, Bi FPN)机制实现跨阶段的信息融合。实验结果表明,改进后的LMYOLOv5算法有明显优势。参数量和浮点计算量分别减少约62.28%和67.66%。模型训练时长减少约21.78%,模型体积也从92.7 M压缩至35.1 M。此外,精确度和召回率分别提升约0.103%和1.395%,实时监测速度提升约38.05%。

CA-MobileNet V2:轻量化的作物病害识别模型

在传统的作物病害识别的深度学习模型中,存在检测精度与效率不高的问题。针对上述问题提出一种轻量化的改进型MobileNet V2模型CA-MobileNet V2(coordinate attention),在提升检测精度的同时,部署在移动端便于种植者使用。在MobileNet V2中嵌入坐标注意力模块,提升模型的精度;加入TanhExp激活函数,加速模型收敛,增强模型的鲁棒性和泛化性;将模型部署到移动端APP中,使模型具有良好的可视化应用效果。在PantifyDr和Turkey-PlantDataset数据集上的对比实验结果表明,CA-MobileNet V2具有精度高和轻量化的优势。

一种基于轻量化神经网络的调制识别方法

近年来,将深度学习应用于调制识别领域是个热门方向,但为了提高识别精度,不断复杂化的网络结构给硬件设备带来巨大压力,提出将MobileNetV2网络应用于调制识别的方法。首先生成11种调制信号的数据集,再利用MobileNetV2网络进行调制识别模型的训练,最后通过全连接层进行11种调制识别的分类输出。实验表明,MobileNetV2的识别率达到95%以上,相较于实验对比的2种卷积网络提高5%左右,且网络参数总量大大降低,训练时间也有所控制,降低了对硬件设备的需求。此方法对后续轻量化深度学习网络在调制识别中的应用有研究价值与意义。

基于轻量级MobileNet-SSD和MobileNetV2-DeeplabV3+的绝缘子故障识别方法

当前的深度学习算法多存在模型参数量大、对硬件要求较高等方面的问题,难以嵌入到无人机等移动设备。为了使无人机搭载轻量级模型对架空输电线路中的绝缘子进行故障识别,提出了一种轻量级MobileNet-SSD目标检测网络与轻量级MobileNetV2-DeeplabV3+图像分割网络相结合的绝缘子自爆故障识别、分割方法。该方法首先利用MobileNet-SSD对绝缘子进行精确分类及定位,再结合MobileNetV2-DeeplabV3+语义分割算法对绝缘子自爆图片进行分割。实例表明:该方法能够快速地识别出绝缘子,并可以对各种复杂背景下的自爆绝缘子进行准确分割,同时具备模型参数量小、效率高、鲁棒性强等特征,可在一定程度上满足无人机的嵌入式应用要求,提高基于无人机对架空输电线路的巡检精度和实时性。

基于双流U型的单图像超分辨率重建方法研究

深度神经网络在图像超分辨方面吸引了广泛的关注。然而,许多超分辨网络忽略了多种不同特征信息中对图像重建的贡献。针对以上的问题,设计了一种双流U型超分辨网络,该网络利用U型结构中所产生的不同尺度的特征图来重建图像特征,并且还使用新颖的投影结构来增强差异特征的表达。此外为了嵌入到现实中的小型设备,还设计了一种轻量型网络。实验表明,设计的网络在流行的数据集上取得了不错的指标值和高质量的视觉效果。

改进Shufflenetv2_YOLOv5的轻量级SAR图像舰船目标实时检测

针对当前SAR图像舰船目标检测实时性不高、准确率较低等问题,提出了一种改进Shufflenetv2_YOLOv5的轻量级目标检测模型。首先对YOLOv5网络的主干网络进行改进,在对比了MobileNetv2、Shufflenetv2两种轻量级网络的效果之后,构建了Shufflenetv2_YOLOv5网络。引入Transformer结构和双重注意力机制模块对Shufflenetv2_YOLOv5网络进行改进,以增强舰船目标的特征表达。使用FReLU替换原YOLOv5的激活函数,进一步提高网络的性能。同时,提出一种新的损失函数,增强舰船目标的定位效果。实验结果表明,本文算法在SSDD数据集上的准确率为80.2%,FPS为193帧/s,在保证精度的情况下,实现了SAR图像舰船目标实时检测。

基于高分辨率网络的轻量型人体姿态估计研究

现有人体姿态估计网络通常采用增加网络模型深度的方式来提高预测精度,但是导致网络模型的参数量以及运算复杂度增加。为此,在高分辨率网络的基础上提出一种融入Ghost模块、Sandglass模块以及注意力机制的轻量型人体姿态估计网络GSENet。参考基础残差模块Bottleneck以及Basicblock,将Bottleneck模块中的标准卷积替换为Ghost卷积,并且将Basicblock模块中的卷积替换为Sandglass模块,通过这种方式重新构建基础模块GSEneck以及GSEblock。在此基础上,加入注意力机制以保证网络的预测精度。实验结果表明,相比HRNet,GSENet在COCO数据集上的参数量和运算复杂度分别减少84.6%和76.1%,在MPII数据集上的参数量和运算复杂度降低84.6%和76.8%,在保持一定预测精度的情况下,GSENet网络模型能够有效地减少网络参数量并降低运算复杂度。

基于HRNet的轻量化人体姿态估计网络

由于算力和内存的限制,目前的人体姿态估计网络难以广泛应用于移动设备、嵌入式平台.针对这个问题,本文以HRNet为基础框架,提出了一种轻量化的人体姿态估计网络X-HRNet,使用ResNeXt模块替换普通的Basic模块以减少网络的参数和计算复杂度.实验结果表明,所提出模型在COCO验证集上取得了78.2%的精度,比HRNet高1.9%,参数量下降了22.2M,计算量下降了27.3GFLOPs.与以往的轻量化人体姿态估计方法不同,所提出的XHRNet是一种兼顾精度和轻量化的方法,在保持精度的同时有效减少了计算量和参数量,为嵌入式平台提出了一种新的轻量化人体姿态估计网络.

用于自动驾驶的轻量级语义分割神经网络

图像语义分割在自动驾驶领域有十分重要的应用,可以让机器人在环境中分割出语义信息,从而对下游的控制动作做出决策。但大部分的深度学习模型都比较大,需庞大的计算资源,很难在移动设备中使用。为了解决这个问题,提出了一种用于语义分割的轻量级神经网络模型,采用编码-解码型与二分支型相结合的网络架构,利用分组卷积、深度可分离卷积、多尺度特征融合模块与通道混洗技术减少网络参数量,提升模型预测精度。该模型训练结合Adam训练法与随机梯度下降法,使用Cityscapes数据集,设置1000个训练周期。经测试,该模型参数量为3.5×10^(6),在单张显卡Nvidia GTX 1070Ti上的运算速度为每秒103帧图片,达到实时计算标准。在模型评估指标中,平均交并比为61.3%,像素准确率为93.4%,性能均优于SegNet和ENet两种模型。

基于特征膨胀卷积模块的轻量化技术研究

本文从卷积神经网络模型的网络结构入手,利用特征复用的思想,设计了高效的特征膨胀卷积模块.该模块减少了标准卷积模块的输出通道数,引入了多分支结构.通过各个分支上的廉价操作对标准卷积操作的输出特征图进行变换和融合,产生新的特征图.模块的最终输出由各个分支上生成的特征图进行合并连接得到.特征膨胀卷积模块利用特征复用思想复用模型中的特征,在降低模型计算量的同时,丰富了特征图隐含的信息,提高了模型的性能.最后,将特征膨胀卷积模块代替标准卷积模块,设计了轻量化的VGG16(Visual Geometry Group 16-Layer)模型和残差结构,并且在CIFAR数据集和ILSVRC2012(ImageNet Large Scale Visual Recognition Challenge 2012)数据集上取得了较好的分类效果.

Emfacenet:一种轻量级人脸识别的卷积神经网络

随着计算机技术日益发展,计算机视觉逐渐融入人们的生活,深度卷积神经网络在计算机视觉领域得到了广泛的应用.然而计算资源和内存的限制,为卷积神经网络在嵌入式设备的部署带来了巨大的困难.本文提出了一种新的轻量级的人脸识别的卷积神经网络——Emfacenet,通过在CASIA-WebFace数据集上进行卷积神经网络的训练,并在计算机CPU平台以及嵌入式平台上利用LFW数据集对模型的预测效果分别进行测试,Emfacenet在CPU平台下识别速度分别是Resnet50、Mobilenetv3以及Mobilefacenets这3种模型的2.07倍、1.67倍、1.63倍,在嵌入式平台下识别速度分别56.65倍、2.09倍、3.41倍.而且Emfacenet卷积神经网络模型大小仅为138.1KB,保持较高精度的同时运行效率显著提高,可以适用于嵌入式等硬件资源受限领域来实现人脸识别.

融合MobileNetV3特征的结构化剪枝方法

传统的深度神经网络由于计算量和内存占用庞大,难以部署到嵌入式平台中发挥实用价值,所以轻量级的深度神经网络得到快速发展.其中,谷歌提出的轻量级架构MobileNet具有广泛的应用.为了进一步提高性能,MobileNet的模型由MobileNetV1发展到MobileNetV3,但模型变得更为复杂,导致其规模不断扩大,难以发挥轻量级模型的优势.为了在能保持MobileNetV3性能的前提下,降低部署于嵌入式平台的难度,提出一种融合MobileNetV3特征的结构化剪枝方法,对MobileNetV3-Large模型进行裁剪,得到一个更加紧凑的模型.首先对模型进行稀疏正则化训练,得到一个较为稀疏的网络模型;然后使用卷积层的稀疏值和批量归一化层的缩放系数的乘积判别冗余滤波器对其进行结构化剪枝,并在CIFAR-10和CIFAR-100数据集上进行实验.实验结果表明:提出的压缩方法可以有效压缩模型参数,并且压缩后模型仍然能保证良好性能;在准确率不变的前提下,CIFAR-10上模型的参数量减少44.5%,且计算量减少40%.

面向人车识别的目标检测系统实现

为将参数量巨大的神经网络模型部署到资源有限、功耗要求极高的嵌入式端,以较好的速度运行,研究8 bit整型量化算法和神经网络前向推理过程在FPGA上的具体实现。通过8 bit整型量化,将模型的参数量从22.5 M缩减至5.7 M,模型参数量缩小近4倍,提高神经网络在嵌入式端部署的可行性。基于FPGA并行处理的特点,设计精简指令,优化卷积运算中输入输出和计算过程的并行处理。在实验中可以在较低功耗下加速神经网络前向推理过程。

基于轻量化深度神经网络(LDNet)的图像去雾方法

在低光照雾霾场景下,图像质量严重下降。现有的深度学习去雾方法缺乏对低光照去雾后图像色偏的有效校正,且大多运行时间长且模型参数量大,在实际应用中不便部署。针对上述问题,以编解码网络结构为基础,提出了一种端到端、轻量化深度神经网络(LDNet)用于低光照雾霾图像去雾。该网络采用多尺度架构来获取不同层级的图像信息,以充分利用图像的深浅层特征;在此基础上,设计了轻量化多级特征融合模块和轻量化通道注意力模块提取各层级的特征信息,以解决常规模型在低模型参数量和低计算复杂度情况下特征提取能力差的问题;最后,联合均方误差内容损失和CIEDE2000色偏损失共同优化网络,进一步提高了轻量化网络的学习能力。试验结果表明,与现有的去雾网络相比,LDNet能有效恢复低光照雾霾场景下的有雾图像质量,且具有资源占用少、参数量小和运算量低的优点。

基于轻量级神经网络的单幅图像去雨滴模型

目前单幅图像去雨滴网络的特征图存在较高的相似性和冗余性,导致模型的参数量庞大,极大限制了其在实际应用中的部署。本文提出一种基于轻量级神经网络的单幅图像去雨滴模型。采用一种幻像特征生成残差块,用于解决网络中特征图的相似性和冗余性问题。设计了一种复合折叠式重用机制,有效改善了由于参数减少带来的模型性能下降。提出一种轻量级门控循环单元,用于强化折叠式去雨滴架构中的深度特征交互,进一步提高了模型的性能。实验结果表明:本文提出的轻量级去雨滴模型在性能持平或略高于目前3种算法的前提下,分别实现了模型参数量的18、37及51倍的压缩,较好解决了在实际应用中的部署问题。