面向“边缘”应用的卷积神经网络量化与压缩方法

针对卷积神经网络(CNN)推理计算所需内存空间和资源过大,限制了其在嵌入式等"边缘"设备上部署的问题,提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先,根据卷积神经网络各层权重的分布,采用阈值法对网络精确率影响较小的权重进行裁剪,保留网络中重要连接的同时除去冗余信息;其次,针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽,采用动态定点量化方法减小权重数据的位宽;最后,对网络进行微调,在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明,该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点,几乎实现无损压缩;同时,通过多个网络模型的验证,该方法在平均1.46个百分点精确率变化范围内,最大降低网络模型96.12%的存储空间,能够有效地压缩卷积神经网络。

基于裁剪后的DCPSO-FNN在管道泄漏检测中的效果探讨

DCPSO-FNN是一种基于发散-收敛PSO(DCPSO)优化模糊神经网络(FNN)的管道泄漏检测与估计方法。该方法采用广义概率积、广义概率和模糊算子代替普通神经网络中的传递函数,并用DCPSO算法对该模糊神经网络的权值进行优化。本文对DCPSO-FNN进行了网络裁剪,并将裁剪后的网络应用于管道泄漏检测与估计中。通过实际管道泄漏数据对裁剪后的网络进行仿真研究,结果表明裁剪后的DCPSO-FNN比裁剪前有更高的检测效率。

基于卷积神经网络的实时车辆检测

为了解决对于尺度变换较大车辆及遮挡车辆检测性能不足的问题,提出了一种实时车辆检测模型。针对车辆检测算法对于尺度敏感的问题,通过使用深度残差网络作为特征提取层,构建特征金字塔网络用于多尺度检测;利用软化非极大抑制线性衰减置信得分解决车辆遮挡问题,从而降低车辆的漏检率;同时对模型进行通道级裁剪缩减模型参数规模,节省计算资源,提高模型检测速度。在VOC数据集上进行实验,结果表明,提出的方法在检测精度和检测速度上均获得较高的性能。在检测精度上,达到87.6%的准确率,相较于YOLOv3提升了3.7个百分点,相较于SSD提升了9.8个百分点;在检测速度上,每秒检测帧数达到42 f/s,实现了车辆的实时检测。特别地,将模型应用于环境复杂的Apollo数据集,相较于YOLOv3具有更好的鲁棒性。

基于深度学习的基层网络数据个性化挖掘算法

为提升基层网络数据挖掘精度与效率,有效应用基层网络数据提供帮助,提出基于深度学习的基层网络数据个性化挖掘算法,设计基于模糊神经网络的基层网络数据个性化挖掘算法过程,通过数据准备阶段清洗、选取及转化初始基层网络数据,得到高精度完整统一的待挖掘基层网络数据,划分其为训练组与测试组,构建包含输入层、模糊输入层、隐含层、模糊输出层及期望输出层的五层模糊神经网络,运用训练组基层网络数据训练该模糊神经网络,裁剪掉训练后模糊神经网络内的冗余权值规则,提取出最大权值规则,运用该规则对测试组基层网络数据实施挖掘。实验结果表明,上述算法实际应用中收敛速度较高,在训练与测试速度方面具有较大优势,可实现高精确、高查全及高重合度的精准挖掘,为基层网络数据的有效利用奠定基础。

基于模糊神经网络的数据挖掘算法

提出一种基于模糊神经网络进行数据挖掘的新方法。构成模糊神经网络的模糊化层采用高斯函数计算5个模糊隶属度,高斯函数需要的均值、方差以及隶属度的中心值都可通过预先计算采集到的数据得到。模糊推理层采用取小取大运算代替常用的积和运算,加快了网络的推理速度。在模糊神经网络训练阶段,首先利用重心法对模糊化层输出进行反模糊化,再采用BP思想,利用梯度法求误差值并进行反传调整隶属度函数的参数值。为提高网络推理精度和速度,通过设立相应的规则对网络进行裁剪,剪掉多余的节点和权值,最后依据一定的思想对产生的模糊规则进行简化和提取。以工业锻造中的智能温度控制系统的控制数据为例进行仿真,结果表明,该网络具有较高的精度和较好的鲁棒性。

基于改进的DenseNet深度网络火灾图像识别算法

现有油田火灾预警系统较多地采用烟感、红外等被动传感器进行烟火检测,其检测范围小,抗干扰能力弱,无法实时准确地进行火灾预警。如何从油田安防设备获取的海量图像数据中检测到烟火信息,提高抢险救灾的预测响应时间,在国内外都是一个具有挑战性的研究课题。提出一种改进的DenseNet深度神经网络架构,解决复杂图像中火灾区域的检测。为了增强特征传播的精度,降低存储数据量,采取结构化稀疏操作。将网络卷积核分为多个组,在训练过程中逐渐减小每个组内不重要的参数连接。针对油田安防领域构建的数据集存在不平衡性,增强火灾检测系统最终分类预测的准确性,引入Focal损失函数对分类层进行火灾识别。大量的定性定量实验表明,该改进网络在检测率与误检率方面均优于现有的其他深度模型。

基于小型深度学习网络的车位检测方法

针对车载嵌入式系统开发需求,文章提出一种小型深度学习网络的车位检测方法。环视图像的车位角点具有大小相近、分布均匀的特点,将整个环视图像分割成若干个子图像,裁剪深度网络模型结构,使用小网络对各个子图像进行车位角点检测,可以有效降低大图像高算力的要求。实验数据表明,以384*640图像大小为例,将原图像分割成128*128子图像,子图像的深度网络算力要求为原图像的1/15,而相应的检测性能没有损失。

基于YOLOv4算法改进的室外场景目标检测

室外场景对于人们的日常出行至关重要。为了提高室外目标检测算法的实时性和准确性,采用YOLOv4算法作为基础算法,对其进行改进。首先将Focus模块插入到CSPDarknet主干网络中,其次在YOLOv4算法网络结构中使用空间锯齿空洞卷积结构加强模型对图像特征细节的提取,以替代原网络中的空间金字塔池化结构;对颈部进行了网络裁剪,能够达到减小网络权重的目的;最后为加强模型对于深、浅层特征的融合能力,采用双向特征金字塔结构,从而提高模型在浅层预测方面及深层定位方面的能力。实验表明,在文中构建的室外场景数据集上,改进后的YOLOv4算法的mAP达到87.9%,模型大小也减少了30MB,相比原YOLOv4算法检测在检测精度提升的同时速度也有明显提高。

无人机视觉导航着陆标识检测与分割方法

为实现基于视觉导航无人机自主着陆任务,提出一种无人机视觉导航着陆标识检测与分割方法。在Tiny-YOLO网络基础上融入自下而上的特征增强结构,得到Mark-YOLO网络。针对无人机硬件平台计算能力不足的问题,对网络模型进行裁剪,减少网络模型的参数量;对目标检测算法提取到的无人机着陆标识进行图像分割处理,获取降落标识的轮廓信息。实验结果表明:本文提出的Mark-YOLO算法具有更高的准确率;裁剪后的网络模型具有更少的参数量与更小的权重,且检测到的着陆标识通过图像分割方法处理后,可取得良好的分割效果。