应用动态激活函数的轻量化YOLOv8行人检测算法

针对传统激活函数不能特异性匹配每张特征图以达到最好的激活效果,设计一种动态激活函数,为特征图上的每个像素值添加各自的偏移量,以达到更优的区分目标和背景的效果;为使模型更好地关注目标,在主干加入注意力机制,以提高模型的准确性。针对需要监测行人流量和进行交通管理的场景,如闯红灯检测、自动驾驶等实时性高,硬件条件有限的场景,应用通道剪枝技术对模型低权重参数进行修剪,为适应硬件加速特性,改进了剪枝方法,使保留通道数始终为8的整数倍。在推理部署阶段,融合Conv和BatchNorm权重,进一步缩小模型,减少参数量和浮点运算量。最终实验表明,改进的模型性能比其他目标检测模型均有一定提升,其中,比YOLOv8原模型在AP0.5:0.95上提升了0.013,在AP0.5上提升了0.005,参数量减少了4.8×10~6。

激活函数在CNN模型中改进算法的研究

CNN,即卷积神经网络算法,是深度学习研究领域的重要分支,尤其是在图像识别领域,其已成为最为热门的研究对象。文章以图像识别为研究基础,先阐述卷积神经网络在图像识别中的进展,然后研究深度学习图像目标识别的传统算法,并在目标定位、特征提取、分类方法等方面与传统的目标识别算法进行了比较。在以上研究基础上,提出了一种新的卷积神经网络压缩激活函数模型,通过改进的CNN模型对卷积神经网络的结构进行了部分优化。实验验证了该模型的有效性,不仅降低了错误率,还大大减少了网络参数的数量,具有更强的学习能力。

基于改进激活函数的一维卷积神经网络电机轴承故障诊断的研究

提出了一种基于改进激活函数的一维卷积神经网络的电机轴承故障诊断的方法,该方法首先介绍了一维卷积神经网络的结构,然后详细说明了激活函数的改进点,最后通过仿真试验依次采用三种一维卷积神经网络对电机轴承故障进行分类,通过对比发现,此方法具有诊断准确率高、收敛速度快、无需人为提取故障特征等优点。

多模态高精度非线性激活函数协处理器设计

针对片上部署非线性激活函数产生的精度损失以及硬件资源开销大的问题,提出一种基于三分法指数方法的多模态高精度非线性激活函数协处理器设计.首先分析激活函数在不同拟合参数下的近似误差以及运算量,为设计提供指导;然后设计一种模块化的硬件框架,通过复用指数、对数、sigmoid模块并结合浮点计算单元,能够以较低的面积开销部署多种激活函数.在Xilinx的Vertix系列FPGA上完成原型测试,实验结果表明,在仅增加32个查找表的情况下,所提设计tanh和sigmoid的近似误差仅为2项拆分指数方法的65.02%和69.00%,同时拟合范围扩大60%;与高精度分段线性逼近方法相比,该设计在仅用4%的查找表数量的情况下,将近似误差缩小82%.

ReLU激活函数深度网络的构造与逼近

研究ReLU激活函数深度网络的构造与逼近问题.以一个在[-1,1]上对x^(2)具有指数逼近阶的深度ReLU网络作为子网络,构造逼近任意n次多项式的深度网络,并给出其逼近误差的上界估计.借助一元正交切比雪夫多项式、张量积理论和函数逼近的方法,构造二元正交多项式和两个输入的深度网络,同时得到了对二元连续函数的逼近估计.

基于一类新型激活函数的递归神经网络的多稳定性分析

本研究基于一类新型连续锯齿型激活函数研究了递归神经网络(Hopfield神经网络)的多稳定性。首先,通过区间剖分法、Brouwer不动点定理证明了基于该激活函数的n维神经网络模型至少具有7n个平衡点,并运用对角占优矩阵理论、局部稳定性判定定理等方法证明了其中4n个平衡点是局部指数稳定的,剩余的平衡点是不稳定的。其次,通过增加锯齿型激活函数的峰值点将激活函数推广到更一般的情况,得到了n维神经网络在含有k个峰值点的连续锯齿型激活函数中至少具有(2k+1)n个平衡点,其中(k+1)n个平衡点为局部稳定的。本研究设计的激活函数相较于现有的一些激活函数会产生更多的稳定平衡点,并且在增加峰值点的过程中不会增加神经网络的计算复杂度。最后,通过两个具体的数值算例验证了本研究结果的有效性。

基于ACON激活函数和卷积神经网络的滚动轴承故障诊断

针对滚动轴承故障诊断任务的泛化问题,提出一种基于ACON激活函数和卷积神经网络(CNN)的故障诊断方法(ACON-CNN模型)。构造一种自适应激活因子,利用ACON激活函数的自适应激活特性增强整个卷积神经网络的自适应特征能力;同时构造一种基于稀疏结构的神经元簇,增加诊断模型的稳定性。对CWRU轴承数据集以及航空轴承数据集的试验结果表明:针对同一轴承不同采集端故障数据的训练与识别中,ACON-CNN模型具有比原始CNN,FFT-CNN,LSTM-CNN更好的识别效率和鲁棒性;在不同轴承样本数据集的迁移学习中,ACON激活函数和稀疏神经元簇的综合作用也使ACON-CNN模型获得了更好的泛化性能和识别效果。

用新激活函数加快新ZNN模型求解时变矩阵Moore-Penrose逆

基于梯度的神经网络(GNN)和张神经网络(ZNN)是两种可用于求解时变矩阵Moore-Penrose逆问题的递归神经网络。与GNN相比,ZNN的计算精度更高。此外,本文提出了一种新的ZNN模型。因此,本文主要利用带有新优化激活函数的ZNN模型来求解时变行满秩(或列满秩)矩阵Moore-Penrose逆问题。这种带有新优化激活函数的ZNN模型可以在有限时间内加速求解时变矩阵的Moore-Penrose逆。通过Lyapunov理论分析,得到了收敛时间的上限。仿真结果进一步证实了理论分析,并证明了采用新优化的激活函数的ZNN模型在求解时变矩阵Moore-Penrose逆时的有效性。

具有一类不连续非单调激活函数的时滞递归神经网络的多稳定性分析

本文提出了一类不连续非单调激活函数,研究了具有这类激活函数的时滞递归神经网络的多稳定性。根据激活函数的几何特性和不动点定理,给出充分条件确保n维神经网络至少存在7n个平衡点,其中4n个是局部指数稳定的。然后,我们将结果推广到更一般的情况。在不增加充分条件的情况下,本文通过增加激活函数峰值点的数量k,得到n维神经网络可以具有 (2k+3)n 平衡点,其中是 (k+2)n 局部指数稳定的。与之前文献相比,总平衡点和稳定平衡点的数量大大地增加了,从而提高了递归神经网络的存储容量。最后,给出了一个例子来证明我们的理论结果。

mnist数据集上非线性激活函数relu的两个性质

非线性激活函数在卷积神经网络的结构中起重要的作用,卷积神经网络是将高维数的线性不可分数据经卷积神经网络处理后变成低维数的线性可分数据,非线性的激活函数就是将高维非线性数据转化成低维线性可分数据最强有力的工具。基于激活函数relu通过坐标对称变换和旋转变换得到两类新的激活函数,并验证了这两类新构建的非线性激活函数在mnist上和激活函数relu能起到同样的效果。

面向存算一体架构中Tanh激活函数的绝对值电路设计

基于存算一体(CIM)架构的激活函数模拟实现方式使得神经网络变得更加接近非线性模型,针对其中Tanh函数负值难处理的问题,该文提出一种高速、高精度绝对值运算电路。该电路将输入电压经过比较器结果判断选择是否输出,利用反相比例取反电路控制负压输入并转换为正压通过开关输出,实现了离散输出功能的绝对值运算处理。与传统利用二极管全波整流绝对值电路相比,该电路有效避免了二极管难集成的问题,且速度快、功耗低、整体面积小。基于55 nm CMOS工艺进行设计,结果表明,在50 ns工作时钟周期下,经过绝对值电路转化后的输出电压与输入电压误差控制在1%以内,比较器的输出延时为5 ns,零点区域放大电压误差小于400μV。在1.2 V电源电压下,功耗为670μW,版图面积为4447μm^(2)。

嵌入式系统中激活函数的快速计算

本文总结了神经网络系统中常用的激活函数,并针对激活函数中幂函数的快速计算方法开展研究,利用嵌入式系统中浮点数的存储格式及泰勒级数展开,计算幂函数阶码和尾码,实现了幂函数的快速计算。嵌入式系统中的试验验证表明,计算速度得到了显著提高,实现了嵌入式系统中激活函数的快速计算。

基于激活函数的LCC-S型无线电能传输系统建模和稳定性分析

基于电力电子器件的无线电能传输(WPT)系统是一种开关系统,其大信号模型是研究系统运行特性和稳定性的基础。建模的关键是如何描述系统中的非线性、离散开关变量,为解决这一问题,该文提出一种基于S型激活函数的建模方法。S型激活函数是连续、平滑、可微的且在一定值时具有饱和特性,因此可利用陡度因子较大的激活函数来近似开关的切换过程,将WPT系统由离散的开关系统转变为连续系统。该文以LCC-S型WPT系统为研究对象,构建其开环和闭环模式下激活函数模型,利用该模型分析控制器参数和系统参数对瞬态行为和稳定性的影响,并通过仿真和实验进行验证。结果表明,所构建的模型与仿真和实验结果吻合较好。该模型数学表达式结构简单统一,物理意义明确,是一个具有普遍意义的高精度大信号连续模型。

单调激活函数惯性项神经耦合系统的混沌共存

混沌及其稳态共存是神经网络系统中一个重要研究热点问题.本文基于惯性项神经元模型,利用非线性单调激活函数构造了一个惯性项神经耦合系统,采用理论分析和数值模拟相结合的方法,研究了系统平衡点以及静态分岔的类型,分析了系统两种不同模式的混沌及其稳态共存.具体来说,我们通过选取不同的初始值,利用相应的相位图和时间历程图,展现了系统混沌对初值的敏感依赖性.进一步,采用耦合强度作为动力学的分岔参数,研究了混沌产生的倍周期分岔机制,得到了单调激活函数耦合下的惯性项神经元系统混沌共存现象.

基于Richards方程的冷杉树高曲线深度神经网络激活函数

【目的】提出一个基于理论生长方程(Richards公式)的激活函数,解决神经网络算法在森林生长建模时输出可能不符合生物学规律的问题,为神经网络在森林生长建模方面的应用提供一个新的思路和方法。【方法】以吉林省汪清林业局臭冷杉为研究对象,利用96株解析木数据,分别建立传统非线性回归模型、基于普通激活函数的深度神经网络模型和新的基于Richards激活函数的深度神经网络树高-胸径模型。【结果】相较基于普通激活函数的深度神经网络模型,新的基于Richards激活函数的深度神经网络模型具有明显的树高渐近线,更符合生物学规律。与传统非线性回归模型(直接使用Richards公式拟合)相比,新的基于Richards激活函数的深度神经网络模型精度略有提高,R2提升0.175%,均方根误差(RMSE)与平均绝对误差(MAE)分别降低2.282%和4.011%。【结论】提出一个基于Richards方程的深度神经网络激活函数,具有如下优点:1)输出一定存在一个合理的最大值;2)配合合理的神经网络结构可使输出一定大于1.3;3)将传统回归方法拟合得到的参数作为神经网络模型输入,能使神经网络的训练得到先验知识。

基于手写体数字识别的激活函数对比研究

针对手写体数据集在卷积神经网络训练时分别使用sigmoid、tanh、relu与mish激活函数进行实验,对这四种激活函数下训练集误差值收敛曲线以及测试集精度曲线进行算法结果分析,实验结果表明,mish激活函数在手写体数据集上进行卷积神经网络训练时效果更佳,而同样得出不同的训练数据集、激活函数的选择会影响算法对数据的拟合度和神经网络的收敛性。

深度学习模型中不同激活函数的性能分析

近年来,人们为处理众多问题引入了各种类型的神经网络,神经网络取得了巨大的发展。任何神经网络使用的层次结构是线性和非线性函数的组合,其中最常见的非线性层是激活函数,如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。对深度学习神经网络中的激活函数进行了介绍,并对不同激活函数的输出范围、单调性、平滑性等特点进行了分析。通过在数据集上测试,对现在使用频率较高的激活函数进行了性能测试。对激活函数的分析将有助于进一步地在模型设计中进行选择。

基于MNIST数据集的激活函数比较研究

本文基于卷积神经网络(CNN),在经典手写数字识别MNIST数据集上对比了四种常用激活函数:Sigmoid、Tanh、ReLU和Re LU6。通过详细阐述激活函数的基本原理并进行实验分析,可以发现,ReLU6函数在现有神经网络算法中表现出较好的性能,具有较高的准确性和稳定性。然而,激活函数的选择应根据不同任务和数据集特点进行调整,并关注新型激活函数的研究和应用,以进一步提高神经网络的性能、泛化能力和计算效率。本文旨在为研究者和从业者提供关于激活函数选择的参考和启示。

多激活函数的立体神经网络设计

合适的激活函数和参数可大幅提高神经网络预测的准确率,因此,工作人员会耗费大量时间和精力对激活函数进行多轮对比测试,通过评价指标的表现做出最终选择。为减少这种无效科研工作时间,建立了激活函数池,将传统神经网络进行叠加,形成了立体神经网络。该网络可对激活函数池中的多个函数同时进行训练,自动调整参数,通过ROC和AUC对各个维度的网络进行评价,选出主网络对未知数据进行预测。该立体神经网络可以帮助工作人员节省大约25%的手工比对和调整参数时间,预测准确率与使用正确激活函数的传统神经网络持平。

特征扩展的随机向量函数链神经网络

基于宽度学习的动态模糊推理系统(broad-learning-based dynamic fuzzy inference system,BL-DFIS)能自动构建出精简的模糊规则并获得良好的分类性能.然而,当遇到大型复杂的数据集时,BL-DFIS因会使用较多模糊规则来试图达到令人满意的识别精度,从而对其可解释性造成了不利影响.对此,提出一种兼顾分类性能和可解释性的模糊神经网络,将其称为特征扩展的随机向量函数链神经网络(FA-RVFLNN).在该网络中,一个以原始数据为输入的RVFLNN被作为主体结构,BL-DFIS则用作性能补充,这意味着FA-RVFLNN包含具有性能增强作用的直接链接.由于主体结构的增强节点使用Sigmoid激活函数,因此,其推理过程可借助一种模糊逻辑算子(I-OR)来解释.而且,具有明确含义的原始输入数据也有助于解释主体结构的推理规则.在直接链接的支撑下,FA-RVFLNN可利用增强节点、特征节点和模糊节点学到更丰富的有用信息.实验表明:FA-RVFLNN既减缓了主体结构RVFLNN中过多增强节点带来的“规则爆炸”问题,也提高了性能补充结构BL-DFIS的可解释性(平均模糊规则数降低了50%左右),在泛化性能和网络规模上仍具有竞争力.