基于双曲正切函数的修正线性单元

为解决修正线性单元(ReLU)的神经元死亡现象,提出一个新的激活函数——基于双曲正切函数(tanh)的修正线性单元(ThLU)。ThLU函数正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴。为验证ThLU函数的性能,基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证。结果表明:基于ThLU函数训练得到的神经网络模型比基于tanh、ReLU、泄露修正线性单元(LReLU)和指数线性单元(ELU)训练得到的神经网络模型具有更高的准确率、更低的损失。

一种基于双层卷积神经网络的图像去噪方法

卷积神经网络图像去噪模型大部分使用固定噪声水平图像集进行训练,由于噪声水平缺乏灵活性,会产生去噪效果较差的问题。针对此问题,提出一种基于双层卷积神经网络的图像去噪方法。该方法将噪声水平图像作为网络输入,对输入图像进行下采样处理,通过扩张卷积增加感受野,利用批处理和带泄露修正线性单元函数来优化网络。该方法能够灵活处理不同水平的噪声图像,同时还能够使用GPU并行处理提高图像去噪速度。实验结果表明:在主观视觉方面,该方法效果优于当前主流的图像去噪方法;在客观质量评价指标平均峰值信噪比和平均结构相似性图像度量方面,该方法比其他主流方法高0.4~1.8 dB和0.000 3~0.047 7;在计算时间方面,该方法比其他主流图像去噪方法快0.02~0.06 s。