近年来,深度学习在许多领域取得了巨大的成功,其中,激活函数是深度学习取得巨大成功的关键因素之一。根据生物神经元特性,针对ReLU右侧响应无界问题,提出了单峰梯形线性单元(Single-Peaked Trapezoid Linear Unit,SPTLU)。SPTLU更加符...近年来,深度学习在许多领域取得了巨大的成功,其中,激活函数是深度学习取得巨大成功的关键因素之一。根据生物神经元特性,针对ReLU右侧响应无界问题,提出了单峰梯形线性单元(Single-Peaked Trapezoid Linear Unit,SPTLU)。SPTLU更加符合生物神经元特性,且取得了等同和超越ReLU的优异性能,实验表明在不同数据集上都取得了很好的效果,例如,数据集MNIST,Fashion-MNIST,SVHN,CALTECH101和CIFAR10。展开更多
文摘近年来,深度学习在许多领域取得了巨大的成功,其中,激活函数是深度学习取得巨大成功的关键因素之一。根据生物神经元特性,针对ReLU右侧响应无界问题,提出了单峰梯形线性单元(Single-Peaked Trapezoid Linear Unit,SPTLU)。SPTLU更加符合生物神经元特性,且取得了等同和超越ReLU的优异性能,实验表明在不同数据集上都取得了很好的效果,例如,数据集MNIST,Fashion-MNIST,SVHN,CALTECH101和CIFAR10。
