带Group Lasso正则项的Pi-Sigma神经网络在线梯度算法研究

Pi-Sigma神经网络是隐层带有求和神经元,输出层带有求积神经元的一种前馈神经网络,该网络具有较强的非线性映射能力。在误差函数中添加正则项是神经网络常用的优化方法,和传统的L2、L1/2正则项相比Group Lasso正则项可以在组级别上消除不必要的权值,具有良好的稀疏效果。众所周知,利用梯度法进行权值更新的学习方式有两种:一种是批处理学习算法,另一种是在线学习算法。本文提出带Group Lasso正则项的在线梯度学习算法来训练Pi-Sigma神经网络。最后,数值实验结果表明改进后的算法收敛速度更快并且具有较好的泛化性能。