带Group Lasso正则项的Pi-Sigma神经网络在线梯度算法研究

Pi-Sigma神经网络是隐层带有求和神经元,输出层带有求积神经元的一种前馈神经网络,该网络具有较强的非线性映射能力。在误差函数中添加正则项是神经网络常用的优化方法,和传统的L2、L1/2正则项相比Group Lasso正则项可以在组级别上消除不必要的权值,具有良好的稀疏效果。众所周知,利用梯度法进行权值更新的学习方式有两种:一种是批处理学习算法,另一种是在线学习算法。本文提出带Group Lasso正则项的在线梯度学习算法来训练Pi-Sigma神经网络。最后,数值实验结果表明改进后的算法收敛速度更快并且具有较好的泛化性能。

基于熵误差函数Pi-Sigma神经网络在线梯度学习算法

Pi-Sigma神经网络因具有较强的非线性处理能力和较高的学习效率而受到广泛的关注。目前,该网络已经应用于函数逼近、信号处理、模式识别等领域。因此,提出了一种基于熵误差函数的Pi-Sigma神经网络在线学习算法,通过函数逼近及多维数据集分类实验验证了该算法的有效性。结果表明,所提算法在函数逼近、训练精度、测试精度和效率方面均有较好的表现。

基于OGD算法的在线移动平均反转策略

为改善非平稳金融市场环境下在线投资组合策略无法实时动态调整的缺点,提出一种OGDMAR策略。基于在线梯度下降(OGD)算法,对在线移动平均反转策略的预测模型进行改进,使预测模型的系数在每次迭代时都可重新调整。在4个经典数据集上进行数值实验,结果表明,与原策略的累积收益相比,改进策略在4个数据集上分别提升了111%、134%、32%和48%,并且在不同的交易成本条件下累积的收益更高。OGDMAR策略具有应对非平稳环境的能力,不仅在累积收益方面有显著提升,而且具有更强的交易成本承受能力。

基于Wasserstein距离的在线机器学习算法研究

本文主要研究基于Wasserstein距离的在线机器学习算法,并分别针对分类和回归问题,提出两个鲁棒的在线学习算法.本文首先在特征-标签空间中对Wasserstein距离进行变形,得到了易于处理和计算的变形式.进而,将在线梯度下降(online gradient descent,OGD)算法和Wasserstein距离变形式结合,分别针对在线分类问题和在线回归问题提出了两种具有较好鲁棒性的在线机器学习算法.文章对提出的新算法累积误差值(Regret,后面用Regret指代)进行了分析,证明了算法的Regret与训练轮次T满足O(√T)关系.算法的收敛性可基于算法Regret分析得到,可证明在算法训练轮次T趋于无穷时,算法训练出的模型会收敛到理论最优模型.最后,将所提出算法与FTRL(follow-the-regularized-leader)算法、OGD算法、采用批量学习训练方法的机器学习算法进行数值实验对比.在模拟数据集和真实数据集的实验中,所提出在线学习算法准确率、鲁棒性和模型泛化性能均优于FTRL算法和OGD算法;针对大规模数据集时,虽然所提出的在线学习算法准确率与批量学习相关算法相近,但在线学习算法可以大量节省每次输入新数据后的训练时间和数据存储空间;在数据量较小且数据质量较差时,在线学习算法鲁棒性和模型泛化性能表现更优,甚至优于批量学习相关算法.