基于在线梯度下降的Mini Batch K-Prototypes算法

K-Prototypes算法每次迭代都需要花费大量时间来计算所有样本与每个簇中心的相异度以将其划分到各个聚类簇中,这导致K-Prototypes算法在处理大型数据集时运行时间急剧增加。根据在线梯度下降算法对K-Prototypes算法的迭代过程进行优化,减少算法每次迭代所需的计算量从而降低算法的时间复杂度,提升算法运行效率。实验结果表明,提出的基于在线梯度下降的K-Prototypes聚类算法,可以在不影响算法收敛性和有效性的前提下降低算法的时间复杂度,提升算法运行效率。

基于熵误差函数Pi-Sigma神经网络在线梯度学习算法

Pi-Sigma神经网络因具有较强的非线性处理能力和较高的学习效率而受到广泛的关注。目前,该网络已经应用于函数逼近、信号处理、模式识别等领域。因此,提出了一种基于熵误差函数的Pi-Sigma神经网络在线学习算法,通过函数逼近及多维数据集分类实验验证了该算法的有效性。结果表明,所提算法在函数逼近、训练精度、测试精度和效率方面均有较好的表现。

带Group Lasso正则项的Pi-Sigma神经网络在线梯度算法研究

Pi-Sigma神经网络是隐层带有求和神经元,输出层带有求积神经元的一种前馈神经网络,该网络具有较强的非线性映射能力。在误差函数中添加正则项是神经网络常用的优化方法,和传统的L2、L1/2正则项相比Group Lasso正则项可以在组级别上消除不必要的权值,具有良好的稀疏效果。众所周知,利用梯度法进行权值更新的学习方式有两种:一种是批处理学习算法,另一种是在线学习算法。本文提出带Group Lasso正则项的在线梯度学习算法来训练Pi-Sigma神经网络。最后,数值实验结果表明改进后的算法收敛速度更快并且具有较好的泛化性能。

带惩罚项与随机输入的BP神经网络在线梯度学习算法的收敛性

本文对三层BP神经网络中带有惩罚项的在线梯度学习算法的收敛性问题进行了研究,在网络训练每一轮开始执行之前,对训练样本随机进行重排,以使网络学习更容易跳出局部极小,文中给出了误差函数的单调性定理以及该算法的弱收敛和强收敛性定理。

具有隐私保护的无投影分布式在线学习算法

本文研究了一个具有差分隐私性的无投影分布式在线条件梯度优化问题。针对这一问题,提出了一种分布式在线条件梯度(D-OCG)算法作为期望的变体,该方法通过使用线性最小化步骤来避免投影操作。此问题的网络模型是一个五个节点的平衡无向图。我们在理论证明中知道,该算法对于一般凸局部代价函数的期望遗憾界是O(√T),其中T是时间范围。我们的结果与最后的理论遗憾,可以实现最先进的算法。最后,通过仿真验证了算法的有效性。

基于OGD算法的在线移动平均反转策略

为改善非平稳金融市场环境下在线投资组合策略无法实时动态调整的缺点,提出一种OGDMAR策略。基于在线梯度下降(OGD)算法,对在线移动平均反转策略的预测模型进行改进,使预测模型的系数在每次迭代时都可重新调整。在4个经典数据集上进行数值实验,结果表明,与原策略的累积收益相比,改进策略在4个数据集上分别提升了111%、134%、32%和48%,并且在不同的交易成本条件下累积的收益更高。OGDMAR策略具有应对非平稳环境的能力,不仅在累积收益方面有显著提升,而且具有更强的交易成本承受能力。

基于Wasserstein距离的在线机器学习算法研究

本文主要研究基于Wasserstein距离的在线机器学习算法,并分别针对分类和回归问题,提出两个鲁棒的在线学习算法.本文首先在特征-标签空间中对Wasserstein距离进行变形,得到了易于处理和计算的变形式.进而,将在线梯度下降(online gradient descent,OGD)算法和Wasserstein距离变形式结合,分别针对在线分类问题和在线回归问题提出了两种具有较好鲁棒性的在线机器学习算法.文章对提出的新算法累积误差值(Regret,后面用Regret指代)进行了分析,证明了算法的Regret与训练轮次T满足O(√T)关系.算法的收敛性可基于算法Regret分析得到,可证明在算法训练轮次T趋于无穷时,算法训练出的模型会收敛到理论最优模型.最后,将所提出算法与FTRL(follow-the-regularized-leader)算法、OGD算法、采用批量学习训练方法的机器学习算法进行数值实验对比.在模拟数据集和真实数据集的实验中,所提出在线学习算法准确率、鲁棒性和模型泛化性能均优于FTRL算法和OGD算法;针对大规模数据集时,虽然所提出的在线学习算法准确率与批量学习相关算法相近,但在线学习算法可以大量节省每次输入新数据后的训练时间和数据存储空间;在数据量较小且数据质量较差时,在线学习算法鲁棒性和模型泛化性能表现更优,甚至优于批量学习相关算法.

CONVERGENCE OF ONLINE GRADIENT METHOD WITH A PENALTY TERM FOR FEEDFORWARD NEURAL NETWORKS WITH STOCHASTIC INPUTS

Online gradient algorithm has been widely used as a learning algorithm for feedforward neural network training. In this paper, we prove a weak convergence theorem of an online gradient algorithm with a penalty term, assuming that the training examples are input in a stochastic way. The monotonicity of the error function in the iteration and the boundedness of the weight are both guaranteed. We also present a numerical experiment to support our results.

一种改进的在线自适应模块化神经网络

针对在线模块化神经网络难以实时有效划分样本空间,提出一种改进的在线自适应模块化神经网络.首先,基于距离与密度实时更新样本局部密度及RBF神经元中心,实现样本空间在线划分;然后,将子网络模块数根据划分样本空间的个数进行自适应增减,每个子网络模块对属于对应样本空间的样本进行学习;最后,集成模块对子网络模块的输出结果进行集成,输出最终结果.针对在线梯度下降法要求样本有足够的随机性问题,提出一种具有固定记忆的在线梯度下降法对网络进行在线学习.通过对典型非线性时变系统及污水处理过程中出水氨氮浓度进行预测,验证了该模块化神经网络能够实时有效地更新RBF神经元中心,并减少学习过程中子网络模块不必要的增减,且网络结构更加简洁,能够准确预测不同的时变系统.

Convergence of On-Line Gradient Methods for Two-Layer Feedforward Neural Networks

A discussion is given on the convergence of the on-line gradient methods for two-layer feedforward neural networks in general cases. The theories are applied to some usual activation functions and energy functions.

Inverse Coefficient Problems for Elliptic Hemivariational Inequalities

This paper is devoted to a class of inverse coefficient problems for nonlinear elliptic hemivariational inequalities. The unknown coefficient of elliptic hemivariational inequalities depends on the gradient of the solution and belongs to a set of admissible coefficients. It is shown that the nonlinear elliptic hemivariational inequalities are uniquely solvable for the given class of coefficients. The result of existence of quasisolutions of the inverse problems is obtained.