基于在线梯度下降的Mini Batch K-Prototypes算法

K-Prototypes算法每次迭代都需要花费大量时间来计算所有样本与每个簇中心的相异度以将其划分到各个聚类簇中,这导致K-Prototypes算法在处理大型数据集时运行时间急剧增加。根据在线梯度下降算法对K-Prototypes算法的迭代过程进行优化,减少算法每次迭代所需的计算量从而降低算法的时间复杂度,提升算法运行效率。实验结果表明,提出的基于在线梯度下降的K-Prototypes聚类算法,可以在不影响算法收敛性和有效性的前提下降低算法的时间复杂度,提升算法运行效率。

基于OGD算法的在线移动平均反转策略

为改善非平稳金融市场环境下在线投资组合策略无法实时动态调整的缺点,提出一种OGDMAR策略。基于在线梯度下降(OGD)算法,对在线移动平均反转策略的预测模型进行改进,使预测模型的系数在每次迭代时都可重新调整。在4个经典数据集上进行数值实验,结果表明,与原策略的累积收益相比,改进策略在4个数据集上分别提升了111%、134%、32%和48%,并且在不同的交易成本条件下累积的收益更高。OGDMAR策略具有应对非平稳环境的能力,不仅在累积收益方面有显著提升,而且具有更强的交易成本承受能力。

基于Wasserstein距离的在线机器学习算法研究

本文主要研究基于Wasserstein距离的在线机器学习算法,并分别针对分类和回归问题,提出两个鲁棒的在线学习算法.本文首先在特征-标签空间中对Wasserstein距离进行变形,得到了易于处理和计算的变形式.进而,将在线梯度下降(online gradient descent,OGD)算法和Wasserstein距离变形式结合,分别针对在线分类问题和在线回归问题提出了两种具有较好鲁棒性的在线机器学习算法.文章对提出的新算法累积误差值(Regret,后面用Regret指代)进行了分析,证明了算法的Regret与训练轮次T满足O(√T)关系.算法的收敛性可基于算法Regret分析得到,可证明在算法训练轮次T趋于无穷时,算法训练出的模型会收敛到理论最优模型.最后,将所提出算法与FTRL(follow-the-regularized-leader)算法、OGD算法、采用批量学习训练方法的机器学习算法进行数值实验对比.在模拟数据集和真实数据集的实验中,所提出在线学习算法准确率、鲁棒性和模型泛化性能均优于FTRL算法和OGD算法;针对大规模数据集时,虽然所提出的在线学习算法准确率与批量学习相关算法相近,但在线学习算法可以大量节省每次输入新数据后的训练时间和数据存储空间;在数据量较小且数据质量较差时,在线学习算法鲁棒性和模型泛化性能表现更优,甚至优于批量学习相关算法.

一种改进的在线自适应模块化神经网络

针对在线模块化神经网络难以实时有效划分样本空间,提出一种改进的在线自适应模块化神经网络.首先,基于距离与密度实时更新样本局部密度及RBF神经元中心,实现样本空间在线划分;然后,将子网络模块数根据划分样本空间的个数进行自适应增减,每个子网络模块对属于对应样本空间的样本进行学习;最后,集成模块对子网络模块的输出结果进行集成,输出最终结果.针对在线梯度下降法要求样本有足够的随机性问题,提出一种具有固定记忆的在线梯度下降法对网络进行在线学习.通过对典型非线性时变系统及污水处理过程中出水氨氮浓度进行预测,验证了该模块化神经网络能够实时有效地更新RBF神经元中心,并减少学习过程中子网络模块不必要的增减,且网络结构更加简洁,能够准确预测不同的时变系统.