基于l_1-正则化的ELM回归集成学习

极速学习机(extreme learning machine,ELM)是近年提出的一种极其快速且具有良好泛化性保证的单隐层神经网络学习算法.然而ELM随机的设置权值带来的不足是其性能的不稳定.稀疏的ELM回归集成学习算法(sparse ensemble regressors of ELM,SERELM)通过稀疏地加权组合多个不稳定ELM学习机弥补该不足.一方面,在典型时间序列上的回归实验不仅验证了SERELM的性能优于单个ELM回归器,而且也优于其他两个最近提出的集成方法.另一方面,集成学习的优劣通常与多样性密切相关,而对回归如何定义和度量多样性仍是一个问题,这导致了目前几乎没有一个普遍认可的合适度量方法.SERELM则利用l1-正则化,绕开了这一问题,且实验结果表明:1)l1-正则化自动地为精度高的学习机赋以大的权值;2)很大程度上,回归中常用个体间的负相关性对多样性度量无效.