一种深度梯度提升回归预测模型

浅层学习模型对复杂函数表示能力有限,从而导致泛化能力受到制约。针对此问题,结合深度学习和集成学习思想提出一种基于深度梯度提升的回归预测模型。该模型在输入层对原始特征进行特征子集提取,训练生成子空间基学习器;隐藏层通过构建多层级联结构,逐层融合子空间特征与原始特征从而实现逐层表征学习,并根据相邻层学习变化率自适应学习层数;输出层中使用学习法结合策略对样本进行最终预测。采用并行化方式对各层学习器进行训练以提高模型运行效率。在UCI公开数据集上进行实验验证,结果表明:相比现有集成预测方法,该模型具有更高的预测精度和运行效率。

一种基于近邻样本评估的动态选择性集成预测算法

针对现有的动态选择策略局限于寻找待测样本的局部相似样本,未充分考虑样本特征之间的重要性程度,从而对预测精度造成影响的问题,该文提出一种基于近邻样本评估的动态选择性集成预测算法。算法基于误差扰动度量出特征的重要性权值,并在此基础上进行样本近邻的相似性度量。根据不同的待测样本特点自动适应近邻数目,找到最佳近邻。通过最佳近邻对具有不同预测精度的学习器的性能评估,择优筛选出精度较高的学习器进行选择性集成预测。实验结果表明,相比原有集成学习算法和普通选择性集成算法,该算法预测精度得到进一步提升,表现出良好的预测效果和较强的预测性能。