动态权重证据推理规则的CNN超参数质量评估

卷积神经网络(Convolutional Neural Networks,CNN)在计算机视觉、自然语言处理为代表的数据处理领域应用广泛.在CNN训练过程中,超参数设置依赖于先验知识,不恰当的超参数会影响模型的训练效率和精度.为了解决这一问题,本文提出基于证据推理规则(Evidential Reasoning Rule,ER Rule)的CNN超参数质量评估模型,可在训练前提供高质量的超参数选择,从而提高模型的训练效率.首先,描述了CNN超参数评估的过程,然后构建了CNN的超参数质量评估模型,运用了奖罚策略实现指标权重的动态适应并给出模型的推理过程.最后,通过图像分类实验验证了模型的实际效果,实验结果表明本文提出的CNN超参数评估模型在多个数据集上预测准确率均高于90%,能够有效建立超参数与CNN模型效果的映射关系,从而过滤低质量的超参数.

基于改进的RReliefF算法的超参数重要性分析

自动化超参数配置方法在超参数调优过程中表现优异,但在超参数重要性分析方面还存在许多约束和限制。现有的超参数重要性评估方法多数局限于迭代构建模型,导致时间复杂度增加。为了解决该问题,提出一种基于改进的RReliefF算法直接评估超参数及超参数之间重要性权重。该算法根据每一个超参数对性能的影响程度估计单个超参数对性能贡献的能力,通过改进的归一化公式计算超参数之间的重要性权重。该算法分析得到了随机森林算法及SVM算法的超参数重要性权重,与相关方法比较具有一定的优势。