基于代理模型进化的高效神经网络架构搜索

针对传统人工神经网络设计的时间复杂性与调试困难等问题,研究基于神经网络架构搜索的高效神经网络架构自动搜索方法,解决网络设计方案,提出了一种代理模型进化方法的高效神经网络搜索方法。上述方法将代理模型集成到遗传算法中,通过训练代理模型将预测卷积神经网络(Convolutional Neural Networks,CNN)性能问题转化为二值分类问题,加速网络评估过程。另外,在最新一代模型中,子模型通过继承父模型参数,在训练数据集上训练较少次数,加速最优网络的生成。所提方法在CIfar-10数据集上分类精度为95.6%,模型参数为3.4M;在Cifar-100数据集上分类精度为77.46%,模型参数为4.3M。由于使用代理模型和参数共享,新方法在cirar-10数据集上经过2.5天搜索获得性能优异的模型,避免了43.8%的候选CNN训练。