基于人工经验网络架构为初始化的NAS算法

为了解决神经架构搜索(neural architecture search,NAS)算力要求高、搜索耗时长等缺陷,结合深度神经网络的人工设计经验,提出基于人工经验网络架构初始化的NAS算法.该算法对搜索空间进行了重新设计,选取VGG-11作为初始架构,有效减少了由参数的随机初始化带来的无效搜索.基于上述设计方案,在图像分类经典数据集Cifar-10上进行了实验验证,经过仅12 h的搜索便获得VGG-Lite架构,其错误率低至2.63%,参数量为1.48 M.比现阶段性能最佳的人工设计结构DenseNet-BC错误率低0.83%,参数量减少至DenseNet-BC的1/17.结果表明,该方法可以搜索到优秀的网络架构并显著提高搜索效率,对NAS算法的普及有着重要的意义.