基于神经网络架构搜索的X射线图像违禁品检测算法

为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个layer结构搜索最佳侧分支;然后,逐层搜索构建新的骨干网络组件;最后,组成由数据驱动的新目标检测模型。该算法在数据集HiXray、OPIXray、PIDray上分别取得了83.4%、87.2%、70.4%的检测精度。实验结果表明,本文算法能够自适应数据集并自动搜索出性能更好的Backbone组件,与FCOS、YOLOv4等主流算法相比,有效提高了复杂背景下违禁品检测的准确率和速度。

基于神经网络架构搜索与特征融合的小样本脉搏波分类方法

基于深度学习的脉搏波分类依赖大量有标注数据,现有脉搏波带有疾病标注的数据少、标注方法不统一,导致模型准确率低、泛化能力弱。针对此问题,提出一种基于神经网络架构搜索与特征融合的小样本脉搏波分类方法。首先,在并行的双维度拆分卷积分支与因果空洞卷积分支中进行态射搜索,每次搜索结束,获取超网络分支的子网络作为候选网络进行训练评估。双维度拆分卷积分支提取脉搏波横、纵向维度时空特征,因果空洞卷积分支提取脉搏波节律特征。然后,利用特征融合方法整合分支多尺度特征。最后,依据评估指标得到最佳网络模型完成分类。实验结果表明,所提方法在两个小样本脉搏波数据集上准确率为97.04%和95.96%,F1值为97.04%和95.95%,具有较好分类效果。

自适应策略优化的粒子群优化算法在神经网络架构搜索中的应用

针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与局部信息的协同作用和智能切换学习策略。具体地,ARCLPSO利用全局和局部信息的协同作用令粒子向更优的方向移动,通过智能的切换粒子学习策略平衡粒子的搜索性能和收敛速度,提高搜索速度和搜索质量。在NAS-Bench-101数据集上的实验结果表明,ARCLPSO的收敛时间相较于传统进化算法(REA)和随机搜索(RS),分别减少了40.9%和55.2%。

基于神经网络架构搜索的细粒度花卉图像分类方法研究

为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,增强网络对可判别特征的关注度。其次,通过构建具有更多浅层特征输入节点的密集连接缩减单元(DCR cell),保留更多的浅层特征信息,减少可判别特征信息的损失并促进多尺度特征融合。最后,在堆叠最佳cell时调整DCR cell的位置,构建参数量大小不一的网络模型,以便在更多的终端设备上部署。结果表明,该方法耗时4.5 h搜索到了最佳神经网络模型,在Oxford 102和Flower 17上的分类准确率分别为96.14%和94.12%。与AGNAS等方法相比,在Oxford 102上提高了1.40百分点,在Flower 17上提高了3.09百分点。

遥感影像目标检测多尺度熵神经网络架构搜索

针对传统神经网络架构搜索需要耗费大量时间用于超网训练,搜索效率较低,搜索得到的模型无法高效解决遥感影像中多尺度目标检测困难、背景复杂度高的问题,本文提出采用多尺度熵神经网络架构搜索的方法进行遥感影像目标检测。首先,在搜索空间的基础模块中加入特征分离卷积以代替残差模块中的常规卷积,减少遥感影像中由于背景复杂度高而造成的信息间干扰,提高网络模型在复杂背景下的检测性能;然后,引入最大熵原理,计算搜索空间中每个候选网络的多尺度熵,将多尺度熵与特征金字塔网络相结合,以兼顾遥感影像大、中、小目标的检测;最后,在不进行参数训练的情况下利用渐进式进化算法搜索得到多尺度熵最大的网络模型用于目标检测任务,在保证模型检测精度的同时,提升网络搜索效率。本文方法在RSOD、DIOR和DOTA数据集上的平均检测精度均值分别达到93.1%、75.5%和73.6%,网络搜索时间为8.1 h。试验结果表明,与当前基准方法相比,本文方法能够显著提升网络的搜索效率,在目标检测任务中更好地结合了不同尺度下的特征并解决了影像背景复杂度高的问题。

基于神经网络架构搜索的铁道障碍物目标检测模型优化研究

利用神经网络实现对列车运行环境的自动感知已成为保障列车安全运营的一种重要手段。然而,传统的神经网络模型设计往往依赖人工试错和经验积累,不仅耗时、费力,而且难以保证最终模型的性能最优。为此,文章提出一种零成本神经网络架构搜索方法来优化铁道障碍物目标检测模型。其首先构建一个全面的模型架构空间,并在此基础上,根据实际应用中的计算量需求对搜索范围进行有效约束,确保最终选择的模型在满足精度要求的同时也兼顾运行效率要求;接着,利用零成本神经网络架构搜索算法,快速预测各种架构的实际效果,无需进行冗长且耗时的实际训练;最后,通过比较不同模型的预期性能得分,选取最优者作为最终方案。实验结果表明,采用该方法,实现了0.711的均值平均精度以及6.12ms的单帧平均推理时间,效果显著优于同等计算量下基准模型的。

基于神经网络架构搜索的铭牌目标检测方法

为了提高构建深度卷积神经网络(CNN)的自动化程度并进一步提高目标检测精度,提出了一种改进的基于DenseNAS的神经网络架构搜索方法以自动构建铭牌检测CNN。首先,基于改进DenseNAS的Head层,设计了可搜索的、融合深浅层特征的子网模块(CSP-Block1和CSP-Block2)。然后,基于CSP-Block1和CSP-Block2构建的搜索空间,搜索铭牌检测CNN的Backbone和Head。实验结果表明,该方法在一个铭牌5分类的数据集上,耗时约9.35 GPU hours搜索出了最佳神经网络,在测试集上检测精度mAP≈97.3%,比YOLOv5等SOTA方法更高。

神经网络架构搜索研究进展与展望

神经网络架构搜索旨在针对不同任务,自动化地搜索得到性能最优的神经网络结构,是深度学习、计算机视觉技术结合当前现实需求应运而生的一大重要科学问题。对近年来神经网络架构搜索研究进行梳理、归类和评述;阐述神经网络架构搜索的定义和意义,全方位剖析当前研究所面临的难点与挑战;以此为基础,对主流的搜索策略进行阐述和归纳;探讨研究潜在的问题及未来颇具潜力的研究方向,以期推动该领域的进一步发展。

基于神经网络架构搜索的语义分割方法

神经网络架构搜索旨在使用搜索策略在给定的搜索空间上让算法自动搜索出网络结构模型以减少人工设计网络的任务量,拓展神经网络架构搜索在语义分割领域的应用对自动化深度学习领域的研究有重要意义。通过设计U型搜索空间,将可微分神经网络架构搜索策略应用于语义分割模型。实验结果显示,在The Oxford-IIIT Pet数据集搜索得到的网络与基准网络UNet相比,搜索出的网络模型mIOU提高了14.1%,分割的效果更加显著,轮廓边界更加清晰。将搜索出来的网络迁移到Camvid数据集上进行测试,比基准网络实验精度提升了20.5%。研究表明,神经网络架构搜索与语义分割的结合在自动化深度学习领域的研究中具有重要意义,能够使语义分割模型获得更优秀的性能。

基于多目标神经网络架构搜索的COVID-19图像分类

COVID-19的流行在全球范围内造成巨大影响,对于这种突发的流行性疾病,如何有效和准确地对其诊断是后续医治的关键。近年来,基于卷积神经网络(Convolutional Neural Networks,CNN)的医学图像分类技术被广泛应用于COVID-19的诊断和识别。然而,针对特定问题设计出CNN网络架构,需要丰富的先验知识和高额的试错成本,影响CNN在实际问题中的适用性。因此,神经网络架构搜索(Neural Architecture Search,NAS)技术作为一种能够在特定数据集中自动搜索高性能网络架构的方法,已成为深度学习领域的一个热门研究领域。提出了一种基于多目标进化算法的神经网络架构搜索框架(MOEvoNAS),以分类准确率、召回率以及网络复杂度为优化目标,设计出轻量化、高性能的CNN,用于COVID-19计算机断层扫描图像的分类和识别。实验结果表明,相比于其他对比网络,所提出的MOEvoNAS在小型COVID-CT数据集以及更复杂的大型COVIDx-CT和COVIDx-CT 2A数据集上均表现出较好的性能。

基于集合和神经网络架构搜索的自动历史拟合方法

由于人工经验选取的局限性,难以获取决定模型重构精度的最优网络参数是目前使用深度学习方法在自动历史拟合中对油藏地质模型进行降维时的难点之一。针对此问题,通过将深度自编码器与粒子群优化算法相互结合实现最佳网络架构的自动搜索,并以此构建一种基于集合数据同化和神经网络架构自动搜索的油藏自动历史拟合方法。分别对一个二维河流相油藏渗透率场分布模型以及SPE-10单层油藏数值模型应用该方法,并与单一的自动历史拟合方法进行对比验证。结果表明,经优化后自动搜索出最优神经网络构架的自动历史拟合方法要比优化前及单一的自动历史拟合方法能够更准确地提取出油藏数值模型的地质特征。

一种神经网络架构搜索遥感图像分类方法

针对传统深度卷积神经网络遥感图像分类方法需要不断进行试错,花费相关专家大量时间和计算资源的问题,提出了一种基于神经网络架构搜索的遥感图像分类方法。首先搜索最优单元(cell),再以预定义的方式堆叠该最优单元得到目标网络。其中该方法将离散的网络架构表达连续化,从而可以使用梯度下降的方法在离散的搜索空间内进行搜索,实现其高效性。为了提高其精确性,该方法还对目标网络在训练集上进行重新训练。实验结果表明,在实验测试集上测试用时4 h训练所得模型分类准确率达到了88.57%,说明了该方法的高效性以及高精确性。

基于注意力机制的点云神经网络架构搜索方法

为了解决设计面向点云数据的神经网络需要大量人工介入的问题,提出了基于注意力机制和点卷积的神经网络架构搜索方法。针对不同尺度点云的信息融合问题,提出了一种基于注意力机制的多尺度融合模块。针对点云的处理效率问题,设计了基于点卷积的特征提取模块作为候选操作,并与多尺度融合模块组成搜索单元。将多个搜索单元叠加成的神经网络作为搜索空间,并采用基于可微分神经网络架构搜索算法搜索出最优神经网络。在公开点云数据集ModelNet上的实验结果证明,该方法得到的神经网络具有领先的精度,同时具有较少的可学习参数,并且该方法大幅减少了人工介入的工作量。该数据集上的消融实验结果表明,在基线模型中加入提出的基于注意力机制的多尺度融合模块,精度提升了1.1个百分点。

ED-NAS:基于神经网络架构搜索的陶瓷晶粒SEM图像分割方法

为了提高深度卷积神经网络(Convolutional Neural Network,CNN)设计的自动化程度并进一步提高陶瓷晶粒扫描电子显微镜(Scanning Electron Microscope,SEM)图像分割的准确性,提出了一种基于神经网络架构搜索的陶瓷晶粒图像分割方法 .该方法设计多分支结构编码空间和链式结构解码空间,并构造多分支结构编码Cell和链式结构解码Cell;同时基于强化学习分别搜索最佳编码Cell和解码Cell;此外,基于编码-解码神经网络架构堆叠最佳Cell构建陶瓷晶粒图像分割CNN,并采用池化索引在解码阶段恢复丢失的细节信息.实验在包含了629张的陶瓷晶粒SEM图像数据集上进行,搜索最佳Cell耗时约148 GPU-时.与U-Net、SegNet等SOTA方法相比,该方法在陶瓷晶粒测试集上获得了更高的分割准确性(mIoU≈68.9%).

基于递归结构的神经网络架构搜索算法

神经网络架构搜索算法旨在通过计算机的启发式搜索代替人工搜索,在巨大的神经网络结构空间中寻找更为高效的神经网络结构.许多研究通过引入各种对搜索空间的约束来解决早期神经网络结构搜索效率低下、耗时长的问题.然而,对于搜索空间的约束虽然能够提升并稳定所搜索到的模型的性能,但同时也导致了很多潜在的高性能模型结构无法被搜索到.构建了一种更为关注神经网络宏观结构的递归型搜索空间,并提出通过分步渐进搜索方案探索这个搜索空间的神经网络架构搜索算法.实验表明,该算法能在复杂的搜索空间中高效完成神经网络架构搜索任务,但与最新的基于受约束搜索空间的神经网络架构搜索算法相比仍稍有差距.

基于边缘特征的图神经网络架构搜索

针对图神经网络架构搜索方法存在注重实体特征信息、忽略边缘特征潜在信息的问题,提出一种边缘特征图神经网络架构搜索方法,采用随机梯度下降的搜索策略优化图神经网络架构以提高搜索性能.首先,设计基于边缘特征的搜索空间,用于实体和边缘特征的提取;其次,通过边的权重进行决策,逐步对边进行裁剪,得到一个无需权重共享的网络架构.在三维点云数据集ModelNet上的实验结果表明:所提方法能有效提取图神经网络的边缘信息;与连续贪婪神经网络搜索、基于资源平衡的架构搜索、含注入噪声的可微分神经网络搜索等自动搜索的网络架构和人工设计的网络架构相比,所提方法能搜索出高效的网络架构,在三维点云模型分类中具有较高的准确率.

采用神经网络架构搜索的遥感影像分割方法

由于传统的深度卷积神经网络分割高分辨率遥感影像需人工设计网络架构,过度依赖专家经验,耗时费力,且网络泛化能力较差,因此,提出一种资源平衡型部分通道采样的神经网络架构搜索方法。首先,在网络架构参数中添加资源平衡项,提升搜索算法稳定性,同时减小剪枝过程中产生的更新不平衡和离散化误差;其次,选择部分通道进行搜索空间的混合操作,以节省计算资源,提升搜索效率,缓解网络过拟合;最后,根据高分辨率遥感影像地物复杂、分布离散及空间范围广等特点,引入Gumbel-Softmax Trick方法从非连续概率分布进行采样,以提高采样效率。在WHUBuilding数据集上MIoU语义分割评价指标达到90.93%,在GID数据集上MIoU语义分割评价指标达到69.53%,优于SegNet、U-Net、Deeplab v3+、NAS-HRIS等网络模型。实验结果表明,新方法能高效地自动搜索出分割高分辨率遥感影像的网络架构,具有分割精度高、计算资源占用率低的特点。

针对图像盲去模糊的可微分神经网络架构搜索方法

为了解决设计图像去模糊神经网络依赖大量手工调参的问题,提出一种面向图像盲去模糊的可微分神经网络架构搜索方法。通过设计U型残差搜索空间,将去模糊网络的搜索过程分为9个搜索单元的搜索过程,降低了搜索的复杂度,并设计出一个基于随机游走和最近邻插值的算法,通过模拟相机运动轨迹的方式生成模糊核,进而生成足够的模糊图像用于训练。实验结果表明,该方法明显减少了人工调参的工作量,在GOPRO和Kohler数据集上搜索得到的网络,峰值信噪比相对于基准网络UNet分别提升3.10dB和1.17dB,并接近UNet的推理速度。

神经网络架构搜索综述

神经网络架构搜索是近年来兴起的自动化机器学习的重要组成部分。神经网络架构搜索旨在通过人为进行一些限定,让机器能够在一定范围内自动对输入的深度学习任务进行自动模型构建和性能评估,并最终产出一个针对该研究问题的神经网络架构,作为整个算法的产出,从而达到降低人工干预,实现机器自动化,获取高性能模型的目的。本文对近年来国内外的研究进行总结分析,旨在给初入本领域的科研人员一个可以参照的指导性文章,帮助科研人员快速入门并深入研究。

采用神经网络架构搜索的三维模型分类

针对可微架构搜索方法存在的离散化误差、更新不平衡、跳跃连接富集等问题,提出一种基于资源平衡的网络架构搜索方法.首先,通过资源平衡型渐进式剪枝法裁剪对性能提升贡献较小的弱操作;其次,为使架构搜索过程中各操作具有单独的权重,能够体现出每个操作对超网性能的贡献,将架构搜索过程中各操作算子之间的竞争关系改为先合作、后竞争的关系;最后,对候选操作添加高斯噪声以抑制跳跃连接的不公平竞争优势.在三维点云数据集ModelNet和二维图像数据集CIFAR-10进行了实验,结果表明所提方法能有效地减小离散化误差,防止跳跃连接富集导致的性能坍塌;与SGAS,NoisyDARTS和人工设计的网络架构相比,所提方法能高效地搜索出帕累托最优网络架构,在三维点云模型分类过程中具有较高的分类准确率.