基于有偏采样的连续进化神经架构搜索

由于需要对每一个搜索到的架构进行独立的性能评估,神经架构搜索(NAS)往往需要耗费大量的时间和计算资源。提出一种基于有偏采样的连续进化NAS方法(OEvNAS)。OEvNAS在架构搜索过程中维护一个超网络,搜索空间中所有的神经网络架构都是该超网络的子网络。在演化计算的每一代对超网络进行少量的训练,子网络直接继承超网络的权重进行性能评估而无需重新训练。为提高超网络的预测性能,提出一种基于有偏采样的超网络训练策略,以更大的概率训练表现优异的网络,在减少权重耦合的同时提高训练效率。此外,设计一种新颖的交叉变异策略来提高算法的全局探索能力。在NATS-Bench和可微分架构搜索(DARTS)两个搜索空间上验证OEvNAS的性能。实验结果表明,OEvNAS的性能超越了对比的主流算法。在NATS-Bench搜索空间上,提出的超网络训练策略在CIFAR-10、CIFAR-100和ImageNet16-200上均取得了优异的预测性能;在DARTS搜索空间上,搜索到的最优神经网络架构在CIFAR-10和CIFAR-100上分别取得了97.67%和83.79%的分类精度。

基于神经网络架构搜索的X射线图像违禁品检测算法

为了提高卷积神经网络设计的自动化程度并进一步提高复杂背景下违禁品检测的准确率和速度,提出了一种基于神经网络架构搜索的X射线图像违禁品检测算法。首先,设计逐层渐进式搜索策略和多分支搜索空间,并基于批量归一化指标为每一个layer结构搜索最佳侧分支;然后,逐层搜索构建新的骨干网络组件;最后,组成由数据驱动的新目标检测模型。该算法在数据集HiXray、OPIXray、PIDray上分别取得了83.4%、87.2%、70.4%的检测精度。实验结果表明,本文算法能够自适应数据集并自动搜索出性能更好的Backbone组件,与FCOS、YOLOv4等主流算法相比,有效提高了复杂背景下违禁品检测的准确率和速度。

基于神经网络架构搜索的细粒度花卉图像分类方法研究

为了提升深度卷积神经网络设计的自动化程度,并进一步提高细粒度花卉图像的分类准确率,提出了一种改进的基于DARTS的神经网络搜索方法,用于自动构建细粒度花卉图像分类模型。首先,通过构建注意力-卷积模块,形成全注意力-卷积搜索空间,增强网络对可判别特征的关注度。其次,通过构建具有更多浅层特征输入节点的密集连接缩减单元(DCR cell),保留更多的浅层特征信息,减少可判别特征信息的损失并促进多尺度特征融合。最后,在堆叠最佳cell时调整DCR cell的位置,构建参数量大小不一的网络模型,以便在更多的终端设备上部署。结果表明,该方法耗时4.5 h搜索到了最佳神经网络模型,在Oxford 102和Flower 17上的分类准确率分别为96.14%和94.12%。与AGNAS等方法相比,在Oxford 102上提高了1.40百分点,在Flower 17上提高了3.09百分点。

基于多域融合及神经架构搜索的语音增强方法

为进一步提高语音增强模型的自学习及降噪能力,提出基于多域融合及神经架构搜索的语音增强方法。该方法设计了语音信号多空间域映射及融合机制,实现信号实复数关联关系的挖掘;围绕模型卷积池化运算特点,提出了复数神经架构搜索机制,通过设计的搜索空间、搜索策略及评估策略,高效自动地构建出语音增强模型。实验搜索到的最优语音增强模型与基线模型的对比泛化实验中,语音质量客观评价(PESQ)、短时客观可懂度(STOI)两大指标较最优基线模型均最大提升5.6%,且模型参数量最低。

基于元学习和神经架构搜索的半监督医学图像分割方法

多数医学图像分割方法主要在相同或者相似医疗数据领域进行训练和评估,意味其需要大量像素级别的标注。但这些模型在领域分布外的数据集上面临挑战,被称为“域偏移”问题。通常使用固定的U形分割架构解决该问题,导致其无法更好地适应特定分割任务。文中提出了一种基于梯度的元学习与神经架构搜索方法,可以根据特定任务调整分割网络以实现良好的性能并且拥有良好的泛化能力。该方法主要使用特定任务进行架构搜索模块来进一步提升分割效果,再使用基于梯度的元学习训练算法提升泛化能力。在公共数据集M&Ms上,在5%标签数据下,其Dice和Hausdorff distance分别为79.62%、15.38%。在2%标签数据下,其Dice和Hausdorff distance分别为74.03%、17.05%。与其他主流方法相比,文中所提方法拥有更好的泛化能力。

基于神经架构搜索的智能电表窃电识别方法研究

本文基于神经架构搜索技术,利用大规模智能电表数据进行训练,自动判断电流、电压和功率特征,旨在提高窃电行为的准确识别度并降低误报率。本文采用神经架构搜索算法构建的窃电识别模型,更精准地识别窃电行为。研究的最终目标在于加强供电公司对窃电行为的监测,提高打击能力,保障电网安全、稳定地运行。该方法的应用十分广泛,可推动智能电表技术的发展,为电力行业提供更高效的管理手段。

基于神经架构搜索及特征组合的便携式雷达个体识别方法

电磁环境日趋复杂、雷达辐射源体制愈发多样,面向现代电子对抗需求的辐射源个体识别任务充满严峻挑战,特别是针对便携式雷达目标,个体识别模型性能会随着环境、参数变化、调制方式变换等因素出现显著下降。针对上述问题,提出了一种基于神经架构搜索及特征组合的个体识别方法,利用神经架构搜索自适应组建深度神经网络模型,对原始信号、不同特征之间的组合进行结构化调整,提高模型面对便携式雷达信号时的识别性能。

基于神经架构搜索的非结构化剪枝方法

由于难以使用客观标准删除深度神经网络中的冗余单元,剪枝后的网络表现出性能的急剧退步.针对此问题,文中提出基于神经架构搜索的非结构化剪枝方法.首先,将掩码学习模块定义在搜索空间中,以便删除冗余的权重参数.然后,引入层级相关系数传播,在反向传播过程中为每个网络权重分配一个层级相关系数,以此衡量每个权重对网络输出的贡献度,并帮助二值掩码参数的更新.最后,对网络权重、架构参数和层级相关系数进行统一更新.在CIFAR-10、ImageNet分类数据集上的实验表明,文中方法能够在高剪枝率场景下保持网络的泛化能力,满足模型部署的要求.

基于神经网络架构搜索的铭牌目标检测方法

为了提高构建深度卷积神经网络(CNN)的自动化程度并进一步提高目标检测精度,提出了一种改进的基于DenseNAS的神经网络架构搜索方法以自动构建铭牌检测CNN。首先,基于改进DenseNAS的Head层,设计了可搜索的、融合深浅层特征的子网模块(CSP-Block1和CSP-Block2)。然后,基于CSP-Block1和CSP-Block2构建的搜索空间,搜索铭牌检测CNN的Backbone和Head。实验结果表明,该方法在一个铭牌5分类的数据集上,耗时约9.35 GPU hours搜索出了最佳神经网络,在测试集上检测精度mAP≈97.3%,比YOLOv5等SOTA方法更高。

一种基于混合粒子群优化算法的深度卷积神经网络架构搜索方法

神经架构搜索(neural architecture search,NAS)技术自动寻找神经网络中各层的最佳组合和连接方式,以及各种超参数的最佳分布。该方法从搜索空间生成若干不同的卷积神经网络(CNN),使用混合粒子群优化(hybrid particle swarm optimization,HPSO)算法,将一定数目的神经网络个体视做一个群体,将每个网络个体在评价指标下的表现值视做适应度,在给定的世代数范围内,每个神经网络个体都学习自身的历史最佳适应度个体,和整个群体的最佳适应度个体,迭代改善自身的网络架构。实验结果表明,算法运行中出现的最优网络架构,在图像分类任务的多个基准数据集上,与手工设计的神经网络和以遗传算法为基础的NAS算法相比,在网络参数数量和准确率的平衡上取得了有竞争力的结果。

基于可微分架构搜索的端到端场景文字检测及识别算法

在自然场景文字检测和识别任务中,现有大多数方法的文字检测和文字识别过程相对独立,导致这些方法处理速度较慢;此外,这些方法的训练和推理过程较为复杂,并且手工设计合理的架构比较困难。针对以上这些问题,基于可微分架构搜索方法提出了多分支自动选择网络(MBASNet),该网络由数个多分支自动选择块(MBASB)组成。MBASB能在不显著增加计算量的情况下通过自动搜索检测和识别性能较优的子分支结构,组合多个MBASB得到整个检测和识别网络。所提出的MBASNet可以同时训练检测子网络和识别子网络,降低文字检测和识别任务中网络的训练和推理难度,提高对文字的检测和识别速度。MBASNet在ICDAR2013数据集上取得了89.4%的精确率和91.4%的召回率,在ICDAR15数据集上取得了80.5%的精确率和86.8%的召回率,并且计算速度达到了每秒68帧。

渐进式深度集成架构搜索算法研究

深度神经网络已在各个领域取得巨大成功.然而,深度学习模型并不只包含深度神经网络.近年来,以深度森林为代表的深度集成学习模型,凭借着无需反向传播训练、计算开销更小、模型复杂度支持自适应确定以及表数据建模任务性能优异等特点,引起了学界和业界的广泛关注,并且取得了良好的应用效果.深度森林为探索DNN(Deep Neural Network)之外的深度学习模型打开了另一扇门.然而,现有的深度集成模型主要以深度森林为主,深度集成架构较为单一,基学习器的数量与集成方式较为固定,需要探索除深度森林之外的深度集成学习模型架构.另外,实际应用中,很难存在一种深度集成学习模型架构能够在不同数据集上均取得优异性能,尤其是对于数据特征差异较大的表格型数据集.因此,也需要一种高效的数据自适应的深度集成学习架构设计方法.为此,本文从搜索空间和搜索算法两个层面,研究提出了一种高效的基于代理模型的渐进式深度集成架构搜索方法PMPAS(Proxy Model-based Progressive Architecture Search).首先,通过归纳分析已有深度集成学习模型的特点,给出了深度集成架构的形式化定义.其次,研究提出了两种全新的深度集成架构搜索空间,即基于完全并行的搜索空间和基于有向无环图的搜索空间.然后,在上述两种搜索空间的基础上,研究提出了基于代理模型的渐进式搜索方法与算法,实现从简单到复杂逐步地在搜索空间中进行探索,并采用代理模型作为指导,降低模型评估开销.最后,本文从时间复杂度和空间复杂度两个方面对搜索算法进行分析.在分类、回归等公开的表格型数据集上的大量实验结果表明,通过PMPAS算法搜索得到的深度集成架构,其性能不仅优于已有的集成学习模型、深度学习模型以及以深度森林为代表的深度集成学习模型,而且优于已有的自动化模型选择算法.随着时间预算的不断增加,性能优势更为明显.PMPAS开源地址为:https://github.com/PasaLab/PMPAS.

利用早停可微架构搜索的三维点云模型分类

针对现有三维点云分类网络采用人工设计费时费力的问题,提出早停可微架构搜索(early-stopping differentiable architecture search,ES-DARTS)算法。利用从人工设计网络架构中提取到的先验知识,预定义一个包含高效候选操作的搜索空间,可快速搜索出适用于三维模型分类任务的高性能网络模型;通过追踪网络搜索阶段各候选操作的权重变化,找出跳跃连接操作在双重优化过程中发挥不公平竞争作用的临界点并在此处停止搜索,以保证各候选操作之间的稳定性,解决DARTS算法搜索过程中易出现性能崩溃的问题。提出的算法在ModelNet40数据集上达到了93.2%的识别准确率,比当前人工设计的主流网络具有更高的识别准确率。

基于神经架构搜索的色素性皮损图像分类方法

针对卷积神经网络设计高度依赖专家经验、需要大量参数调优和效率低的问题,提出了一种基于单路径激活搜索策略的神经架构搜索方法(SPA-NAS),并应用于色素性皮损图像分类。该方法将搜索空间构建为一个过参数化神经网络架构,该架构包含了所有的路径,并且每条路径都被分配一个架构参数以表示路径的占比强度。为了避免搜索所有路径,提出了一种单路径激活策略对构建的过参数化神经网络架构进行路径剪枝,以得到一个更加精简的子架构。搜索时,采用梯度下降法学习和优化架构参数,得到最佳子架构。最后,采用子架构堆叠方式构建色素性皮损图像分类卷积神经网络。实验表明,该方法自动构建的卷积神经网络取得了比Dilated-VGG19和ARL-CNN等SOTA方法更高的分类准确性,在ISIC2017和HAM10000数据集上的平均敏感度分别为62.4%和69.8%。

基于神经网络架构搜索的语义分割方法

神经网络架构搜索旨在使用搜索策略在给定的搜索空间上让算法自动搜索出网络结构模型以减少人工设计网络的任务量,拓展神经网络架构搜索在语义分割领域的应用对自动化深度学习领域的研究有重要意义。通过设计U型搜索空间,将可微分神经网络架构搜索策略应用于语义分割模型。实验结果显示,在The Oxford-IIIT Pet数据集搜索得到的网络与基准网络UNet相比,搜索出的网络模型mIOU提高了14.1%,分割的效果更加显著,轮廓边界更加清晰。将搜索出来的网络迁移到Camvid数据集上进行测试,比基准网络实验精度提升了20.5%。研究表明,神经网络架构搜索与语义分割的结合在自动化深度学习领域的研究中具有重要意义,能够使语义分割模型获得更优秀的性能。

神经网络架构搜索研究进展与展望

神经网络架构搜索旨在针对不同任务,自动化地搜索得到性能最优的神经网络结构,是深度学习、计算机视觉技术结合当前现实需求应运而生的一大重要科学问题。对近年来神经网络架构搜索研究进行梳理、归类和评述;阐述神经网络架构搜索的定义和意义,全方位剖析当前研究所面临的难点与挑战;以此为基础,对主流的搜索策略进行阐述和归纳;探讨研究潜在的问题及未来颇具潜力的研究方向,以期推动该领域的进一步发展。

图神经架构搜索综述

图数据可以广泛建模事物之间的复杂关系.小到蛋白质中的分子与氨基酸结构,大到世界范围的物流与交通网络;从人类社会的社交网络,到信息空间的互联网,均可统一表示为图数据的形式.图数据中蕴藏着巨大的研究与应用价值.图神经网络是过去几年中图数据上进行机器学习的主要范式.通过在图数据的链接关系上重新定义神经网络架构并实现端到端的学习,图神经网络可以有效处理节点分类、链接预测、图分类等多种图数据分析与挖掘任务.然而,由于图数据的复杂性、图任务的多样性以及图神经网络的复杂程度,人工设计最优的图神经网络架构变得越来越困难,且无法适应开放变化环境.图神经架构搜索,旨在自动化设计针对特定数据集与任务的最优图神经网络架构,应运而生并逐渐受到了学术界和工业界的关注.在本文中,我们对图神经架构搜索这一快速发展的新兴领域进行综述.特别地,我们系统总结并梳理了目前已公开发表的四十余篇图神经架构搜索算法,并从搜索空间、搜索策略、模型性能评估策略以及其他特点对已有算法进行了全面的分类、对比与评述,并从实验上对上述算法进行了归纳.此外,我们还对近期的图神经架构搜索研究趋势进行了评述.最后,我们分享了对图神经架构搜索未来研究方向的看法.

基于注意力机制与神经架构搜索的实时语义分割网络

在实时语义分割的传统应用中,往往会为了加快模型推断的速度而遗失一些重要的低级细节和高级语义特征,尽管目前推出的许多方法可以使延迟和精度2个指标保证一定平衡,但在特征处理上却未实现对细节信息的高效提取以及聚合。在速度方面,算力开销巨大的分割模型往往在图像分割的实时帧率上差强人意,为解决此问题设计出了一种使语义分割网络能够在低延迟的环境要求下实现高效像素分割的改进结构,先是通过神经架构搜索和自适应注意力机制集成多分辨率搜索分支架构生成师生网络分支,然后用师生蒸馏网络得到具备低延迟和高精度的轻量级网络模型。既可以在硬件资源约束的情况下完成对复杂环境的实时任务处理,也能在Cityspaces数据集上展现出优良的准确率,测试集的分割精度达到了72.2%。

基于多目标神经网络架构搜索的COVID-19图像分类

COVID-19的流行在全球范围内造成巨大影响,对于这种突发的流行性疾病,如何有效和准确地对其诊断是后续医治的关键。近年来,基于卷积神经网络(Convolutional Neural Networks,CNN)的医学图像分类技术被广泛应用于COVID-19的诊断和识别。然而,针对特定问题设计出CNN网络架构,需要丰富的先验知识和高额的试错成本,影响CNN在实际问题中的适用性。因此,神经网络架构搜索(Neural Architecture Search,NAS)技术作为一种能够在特定数据集中自动搜索高性能网络架构的方法,已成为深度学习领域的一个热门研究领域。提出了一种基于多目标进化算法的神经网络架构搜索框架(MOEvoNAS),以分类准确率、召回率以及网络复杂度为优化目标,设计出轻量化、高性能的CNN,用于COVID-19计算机断层扫描图像的分类和识别。实验结果表明,相比于其他对比网络,所提出的MOEvoNAS在小型COVID-CT数据集以及更复杂的大型COVIDx-CT和COVIDx-CT 2A数据集上均表现出较好的性能。

基于集合和神经网络架构搜索的自动历史拟合方法

由于人工经验选取的局限性,难以获取决定模型重构精度的最优网络参数是目前使用深度学习方法在自动历史拟合中对油藏地质模型进行降维时的难点之一。针对此问题,通过将深度自编码器与粒子群优化算法相互结合实现最佳网络架构的自动搜索,并以此构建一种基于集合数据同化和神经网络架构自动搜索的油藏自动历史拟合方法。分别对一个二维河流相油藏渗透率场分布模型以及SPE-10单层油藏数值模型应用该方法,并与单一的自动历史拟合方法进行对比验证。结果表明,经优化后自动搜索出最优神经网络构架的自动历史拟合方法要比优化前及单一的自动历史拟合方法能够更准确地提取出油藏数值模型的地质特征。