神经架构搜索综述

近几年,深度学习因具有强大的表征能力,已经在许多领域中取得了突破性的进展,而神经网络的架构对它的性能至关重要。然而,高性能的神经网络架构设计严重依赖研究人员的先验知识和经验,神经网络参数量庞大,难以设计最优的神经网络架构,因此自动神经架构搜索(NAS)获得了极大的关注。NAS是一种使用机器学习的方法,可以在不需要大量人力的情况下,自动搜索最优网络架构的技术,是未来神经网络设计的重要手段之一。NAS本质上是一个搜索优化问题,通过对搜索空间、搜索策略和性能评估策略的设计,自动搜索最优的网络结构。从搜索空间、搜索策略和性能评估策略这3个方面详细且全面地分析、比较和总结目前NAS的研究进展,方便读者快速了解神经架构搜索的发展过程和各项技术的优缺点,并提出NAS未来可能的研究发展方向。

铁路客运场景下基于图像搜索的遗失物品查找方法

当前铁路客运场景下的遗失物品查找方法效率低下,影响了旅客的出行体验,给各车站的生产经营造成了困扰。为创新铁路客运场景下的遗失物品查找方式,在分析铁路客运遗失物品查找需求与难点的基础上,结合人脸识别以及深度学习的前沿技术成果,建立了一种基于图像搜索的遗失物品查找框架,设计了面向铁路客运场景的安检遗失物品查找方案以及非安检遗失物品查找方案。研究结果表明,该方法可进一步提高铁路客运运营的智能化水平,优化遗失物品的查找效率,在跨模态检索测试中有较高的检索精度,但在部分类别中的检索结果存在误差。基于研究结果,从算法改进与模型微调策略等方面进行了展望。

基于改进VMD-MCKD和深度残差网络的风机齿轮箱故障诊断

行星齿轮箱是风电机组传动系统中的重要部件,其运行工况复杂,背景噪声大,导致齿轮早期故障信号微弱且极易受背景噪声的影响。针对风电机组齿轮箱早期故障特征难以有效提取,齿轮故障难以识别的问题,提出一种风机齿轮箱故障诊断方法。首先,通过变分模态分解算法(variational mode decomposition,VMD)分解风机齿轮箱原始振动信号,获得振动信号故障的最优模态分量;接着,利用最大相关峭度解卷积算法(maximum correlated kurtosis decnvolution,MCKD)通过解卷积重构最优模态分量,削弱背景噪声增强故障冲击成分,获得故障特征;同时利用麻雀搜索算法(sparrow search algorithm,SSA)优化惩罚因子α、模态分解个数K、滤波器阶数L和反褶积周期T等参数,提升振动信号故障特征提取的准确度;最后,构建基于深度残差网络(deep residual network,ResNet)的齿轮箱故障诊断模型,建立齿轮箱故障特征与类别的非线性映射关系,实现风机齿轮箱故障分类识别。实验结果表明,所提风机齿轮箱故障诊断方法的准确率达到97.48%,相较其他方法在信号特征提取和故障诊断效率方面有明显提高。

基于改进DQN算法的应召搜潜无人水面艇路径规划方法

针对应召反潜中无人水面艇航向和航速机动的情形,提出一种基于改进深度Q学习(Deep Q-learning,DQN)算法的无人艇路径规划方法。结合应召搜潜模型,引入改进的深度强化学习(Improved-DQN,I-DQN)算法,通过联合调整无人水面艇(Unmanned Surface Vessel,USV)的动作空间、动作选择策略和奖励等,获取一条最优路径。算法采用时变动态贪婪策略,根据环境和神经网络的学习效果自适应调整USV动作选择,提高全局搜索能力并避免陷入局部最优解;结合USV所处的障碍物环境和当前位置设置分段非线性奖惩函数,保证不避碰的同时提升算法收敛速度;增加贝塞尔算法对路径平滑处理。仿真结果表明,在相同环境下新方法规划效果优于DQN算法、A^(*)算法和人工势场算法,具有更好的稳定性、收敛性和安全性。

基于DBN和BES-LSSVM的矿用压风机异常状态识别方法

针对矿用压风机这类分布式系统的异常类别复杂、识别精度低等问题,提出了一种基于深度置信网络(DBN)和最小二乘支持向量机(LSSVM)的异常状态识别方法。首先,分析压风机组成系统及其运行机理,确定常见的异常状态类型;其次,采用DBN无监督学习方式充分挖掘监测数据中异常特征并快速提取;然后,利用秃鹰搜索算法(BES)优化LSSVM的超参数,构建最优的BES-LSSVM分类模型;最后,将DBN提取的异常特征作为BES-LSSVM模型的输入,对矿用压风机异常状态进行识别。试验验证与对比分析结果表明,相较于GA,PSO,GWO算法,BES算法的求解精度和收敛速度均有所提高,同时DBN-BES-LSSVM模型在测试集上平均识别精度达到94.65%,较PCA-LSSVM模型、DBN模型和DBN-LSSVM模型的识别精度分别提高了10.53%,5.84%和3.76%,验证了DBN-BES-LSSVM模型在矿用压风机异常特征提取以及特征识别方面的优越性。

基于深度学习语义匹配的通用智能问答系统的设计与实现

FAQ问答系统有着广泛的实际应用场景,但传统问答系统的搭建通常需要将相关领域的知识转化为一系列的规则和知识图谱,且构建过程重度依赖人力,换个场景或用户都需要大量的重复劳动。针对上述问题并结合Bert模型和向量搜索引擎Faiss,本文设计了一种基于深度学习语义匹配的FAQ问答系统的解决方案,介绍了系统的工作原理和设计流程,可以方便快速地搭建面向特定领域的问答系统,有效地减少了文本预处理的过程,实现了秒级的查询响应。系统测试发现,可以很好地对用户的查询进行语义匹配,并返回正确的答案,为构建各种问答系统提供了一种通用的解决思路。

行人搜索算法综述

随着深度学习技术的快速发展,行人搜索算法的研究得到大量学者的关注。行人搜索是在行人检测和行人重识别任务的基础上在图像中寻找特定目标行人。该文对近年来行人搜索任务相关研究进展进行了详细梳理。按照模型网络结构和损失函数两方面对现有方法进行分析和总结。依据卷积神经网络和Transformer两类不同的技术路线,重点阐述各自代表性方法的主要研究工作;并按照传统损失函数、OIM损失函数及混合损失函数对行人搜索采用的训练损失函数进行详细总结。此外,总结了行人搜索任务领域常用的公开数据集,比较和分析了主要算法在相应数据集上的性能表现。最后总结了行人搜索任务的未来研究方向。

Hyper-SegUNet:基于超网络的超参自学习医学图像分割模型

为解决在训练UNet及其变种时需要手动选择超参数的缺陷,提出一种嵌入超网络(Hypernetworks)的医学图像分割模型Hyper-SegUNet.首先,构建编码器和解码器组成的U型网络结构.然后,将多组超参数作为解码器的输入单元,进而输出多组不同超参数下的性能,并从中挑选最优超参数.在腹部多器官分割数据集Synapse和心脏单器官分割数据集ACDC的实验结果表明,该模型可以自动选择超参数,而且分割准确性优于基线方法.

融合信息检索和深度模型特征的软件缺陷定位方法

构建自动化的缺陷定位方法能够加快程序员利用缺陷报告定位到复杂软件系统缺陷代码的过程.早期相关研究人员将缺陷定位视为检索任务,通过分析缺陷报告和相关代码构造缺陷特征,并结合信息检索的方法实现缺陷定位.随着深度学习的发展,利用深度模型特征的缺陷定位方法也取得了一定效果.然而,由于深度模型训练的时间成本和耗费资源相对较高,现有基于深度模型的缺陷定位研究方法存在实验搜索空间和真实情况不符的情况.这些研究方法在测试时并没有将项目下的所有代码作为搜索空间,而仅仅搜索了与已有缺陷相关的代码,例如DNNLOC方法、DeepLocator方法、DreamLoc方法.这种做法和现实中程序员进行缺陷定位的搜索场景是不一致的.致力于模拟缺陷定位的真实场景,提出了一种融合信息检索和深度模型特征的TosLoc方法进行缺陷定位.TosLoc方法首先通过信息检索的方式检索真实项目的所有源代码,确保已有特征的充分利用;再利用深度模型挖掘源代码和缺陷报告的语义,获取最终定位结果.通过两阶段的检索,TosLoc方法能够对单个项目的所有代码实现快速缺陷定位.通过在4个常用的真实Java项目上进行实验,TosLoc方法能够在检索速度和准确性上超越已有基准方法.与最优基准方法DreamLoc相比,TosLoc方法在消耗DreamLoc方法35%的检索时间下,平均MRR值比DreamLoc方法提高了2.5%,平均MAP值提高了6.0%.

海洋环境下深水区立管腐蚀速率预测

为提升海洋环境下深水区立管腐蚀速率的预测精度,建立基于改进秃鹰搜索算法(Improved Bald Eagle Search, IBES)的EDGM(1, 1,ρ)腐蚀速率预测模型。通过Sine混沌映射初始化种群、莱维飞行策略、折射反向学习策略和柯西高斯变异策略提高秃鹰搜索算法的寻优能力和收敛速度;利用IBES算法优化EDGM(1, 1,ρ)中的参数ρ,建立IBES-EDGM(1, 1,ρ)模型以提高立管腐蚀速率的预测精度。以南海某海洋深水区立管数据为基础进行腐蚀速率预测,分析对比3种模型的预测结果。结果表明,优化后的模型与原模型相比误差更小,且预测精度得到了提高,能够更准确地预测深海立管的腐蚀速率,为后续管道系统的维修和更换提供理论参考。

基于改进甲壳虫全域搜索算法的机织物疵点检测

为解决深度学习模型在面对跨场景的织物疵点检测时存在泛化性能差的问题,在甲壳虫全域搜索算法(BAS)的基础上添加了本地搜索能力构建了一种基于甲壳虫算法的混合算法,该算法可具体分为训练阶段和检测阶段。在训练阶段,通过对无疵点织物进行训练构建二维Gabor滤波器,然后使用改进BAS的混合模型对Gabor滤波器的参数进行了优化,使改进后的算法具备全局搜索和局部搜索的能力;在检测阶段,根据在训练阶段获得最佳参数构造Gabor滤波器,对待检测的织物图像进行卷积运算,并对卷积后图像进行二值化处理,最终识别待测试织物是否含有疵点。实验结果表明:该方法的特征提取具有良好的类别区分性,更加集中在疵点范围内,检测准确率可达99.26%,具有良好的稳定性和泛化性能。

Deep Web查询接口自动识别方法

获取Deep Web中信息的主要途径是通过在其提供的查询接口上提交查询来获得,自动识别Deep Web查询接口是Deep Web数据集成系统中需要解决的一个关键问题.通过提取适当的表单结构特征,采用C4.5决策树和朴素贝叶斯相结合的分类算法实现对Deep Web查询接口的自动识别,实验验证了该方案的有效性.

一种基于SSA-DBN的室内可见光指纹定位算法

室内可见光定位在精度方面有着较高的要求,针对这一问题,文中提出了一种麻雀搜索算法(Sparrow Search Algorithm,SSA)优化深度置信网络(Deep Belief Network,DBN)的室内可见光指纹定位算法。首先,采用信号强度特征值与位置坐标建立离线指纹库;其次,利用麻雀搜索算法较好的全局探索和局部开发的能力,对深度置信网络的初始权阈值进行优化,建立网络训练模型,对待定位目标的位置进行预测,避免了DBN陷入局部最优以及收敛速度较慢的问题。最后,利用已建立的离线指纹库数据,计算定位误差并分析。在4 m×4 m×2.5 m的空间中进行实验,结果表明:文中算法的平均定位误差为3.51 cm,定位误差在6 cm以内的概率为89.9%,与DBN定位算法相比,平均定位误差下降了约22.5%。

主题Deep Web爬虫框架研究

为满足用户精确化和个性化获取信息的需要,通过分析Deep Web信息的特点,提出了一个可搜索不同主题Deep Web信息的爬虫框架。针对爬虫框架中Deep Web数据库发现和Deep Web爬虫爬行策略两个难题,分别提出了使用通用搜索引擎以加快发现不同主题的Deep Web数据库和采用常用字最大限度下载Deep Web信息的技术。实验结果表明了该框架采用的技术是可行的。

基于SSA-BP的深基坑地表变形预测研究

文中采用麻雀搜索算法优化BP神经网络,对深圳市某在建地铁车站深基坑周围地表沉降监测点进行变形预测。通过对基坑地表变形监测点DBC16-4的118期监测数据进行训练学习,并与粒子群算法优化BP神经网络、遗传算法优化BP神经网络和标准BP神经网络横向对比,验证了训练效果。结果表明,麻雀搜索算法对BP神经网络权重寻优速度较快,收敛精度更高,麻雀搜索算法优化BP神经网络模型预测平均相对误差仅为1.72%,拟合精度较其他算法更高,预测效果良好。

基于深度强化学习和大邻域搜索的矿山巡检机器人路径规划算法

当前大多数矿山巡检机器人采用激光雷达作为矿山环境探测方法,该方法对于一些小目标物体和反照率小的物体检测不明显,容易造成误检或漏检,从而引发矿山安全事故。为了提高矿山巡检机器人的识别精度,将基于强化学习结合大邻域搜索的路径规划方法引入矿山巡检机器人路径规划工作中,提高矿山巡检机器人对场景的感知能力。首先,提出了基于LSTM的时序性路径规划模型,能够从机器人的RGB相机中提取图像特征,通过深度学习方式进行场景感知。其次,将激光雷达设备采集的信息进行处理,使用大邻域搜索算法找到空间中的多个最优路径,用于后续场景导航。最终通过深度强化学习和大邻域搜索方法实现矿山巡检机器人精准导航,选择最佳的机器人巡检路径。为了验证所提算法性能,在二维和三维空间中进行了场景搭建、导航模拟、模型训练和测试。结果表明:该方法在仿真环境和真实场景中具有较好的路径规划能力。

基于预训练的谷歌搜索结果判定

对搜索引擎返回的结果进行初步判定有利于优化语义搜索过程,提高搜索的准确性和效率。谷歌搜索引擎在所有的搜索引擎中占据主导地位,然而其返回的结果往往非常复杂,目前并没有有效的方法能够对搜索页面的结果做出准确的判断。针对以上问题,该文从数据特征和模型结构设计出发,制作了一个适用于谷歌搜索结果判定的数据集,接着基于预训练模型设计了一种双通道模型(DCFE)用于实现对谷歌搜索结果的判定。该文提出的模型在自建数据集上的准确率可以达到85.74%,相较于已有的模型拥有更高的精度。

基于深度学习的循环自动调度研究

循环代码的自动调度问题是编译优化领域中的热门问题,然而当前大部分此类研究都基于不同领域的领域特定语言或编程框架,缺乏对通用编程语言的支持.本文提出了一个面向通用编程语言的循环自动调度框架.该自动调度框架使用蒙特卡洛树搜索算法对循环调度空间进行高效的搜索,在搜索样本评估阶段,本文利用深度学习技术为循环调度构建了基于Tree-LSTM的代价模型对搜索过程进行指导以加速搜索过程.经实验验证,本文提出的自动调度框架能够达到优于前沿的启发式循环优化编译器Polly的优化效果,同时本文构建的代价模型能够在10%以内的调度性能损失的前提下显著提升调度搜索过程的效率.

基于搜索引擎的Deep Web数据源发现技术

随着Web数据库的广泛应用,Web正在不断"深化"。传统搜索引擎只能检索浅层网络,却不能直接索引到深层网络(Deep Web)的资源。为了有效地利用Deep Web资源,必须要对Deep Web数据进行大规模集成。其中,数据源发现是整合Deep Web资源的首要工作,能否高效地发现Deep Web站点是Deep Web数据获取的关键。提出了一种基于传统搜索引擎的Deep Web数据源发现方法,该方法通过分析返回结果来扩展查询,从而进一步提高了数据源发现的效率。实验证明该方法能得到较好的结果。

一种基于图神经网络的改进邻域搜索算法

近年来图神经网络与深度强化学习的发展为组合优化问题的求解提供了新的方法。当前此类方法大多未考虑到算法参数学习问题,为解决该问题,基于图注意力网络设计了一种智能优化模型。该模型对大量问题数据进行学习,自动构建邻域搜索算子与序列破坏终止符,并使用强化学习训练模型参数。在标准算例集上测试模型并进行三组不同实验。实验结果表明,该模型学习出的邻域搜索算子具备较强的寻优能力和收敛性,同时显著降低了训练占用显存。该模型能够在较短时间内求解包含数百节点的CVRP问题,并具有一定的扩展潜力。