流场特征识别的无量纲时程深度学习方法

流场的特征直接影响结构的流致振动状态,对结构绕流流场的特征分析具有重要的研究意义。在中高雷诺数与不同流速的情况下,尾流中隐含的流场特征不同,传统数学物理方法很难对其特征进行提取与识别。该文提出了采用无量纲的物理量时程进行流场特征识别的深度学习方法,消除了不同来流速度的影响,仅通过时程的时变特征进行特征识别,扩大了特征识别方法的应用范围。采用两种不同深度学习模型对三种棱柱的尾流进行了特征提取与识别,通过比较可以发现:归一化的时程中仍包含不同形状物体所引起流场的关键特征,可用于流场的特征提取;使用归一化时程进行流场特征识别可降低模型训练难度,又提高了特征提取的精度,是一种流场特征提取的新方法。

基于深度学习的鲁棒性视觉跟踪方法

传统的视觉跟踪方法(如L1等)大多直接使用视频序列各帧内的像素级特征进行建模,而没有考虑到各图像块内部的深层视觉特征信息.在现实世界的固定摄像头视频监控场景中,通常可以找到一块区域,该区域中目标物体具有清晰、易于分辨的表观.因此,文中在各视频场景内事先选定一块可以清晰分辨目标表观的参考区域用以构造训练样本,并构建了一个两路对称且权值共享的深度卷积神经网络.该深度网络使得参考区域外目标的输出特征尽可能与参考区域内目标的输出特征相似,以获得参考区域内目标良好表征的特性.经过训练后的深度卷积神经网络模型具有增强目标可识别性的特点,可以应用在使用浅层特征的跟踪系统(如L1等)中以提高其鲁棒性.文中在L1跟踪系统的框架下使用训练好的深度网络提取目标候选的特征进行稀疏表示,从而获得了跟踪过程中应对遮挡、光照变化等问题的鲁棒性.文中在25个行人视频中与当前国际上流行的9种方法对比,结果显示文中提出的方法的平均重叠率比次优的方法高0.11,平均中心位置误差比次优的方法低1.0.

基于边界值不变量的对抗样本检测方法

目前,深度学习成为计算机领域研究与应用最广泛的技术之一,在图像识别、语音、自动驾驶、文本翻译等方面都取得良好的应用成果。但人们逐渐发现深度神经网络容易受到微小扰动图片的影响,导致分类出现错误,这类攻击手段被称为对抗样本。对抗样本的出现可能会给安全敏感的应用领域带来灾难性的后果。现有的防御手段大多需要对抗样本本身作为训练集,这种对抗样本相关的防御手段是无法应对未知对抗样本攻击的。借鉴传统软件安全中的边界检查思想,提出了一种基于边界值不变量的对抗样本检测防御方法,该方法通过拟合分布来寻找深度神经网络中的不变量,且训练集的选取与对抗样本无关。实验结果表明,在LeNet、vgg19模型和Mnist、Cifar10数据集上,与其他对抗检测方法相比,提出的方法可有效检测目前的常见对抗样本攻击,并且具有低误报率。

人工智能的历史回顾和发展现状

简略地回顾了人工智能的历史和发展现状。分析比较了人工智能两大领域:符号主义和连接主义,同时介绍了各个领域的主要原理和方法。着重回顾了深度学习的历史、复兴的原因和主要的应用。

基于深度学习网络的红外网络节点异常状态识别研究

为准确识别红外网络节点状态,提出了基于深度学习网络的红外网络节点异常状态识别方法。利用红外网络节点采集模块采集节点状态数据,确定可视层与隐含层神经元数量,利用贪婪算法训练过程重构训练样本,通过微调过程优化深度置信网络,完成深度置信网络训练,提取红外网络节点状态数据特征,将状态数据特征作为球心,计算识别红外网络节点状态数据同球心的半径,根据结果是否异常状态。仿真测试结果,本文方法可有效识别红外网络节点异常状态,红外网络节点异常状态识别精度高。

深度学习在地质学上的应用

自Hinton等使用基于卷积神经网络的深度学习模型赢得Image Net分类比赛以来,深度学习的研究席卷了各个行业。通过介绍深度学习的历史,探索国内地质行业中深度学习模型的使用情况,并介绍深度学习的基础概念(如神经元、神经网络、监督学习和无监督学习等)以及深度学习基础模型中的2个重要网络:深度信念网络(DBN)和卷积神经网络(CNN)。在此基础上,类比深度学习在医学等相关领域的应用,提出了深度学习在地质上的几点应用:利用深度学习在计算机视觉上表现出的强大能力,可以对遥感图像进行聚类、对岩石样品图像进行分类、对岩石薄片数据进行描述;利用深度学习对原始数据表现出的强大识别能力,处理地质异常数据,从而确定成矿靶区的可能位置;利用深度学习的特点,对地震前的声信号数据进行处理,从而判断出地震发生前的剩余时间。

基于深度神经网络的网络流量预测模型仿真

传统流量预测模型缺少对神经网络动态记忆力的优化调整,导致网络流量预测结果精确度低、稳定性差等问题。为此提出基于深度神经网络的网络流量预测模型。利用隐含层和关联层提高神经网络动态记忆力,将深度神经网络划分多个神经元,完成预测权值修正。引入输出向量构建流量动态预测模型,获取实际流量与预测流量的误差,优化模型权值与阈值,完成网络流量的高记忆度预测。为验证研究方法应用效果,设计一次仿真,结果表明,所设计模型具有更高的流量预测精度,抗干扰性能良好,可被推广应用。

基于机器视觉的建筑垃圾填料物质组分图像分析方法

建筑垃圾再生填料是从建筑垃圾中经过粉碎而获得的,其组成成分具有多样性,需经过分拣等处理后才可用于路基填筑。目前多采用耗时的人工筛选法进行获取。本文利用卷积神经网络进行图像分析,可以自动实时地获取再生填料组成。首先创建一个由36000张颗粒图像组成的带标签数据集,对不同CNN模型进行训练。其中,使用40%的Dropout比率自定义ResNet34模型表现最优,其验证精度可达97%;其次基于所识别的颗粒类别与颗粒形状估计颗粒的质量;最后将本文提出的方法与人工筛选法进行了比较,对于大多数再生填料质量差异低于2%。本文旨在提高建筑垃圾利用空间,对建筑垃圾回填路基工程的推广应用具有重要意义。

面向嵌入式平台的轻量化神经网络手势识别方法

针对传统基于图像分割和特征提取的手势识别算法在复杂背景下识别准确率低、灵活性差的问题,基于目标检测神经网络的手势识别算法可以有效提高复杂环境下手势识别的准确性。受嵌入式处理器体积和功耗的限制,常用的目标检测神经网络在嵌入式上的识别速度较低,不能满足实时手势识别的要求。在SSD目标检测的基础上对其进行优化,使用MobileNetv3网络实现特征提取,目标检测方面则是使用SSD-lite结构,其使用深度可分离卷积替代普通卷积,实现了轻量化MobileNetv3-SSDLite手势识别算法的设计。针对手势识别的要求,制作了包含不同手势的数据集,利用它在服务器上完成了模型的训练。为了满足嵌入式的算力限制,通过模型的量化压缩将float64的网络参数量化为int8,并压缩网络结构,提高网络在嵌入式上的推理速度,实现基于嵌入式的手势识别。实验结果表明,基于嵌入式的MobileNetv3-SSDLite手势识别算法可以达到平均准确率99.61%,且识别速度达到每秒50帧以上,满足实时手势识别的要求。

基于特征可视化分析深度神经网络的内部表征

基于可视化的方式理解深度神经网络能直观地揭示其工作机理,即提供了黑盒模型做出决策的解释,在医疗诊断、自动驾驶等领域尤其重要。大部分现有工作均基于激活值最大化框架,即选定待观测神经元,通过优化输入值(如隐藏层特征图谱、原始图片),定性地将待观测神经元产生最大激活值时输入值的改变作为一种解释。然而,这种方法缺乏对深度神经网络深入的定量分析。文中提出了结构可视化和基于规则可视化两种可视化的元方法。结构可视化从浅至深依层可视化,发现浅层神经元具有一般性的全局特征,而深层神经元更针对细节特征。基于规则可视化包括交集与差集规则,可以帮助发现共享神经元与抑制神经元的存在,它们分别学习了不同类别的共有特征与抑制不相关的特征。实验针对代表性卷积网络VGG和残差网络ResNet在ImageNet和微软COCO数据集上进行了分析。通过量化分析发现,ResNet和VGG均有很高的稀疏性,通过屏蔽一些低激活值的“噪音”神经元,发现其对深度神经网络分类准确率均没有影响,甚至有一定程度的提高作用。文中通过可视化和量化分析深度神经网络的隐藏层特征,揭示其内部特征表达,从而为高性能深度神经网络的设计提供指导和借鉴。

一种机器学习中防止过拟合的Dropout优化算法

针对机器学习中深度神经网络训练时常见的过拟合问题,提出了一种防止过拟合的Dropout优化算法.Dropout算法是在每批次的神经网络训练中,忽略掉一定概率的特征检测器,让某些神经元暂时停止工作,减少神经元之间的相互作用,隐式去除网络中的神经元、阻止某些特征的协同作用来缓解过拟合.算法中选择被暂时丢弃的神经元是随机概率,而优化算法在神经网络中应用伊辛模型来识别链接能量较低的神经元,并在训练和推理中把这些神经元暂时丢弃掉,算法使模型泛化性更强,有效缓解网络训练过拟合问题.

融合脉冲神经网络的模糊情景车辆重识别算法

车辆重识别任务在模糊情景下存在难以顺利完成任务的情况。在模糊情景下,数据的质量会受到不同程度的影响。针对上述问题,本文提出了一种融合脉冲神经网络(SNN)的车辆重识别算法。脉冲神经网络具有功耗低的优势,且在处理非实值数据时性能优秀,适合应用于模糊情景。本算法通过设计脉冲神经网络模型,对特征图进行深度特征提取,通过残差计算实现身份映射,同时通过卷积注意力模块来优化网络。实验结果表明,算法在添加动态模糊的VeRi-776数据集上Rank-1与平均精度均值(mean average precision,mAP)指标表现优秀,能够有效地完成模糊环境下的车辆重识别任务。

基于ON-LSTM与自注意力机制的单词DGA域名检测方法

针对单词DGA域名字符随机性低,字符结构和分布与良性域名相似,现有方法对其检测效果不佳的问题,提出一种单词DGA域名检测方法。首先,对域名进行BiGRAM字符编码,使模型的输入涵盖更多的域名特征;其次,构建ON-LSTM-SA特征提取模块,充分提取域名的层级语义特征并为其分配权重;最后,通过softmax函数输出分类结果。实验结果表明,相较于四种对比模型,该方法在检测性能和多分类性能方面均表现最佳,具有更高的鲁棒性和泛化能力。

基于双三层深度神经网络的短期负荷预测

短期负荷预测能为电力系统的电力调度方案提供依据,深度学习在负荷预测具有优异的学习性能,因此在电力系统得到广泛应用。本文提出了双三层深度神经网络的短负荷期预测方法,第一层深度神经网络通过学习历史电力负荷的变化特性,并预测下一天的电力负荷;第二层深度神经网络用于优化第一层内部隐含层神经元的个数。通过仿真结果表明,所提双三层深度神经网络算法训练效果好,具有更高的预测准确率,为科研人员在选择神经元个数上提供了可行方法。最后通过我国某地区的实际负荷数据验证双三层神经网络在短期负荷预测的有效性。

一种加权误差最小化的深度信念网络优化技术

传统的深度信念网络模型缺乏并行有效的算法来确定网络层数以及隐藏层神经元的数目,实验时大多依据经验来选取,这样做不仅使得模型训练困难,且范化能力差,影响实验结果.针对此问题,通过比较重构误差和验证集错误分类率的乘积(加权误差)大小来选取网络层数,网络层数确定后,再根据重构误差使用渐增法或二分法来选择合适的隐层神经元数目,以使整个模型达到最优.实验结果表明,用上述方法确定模型网络层数及隐藏层神经元数目,能有效提高模型分类或预测的精度.

大规模类脑神经网络理论与方法

脑启发的脉冲神经网络被称为第三代人工神经网络,通过模拟神经动力学、事件驱动等计算特性捕捉时序信息和节能高效地进行计算,为人工智能领域的发展提供了新范式.大脑惊人的信息处理能力很大程度上归功于其庞大的网络规模和复杂的网络连接.构建大规模类脑神经网络为脑启发式的人工智能、神经形态计算以及多应用领域带来了突破性的进展.本文首先根据现有的研究,分类介绍了脉冲神经元模型、大规模脉冲神经网络模型与算法、深度训练框架和神经形态芯片等3个方面的计算原理和最新的研究进展,指出了目前大规模类脑神经网络研究的进展和存在的问题,随后重点论述了大规模类脑网络的神经形态视觉应用,包括神经形态视觉重构、极端场景目标检测等.最后,在总结已有研究成果的基础上,对该领域的研究现状给出了若干结论,同时指出了仍然存在的一些问题,并对未来研究的需求、期待与发展趋势进行了展望.

利用胶囊网络实现高光谱影像空谱联合分类

卷积神经网络等深度学习模型已经在高光谱影像分类任务中取得了理想的结果。然而,由于传统神经元只能进行标量计算,现有的深度学习模型无法对高光谱影像特征的实例化参数进行建模,因此无法在邻域范围受限的条件下获得令人满意的分类效果。通过引入胶囊网络结构设计了一种新型网络模型,该模型利用胶囊神经元进行向量计算,并利用权重矩阵编码特征间的空间关系,能够进一步提高高光谱影像的分类精度。在帕维亚大学、印第安纳松树林和萨利纳斯山谷数据集上进行验证,实验结果表明,所提出的网络模型较传统算法和卷积神经网络分类模型而言具有更加优异的分类性能,且对训练样本数量和像素邻域范围具有更好的适应性。

基于三维深度神经网络的大规模神经元形态表征与检索方法

高效准确的相似神经元检索方法是神经元形态分析的重要支撑.随着高精度显微成像、神经元示踪、人工智能等技术的发展,近些年出现了若干基于机器学习的神经元形态计算与分析方法,这些研究主要包括对传统神经元形态度量指标的统计分析,以及将神经元形态二维投影与深度学习结合的神经元量化表征方法,在神经元的特征提取、分类、相似检索等任务中均取得了不错的效果.不过随着越来越多的三维神经元数据被重建出来,以上方法都无法满足当前背景下对大规模神经元形态数据的细粒度表征、检索与分类需求.为此,本文提出了基于三维深度神经网络的大规模神经元形态表征与检索方法.首先,为了将神经元的三维空间拓扑结构转换成适用于深度神经网络的形式,我们设计了神经元空间形态的体素转换方法,将原始的神经元重构文件转换成三维体素的形式,极大地保留了神经元的三维空间拓扑结构.随后,考虑到当前神经元数据缺乏精细的分类标准,本文设计了基于三维卷积自动编码器的神经元形态表征算法,应用深度神经网络无监督地学习神经元体素数据的结构特点,得到神经元形态的量化表征,并以此设计端到端的相似神经元快速检索算法.最后通过实验验证本文所提出的方法,在9万余神经元数据中检索形态相似的神经元,实验结果显著优于其他基于神经元量化表征的检索方法.实验表明,本文方法可以更高效准确地检索相似神经元,为神经元的形态学分析、神经元单细胞分类等相关研究的关键问题提供支持.