微调卷积神经网络在建筑外立面裂缝检测中的应用研究

深度学习技术用于建筑外立面裂缝检测,具有效率高、客观性强的特点,但建筑外立面背景的多样性导致使用大量样本堆砌训练的时间较长,难以取得良好的识别效果。为提高检测的查准率、查全率与训练效率,提出了基于迁移学习的微调训练方法:使用大量来自其他建筑的已有样本进行预训练之后,使用来自待检测建筑的少量样本进行微调训练;然后,使用微调训练后的模型对待检测建筑的其他部分进行检测。通过对比不同训练方法的测试结果与训练时间,证明了微调卷积神经网络在建筑外立面裂缝检测中的优越性,并研究了冻结层数对微调训练模型的影响。

微调残差物理神经网络建模和参数整定方法

为了解决传统物理信息神经网络(PINN)因同时确定神经网络参数和损失函数中机理模型平衡方程参数而造成的参数不准确性问题,提出了一种微调残差物理信息神经网络(Fine tuning Res-PINN)。Fine tuning Res-PINN结构可以认为是两个神经网络以残差结构进行串联,并以微调方式进行分步训练。在第一个神经网络中,根据深度学习的原理,由深层神经网络建立完整的黑箱模型并以均方根误差(MSE)为损失函数,以实现从输入到输出的近似映射;在第二个神经网络中,根据残差结构和微调的思路,建立以MSE和机理模型方程为损失函数的浅层物理信息神经网络,进一步对机理模型的参数进行整定。基于微调神经网络的训练方式,先训练深层神经网络,并冻结其参数后,再训练浅层物理信息神经网络。两个算例被用来验证Fine tuning Res-PINN的有效性。仿真结果表明,所训练的参数精确地接近实际参数。

BN对VGG神经网络的影响研究

文章针对在训练目前卷积神经网络中较为主流的深度神经网络VGG网络模型时调参艰难、收敛较慢的问题,引入批归一化(batch normalization,BN)进行改进。批归一化能提高网络训练的初始学习率上限,同时加快模型收敛速度。相关实验结果表明,在端对端训练或者微调神经网络过程中应用批归一化,能较好地达到优化目的,同时指出在VGG网络中所有激活层前进行批归一化能得到最好的效果。另外VGG网络的优化方法会影响到批归一化,使用改进的基于动量的随机梯度下降能使网络训练时的波动更小。

基于微型计算机和神经网络的果蔬识别

在微型计算机上使用深度卷积神经网络实现果蔬自动识别的复杂图像识别任务,并构造了具有人工智能技术的电子秤系统.采用深度可分离卷积和反向残差网络设计构成的深度神经卷积网络,极大减少了模型的运算量并保持了较高的识别精度,适合硬件资源有限的微型计算机.神经网络经过训练、调参、剪枝优化后,图像识别准确率达到91.9%,推理延时小于1.5 s.这种人工智能系统可以代替人工操作让顾客进行自主购物,适合在无人超市或者避免聚集接触的环境下使用.

基于迁移学习的甜菜褐斑病识别方法

为减少农业专家评估甜菜实验植株病情需要的大量时间和精力,使评估更加客观,提出基于迁移学习的褐斑病自动识别方法。在甜菜田地中,使用架设在拖拉机上的摄像机拍摄甜菜植株的视频,随机提取视频截图交由农业专家进行评估并记录标签;对视频截图进行多次随机裁剪,和标签一起构成实验的数据集。将甜菜褐斑病病情评估建模为一个回归问题,以预训练的CaffeNet为原型,通过微调(fine-tuning)方法重新训练出新的模型解决该问题。实验结果表明,该模型对褐斑病病情的评估均方根误差达到了0.63,训练的深度卷积神经网络能够完成对甜菜褐斑病病情的评估。

基于分层自适应主动学习策略的入侵检测系统

为进一步降低样本成本并加快模型收敛速度,提出基于探索和开发的指数加权算法(exponential-weight algorithm for exploration and exploitation,EXP3)和增量微调卷积神经网络(fine-tuning convolutional neural networks,FCNN)的入侵检测系统(EXP3-FCNN)。利用EXP3算法自适应选择最佳主动学习策略,代替单一的主动学习算法,提高样本质量;利用增量微调卷积神经网络提取流量数据更深层次的特征;使用AWID数据集作为实验数据。实验结果表明,该方案在保证模型精确度、召回率等性能指标的基础上,降低了样本成本,提高了模型的收敛效率。

多尺度区域特征的细粒度分类算法研究

为了避免复杂背景对精细目标分类的影响,充分利用卷积神经网络提取的目标全局和局部信息进行细粒度任务的研究,提出了一种多尺度区域特征的细粒度目标检测与分类算法.该方法先使用FASTER-RCNN框架训练3个尺度区域的卷积模型进行多尺度目标区域定位,对定位的结果进行包围盒约束和海伦约束以优化提高定位的精确度,然后将提取多个尺度区域的特征进行组合,并用支持向量机训练细粒度分类器.在Caltech-UCSD鸟类数据集和CompCars车型数据集上进行实验测试.实验结果表明该算法在Caltech-UCSD鸟类数据集的分类正确率达到82.8%,比没有使用多尺度区域特征的分类算法提高了7.5%,比基于部件的分类方法提高了8.9%;在CompCars车型数据集的分类正确率达到93.5%,比没有使用多尺度区域特征的分类算法提高了8.3%,比最优的GoogleNet精细目标分类算法提高了2.3%,验证了该算法的有效性.

基于深度学习的多模态融合网民情感识别研究

现有网民情感识别研究多基于文本这一单模态,缺乏结合网民所发的文本及附带的图片来识别网民情感的研究。本文基于深度学习设计多模态融合网民情感识别模型,利用词向量模型对文本进行表示,并构建BiLSTMs模型提取文本情感特征,构建基于迁移学习的微调CNNs提取图片情感特征;将提取的文本和图片情感特征进行特征层融合后,输入至SVM中,实现多模态融合网民情感识别,同时将构建的多模态融合网民情感识别模型(DNNs-SVM)与设计的基线模型做实验效果对比,基线模型分别是word2vec+BiLSTMs、BERT+BiLSTMs、CNNs、微调CNNs和DNNs。实验结果表明,融合文本和图片特征的多模态融合情感识别结果优于单模态情感识别结果,多模态融合DNNs-SVM模型均优于所设计的基线模型。