基于卷积神经网络的预警震级分段估算方法

针对地震预警震级估算问题,提出一种基于卷积神经网络(convolutional neural network,CNN)的震级分段估算方法,该方法以单台站的P波初至后3 s时间的波形作为输入,输出结果为地震波形所属的震级区段(大地震,近震震级M_(L)≥5.0;小地震,M_(L)<5.0).如果波形属于大地震区段,直接发出警报;如果波形属于小地震区段,再进行具体震级的估算.对于震级区段估算,CNN模型的准确率可达98.04%.根据震级估算参数τ_(c)和P_(d)估算的小地震震级平均绝对误差(mean absolute error,MAE)分别为0.20和0.31.结果表明,预警震级分段估算方法可以准确预警大地震,减少大地震漏报率;同时使得小地震震级估算结果更为准确.

基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取

关系抽取是梳理学科知识的重要手段以及构建教育知识图谱的重要步骤。在当前研究中,如BERT(Bidirectional Encoder Representations from Transformers)等以Transformer架构为基础的预训练语言模型多数存在参数量大、复杂度过高的问题,难以部署于终端设备,限制了在真实教育场景中的应用。此外,大多数传统的轻量级关系抽取模型并不是通过文本结构对数据进行建模,容易忽略实体间的结构信息;且生成的词嵌入向量难以捕捉文本的上下文特征、对一词多义问题解决能力差,难以契合学科知识文本非结构化以及专有名词占比大的特点,不利于高质量的关系抽取。针对上述问题,提出一种基于改进分段卷积神经网络(PCNN)和知识蒸馏(KD)的学科知识实体间关系抽取方法。首先,利用BERT生成高质量的领域文本词向量,改进PCNN模型的输入层,从而有效捕捉文本上下文特征并在一定程度上解决一词多义问题;其次,利用卷积和分段最大池化操作深入挖掘实体间结构信息,构建BERTPCNN模型,实现高质量的关系抽取;最后,考虑到教育场景对高效且轻量化模型的需求,蒸馏BERT-PCNN模型输出层和中间层知识,用于指导PCNN模型,完成KD-PCNN模型的构建。实验结果表明,BERT-PCNN模型的加权平均F1值达到94%,相较于R-BERT和EC_BERT模型分别提升了1和2个百分点;KD-PCNN模型的加权平均F1值达到92%,与EC_BERT模型持平;参数量相较于BERT-PCNN、KD-RB-l模型下降了3个数量级。可见,所提方法能在性能评价指标和网络参数量之间更好地权衡,有利于教育知识图谱自动化构建水平的提高和新型教育应用的研发与部署。

空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草

针对传统Alex Net模型参数大、特征尺度单一的问题,该文提出一种空洞卷积与全局池化相结合的多尺度特征融合卷积神经网络识别模型。通过对初始卷积层的卷积核进行膨胀,以增大其感受野而不改变参数计算量,并采用全局池化代替传统的全连接层来减少模型的参数。通过设置不同膨胀系数的初始卷积层卷积核与全局池化层类型,以及设置不同Batch Size,得到8种改进模型,用于训练识别共12种农作物幼苗与杂草,并从建立的模型中选出最优模型。改进后的最优模型与传统Alex Net模型相比,仅经过4次训练迭代,就能达到90%以上的识别准确率,平均测试识别准确率达到98.80%,分类成功指数达到96.84%,模型内存需求减少为4.20 MB。实际田间预测野芥与雀麦幼苗的准确率都能达到75%左右,说明该文最优模型对正常情况下的幼苗识别性能较好,但对复杂黑暗背景下的甜菜幼苗准确率为60%,对恶劣背景下的识别性能还有待提升。由于模型使用了更宽的网络结构,增加了特征图的多尺度融合,保持对输入空间变换的不变性,故对正常情况下不同作物幼苗与杂草的识别能力较强。该文改进模型能达到较高的平均识别准确率及分类成功率,可为后续深入探索复杂田间背景下的杂草识别以及杂草与幼苗识别装置的研制打下基础。

分段卷积神经网络在文本情感分析中的应用

文本情感分析是当前网络舆情分析、产品评价、数据挖掘等领域的重要任务。由于当前网络数据的急剧增长,依靠人工设计特征或者传统的自然语言处理语法分析工具等进行分析,不但准确率不高而且费时费力。而传统的卷积神经网络模型均未考虑句子的结构信息,并且在训练时很容易发生过拟合。针对这两方面的不足,使用基于深度学习的卷积神经网络模型分析文本的情感倾向,采用分段池化的策略将句子结构考虑进来,分段提取句子不同结构的主要特征;并且引入Dropout算法以避免模型的过拟合和提升泛化能力。实验结果表明,分段池化策略和Dropout算法均有助于提升模型的性能,所提方法在中文酒店评价数据集上达到了91%的分类准确率,在斯坦福英文情感树库数据集五分类任务上达到了45.9%的准确率,较基线模型都有显著的提升。

卷积神经网络池化方法研究

为解决随机池化中零元素概率为0导致不能被选择的问题,提出一种改进的混合概率随机池化方法。将池化域中的元素去重复并按升序排序,然后加上对应次序的幂次,得到元素的权重概率。在此基础上,根据多项分布取样给出池化值。在数据集MNIST、CIFAR-10、CIFAR-100上进行实验,结果表明,该方法在3种数据集上的分类准确率分别为99.50%、72.25%、39.05%,相较于传统池化方法具有较好的分类效果与稳健性。

基于卷积神经网络的路面裂缝分割设计与研究

裂缝是路面病害最主要的类型,准确的裂缝分割是国家进行公路预防养护管理的重要决策依据。针对背景复杂下现有模型路面裂缝分割准确度有待提高的问题,提出一种基于卷积神经网络的端到端裂缝分割模型,使用分层结构的ConvNeXt编码器提取多尺度特征,特征的最高层使用金字塔池化模块进一步获取全局先验特征,通过具有横向连接和自上而下的金字塔结构进行特征融合。针对裂缝和背景不平衡问题,使用平衡交叉熵损失函数提高模型的检测性能。此外,构建了一个包含2 876张裂缝图片的数据集UCrack,覆盖多种裂缝类型和广泛的背景范围,以提供丰富的特征供模型学习。实验表明,在UCrack测试数据集上模型的召回率和F1得分比其他表现最佳的模型提高了2.68%和6.89%;在CrackDataset数据集上的测试取得了85.68%的召回率和80.11%的F1得分,说明模型具有较好的泛化性能,可应对背景复杂的路面裂缝分割。

参数池化卷积神经网络图像分类方法

传统的卷积神经网络使用池化层对信息进行降维操作,通常会造成信息损失,从而影响网络的表达能力.针对这一问题,使用参数池化层(Parameterized Pooling Layer)替代传统卷积神经网络中的池化层,提出参数池化卷积神经网络(Parameterized Pooling CNN,PPCNN).参数池化层在仅仅增加了少量网络参数的情况下,最大可能的保留了卷积神经网络中希望被保留下来的特征;同时,由于增加了池化层前向传播的信息,从而影响了反向传播算法中权值的更新,网络收敛速度更快;实验结果表明,PPCNN模型与传统卷积神经网络模型以及部分改进模型相比,参数池化卷积神经网络模型是有效的.

多尺寸池化卷积神经网络的人体行为识别研究

人体行为识别任务中传统方法一般是先提取特征,然后训练分类器对人体行为进行分类,传统的特征提取方法存在提取信息不全面、难以提取有效特征等缺点,针对此问题,使用卷积神经网络(Convolutional Neural Network,CNN)来完成人体行为识别任务,特征提取和模式分类是由同一个网络完成,是一个自动学习特征的过程,并且提出Multi-Size Pooling(多尺寸池化)来解决输入图片大小不同的问题,使网络能够接受任意尺寸的输入图像.实验表明,改进的CNN在行为识别上有较高的识别率.

基于矩阵2-范数池化的卷积神经网络图像识别算法

卷积神经网络中的池化操作可以实现图像变换的缩放不变性,并且对噪声和杂波有很好的鲁棒性。针对图像识别中池化操作提取局部特征时忽略了隐藏在图像中的能量信息的问题,根据图像的能量与矩阵的奇异值之间的关系,并且考虑到图像信息的主要能量集中于奇异值中数值较大的几个,提出一种矩阵2-范数池化方法。首先将前一卷积层特征图划分为若干个互不重叠的子块图像,然后分别计算子块图像矩阵的奇异值,将最大奇异值作为每个池化区域的统计结果。利用5种不同的池化方法在Cohn-Kanade、Caltech-101、MNIST和CIFAR-10数据集上进行了大量实验,实验结果表明,相比较于其他方法,该方法具有更好地识别效果和稳健性。

基于自注意力与分段卷积神经网络的实体关系抽取

远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性,解决在对语料句子进行卷积操作时仅关注当前窗口内容的问题;然后将包含相同实体对的语句划分为一个包,利用多实例学习和包内注意力机制计算包中每个句子的注意力权重,从而找到更能表达实体对之间语义关系的句子语料.实验结果显示:SAPCNN能提高实体关系抽取的精确率,结果优于主流算法.

基于改进空间金字塔池化卷积神经网络的交通标志识别

针对雾天、光照、遮挡和大倾角等因素导致的交通标志识别准确率低、泛化性差等问题,提出一种基于神经网络的轻量级交通标志识别方法。首先,利用图像归一化、仿射变换和限制对比度自适应直方图均衡化(CLAHE)方法进行图像预处理,以提高图像质量;其次,基于卷积神经网络(CNN),融合空间金字塔结构和批量归一化(BN)方法构建改进空间金字塔池化卷积神经网络(SPPN-CNN)模型,并利用Softmax分类器实现交通标志分类;最后,选用德国交通标志识别数据集(GTSRB),对比不同图像预处理方法、模型参数和模型结构的训练效果,并验证和测试所提模型。实验结果表明,SPPN-CNN模型的识别精度达到98.04%,损失小于0.1,在低配GPU条件下识别速率大于3000 frame/s,验证了模型精度高、泛化性强、实时性好的特点。

基于视频分段的空时双通道卷积神经网络的行为识别

针对原始空时双通道卷积神经网络(CNN)模型对长时段复杂视频中行为识别率低的问题,提出了一种基于视频分段的空时双通道卷积神经网络的行为识别方法。首先将视频分成多个等长不重叠的分段,对每个分段随机采样得到代表视频静态特征的帧图像和代表运动特征的堆叠光流图像;然后将这两种图像分别输入到空域和时域卷积神经网络进行特征提取,再在两个通道分别融合各视频分段特征得到空域和时域的类别预测特征;最后集成双通道的预测特征得到视频行为识别结果。通过实验讨论了多种数据增强方法和迁移学习方案以解决训练样本不足导致的过拟合问题,分析了不同分段数、预训练网络、分段特征融合方案和双通道集成策略对行为识别性能的影响。实验结果显示所提模型在UCF101数据集上的行为识别准确率达到91.80%,比原始的双通道模型提高了3.8个百分点;同时在HMDB51数据集上的行为识别准确率也比原模型提高,达到61.39%,这表明所提模型能够更好地学习和表达长时段复杂视频中人体行为特征。

序列卷积神经网络支持下线状地图目标的分段方法

依据形态特征差异实施分段处理是实现线状地图目标自适应综合的重要步骤。传统方法主要采用长度、角度、曲率等参量描述局部曲线段的几何形态变化,通过人工设置规则或常规机器学习方法建立模式判别模型。本文提出基于卷积神经网络的线状目标模式识别与分段方法。首先,以相邻坐标点构成的线元为基本单元,以线元端点横、纵坐标差为特征,将线状目标离散化为二维序列;然后,建立序列卷积神经网络进行线元特征序列学习与预测,实现线元层次的模式类型判别;最后,利用迭代融合方法将拓扑相邻且模式类型相同的线元合并,从而输出不同形态模式的分段结果。以1∶5万行政区界线和1∶25万山区道路数据开展试验,本文方法分段结果与人工分段结果的一致性比率分别达到91.25%和85.65%,相较传统方法有一定提升。同时,本文方法通过深度学习获取模式判别的深层次特征,能够有效避免人工选择特征带来的主观性影响,对不同尺度、不同类型的线状目标分段问题适应性更好。

基于卷积神经网络的微地震事件识别方法研究

近些年来,科学技术的发展为社会带来了可观的收益。利用深度学习进行微地震事件识别也成为了一个研究热点。非常规油气勘探开发成为当前油气资源的主要途径,非常规勘探开发又需要微地震事件识别,针对微地震事件识别,主要解决的是快速、准确地检测微地震事件,这对石油勘探工作有着重大意义。为解决提取特征引入不确定性等缺点,论文利用雷克子波正演生成微地震信号数据再添加高斯嗓声进行模型研究。通过对构建数据集、搭建网络模型、评价模型输出结果等步骤,实现识别方法。经过反复试验与仿真实验,用卷积神经网络的方法可以对微地震有效信号快速准确地检测以及去掉冗余信息,提高微地震有效数据传输。

卷积神经网络的图像识别算法研究与实现

文章通过研究卷积神经网络(Convolutional Neural Networks,CNN)的架构、卷积和池化操作以及全连接等,搭建并配置五种不同的CNN模型(LeNet、AlexNet、VGGNet、InceptionNet、ReNet),利用两个数据集的训练集和测试集分别训练和测试五种模型的效果,最后使用准确率和交叉损失熵评估五种模型。

卷积神经网络在油浸式变压器故障诊断的应用

变压器作为变电站的主要电气设备,其智能化程度直接决定了智能变电站的发展程度,是电力系统中关系国民生产生活的重要环节。采集变压器油中溶解气体的含量及类型,通过建立卷积神经网络模型确定变压器的故障类型。在卷积神经网络算法原理的基础上,利用Java编程构建模型,将一维卷积神经网络应用到变压器故障诊断中,以变压器油中溶解的5种气体含量值作为输入向量,变压器的6种状态对应的编码值作为输出向量,并对网络中的池化层进行改进。在模型建立过程中讨论了卷积核的大小、数量、样本长度对模型精度的影响,并通过优选函数的方法确定激活函数。实验表明,将该方法生成的网络应用于变压器故障诊断,可为合理诊断变压器故障提供有价值的参考。

基于自适应池化的双路卷积神经网络图像分类算法

针对相同构造的卷积神经网络输入同样的数据集也会提取到不同特征的情况,为利用该差异挖掘图像的深层特征,提出一种双路卷积神经网络模型的图像分类算法。在优化池化组合的基础上,在另一子网络中引入自适应池化丰富差异特征,提高特征表达层次;根据互补测量函数测量子网络间的特征差异的互补性,以此优化损失函数反向传播微调模型权重,提高图像分类的精准度。在MNIST和CIFAR-10图像集上的实验结果表明,基于自适应池化的双路卷积神经网络的分类能力优于现有的深度卷积神经网络。

基于空间金字塔池化和深度卷积神经网络的作物害虫识别

为了减少因作物害虫姿态多样性和尺度多样性导致其识别精度相对较低的问题,该文将空间金字塔池化与改进的YOLOv3深度卷积神经网络相结合,提出了一种基于空间金字塔池化的深度卷积神经网络农作物害虫种类识别算法,首先对测试图像上的害虫进行检测定位,然后对检测定位出的害虫进行种类识别。通过改进YOLOv3的网络结构,采用上采样与卷积操作相结合的方法实现反卷积,使算法能够有效地检测到图片中体型较小的作物害虫样本;通过对采集到的实际场景下20类害虫进行识别测试,识别精度均值可达到88.07%。试验结果表明,本文提出的识别算法能够有效地对作物害虫进行检测和种类识别。

卷积神经网络池化方法综述

池化层是卷积神经网络的重要组成部分,池化层通过池化计算对经过卷积层后的特征图进行降维。随着卷积神经网络的发展,产生了许多新的池化方法代替传统的池化方法,在多类任务中取得了突破性进展。本文针对基于卷积神经网络的池化方法进行综述,对池化方法进行了分类,详细阐述了各种新的池化方法相较于传统池化方法的改进之处,介绍了池化方法的具体计算方法,并且对各种池化方法的效果进行了对比,最后给出了池化方法在主流数据集上的性能指标。

基于空间金字塔池化的深度卷积神经网络多聚焦图像融合

针对传统方法需要人工设定特征和融合准则来完成融合任务,未能充分利用源图像中其他潜在有用信息的缺陷,提出一种基于空间金字塔池化网络的深度学习方法.首先,设计了一种孪生双通道卷积神经网络,并使用金字塔池化代替最大池化,学习多聚焦图像的特征.然后,为了有效训练该网络,采用高斯滤波器合成一个大规模具有金标准的多聚焦数据集.给定一幅多聚焦图像作为输入,训练好的模型可以输出一个指示源图像中聚焦性质的得分图.此外,为了进一步提高融合效果,将得分图进一步分割为二值掩模图,并使用形态学方法对其进行优化.最后,通过在优化的二值掩模图及源图像之间使用点乘运算,将可以得到最终融合图像.实验结果表明,算法在测试集上平均量化指标提高了0.78%.