基于双图转换和融合CRNN网络的轴承故障诊断

针对一维振动序列输入制约卷积神经网络性能,且单一数据处理方法限制实际复杂工况下轴承故障特性的深层挖掘等问题,提出了一种基于双图转换与多卷积循环神经网络融合的滚动轴承故障诊断方法。分别利用格拉姆角差场和马尔可夫转移场编码方法将一维序列信号转换为二维图像。将转换后的两种模态图像同时输入多CRNN融合的Fu-CRNN网络模型,充分汲取两种转换方法优点并提高CRNN模型特征表达能力。实现轴承信号特征自适应提取及端到端诊断。为验证该方法的可靠性与优越性,选用凯斯西储大学滚动轴承数据集进行轴承故障诊断试验,并比较分析诊断性能。结果表明,所提模型识别准确率和泛化效果均优于单一模态样本输入模型,相较于其他常用算法表现更出色,可为样本构建和轴承故障诊断方法提供参考。

基于DP-DBNet和MHA-CRNN的船牌号检测与识别

船牌号的检测和识别对于港口的智能化管理和解决传统人工方式监管渔船中存在的耗时耗力的问题具有重要意义.针对船牌悬挂位置,背景颜色和字符个数不统一等特点,本文提出两阶段双模型的检测和识别方法.首先,提出将双路径网络(dual path networks, DPN)与可微二值化网络(differentiable binarization network, DBNet)相结合的DP-DBNet船牌号位置检测模型.其次,提出将多头注意力机制(multi-head-attention mechanism, MHA)与改进的卷积循环神经网络(convolutional recurrent neural network, CRNN)相结合的MHA-CRNN船牌号文字识别模型.最后,以烟台芝罘区新型现代化智慧渔港项目为数据来源,并进行算法对比实验分析;实验结果表明,两种模型结合的两阶段识别方法可以使船牌号的识别准确率达到76.39%,充分证明了该模型的有效性和在海洋港口管理方面的应用价值.

Text-CRNN+attention架构下的多类别文本信息分类

迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出模型较其他模型准确率提升了2%~3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。

面向多复杂场景环境的敞车车号辨识研究

针对现有敞车车号定位识别方法存在的环境适应性差、定位和识别精度低的问题,本文提出一种面向多种复杂环境下的敞车车号精准定位和识别的方法。搭建融合多尺度特征信息的敞车车号定位模型框架,在此基础上,融合多尺度金字塔特征进行深度可分离卷积的敞车车号特征提取网络设计。提出基于改进卷积循环神经网络的车号定位识别模型,主要针对识别网络模型结构进行设计。通过不同环境下采集的敞车车厢图片对本文提出的方法进行验证。结果表明:本文提出的车号定位方法的准确率为0.94,车号识别的准确率为0.97。

音频标记一致性约束CRNN声音事件检测

级联卷积神经网络(CNN)结构和循环神经网络(RNN)结构的卷积循环神经网络(CRNN)及其改进是当前主流的声音事件检测模型。然而,以端到端方式训练的CRNN声音事件检测模型无法从功能上约束CNN和RNN结构的作用。针对这一问题,该文提出了音频标记一致性约束CRNN声音事件检测方法(ATCC-CRNN)。该方法在CRNN模型的声音事件分类网络中添加了CRNN音频标记分支,同时增加了CNN音频标记网络对CRNN网络CNN结构输出的特征图进行音频标记。然后,通过在模型训练阶段限定CNN和CRNN的音频标记预测结果一致使CRNN模型的CNN结构更关注音频标记任务,RNN结构更关注建立音频样本的帧间关系。从而使CRNN模型的CNN和RNN结构具备了不同的特征描述功能。该文在IEEE DCASE 2019国际竞赛家庭环境声音事件检测任务(任务4)的数据集上进行了实验。实验结果显示:提出的ATCC-CRNN方法显著提高了CRNN模型的声音事件检测性能,在验证集和评估集上的F1得分提高了3.7%以上。这表明提出的ATCC-CRNN方法促进了CRNN模型的功能划分,有效改善了CRNN声音事件检测模型的泛化能力。

基于OCR和图像检测的盖章文书图像自动审核方法

本文基于OCR和图像检测技术设计并实现了一个解决盖章文书图像审核耗时、低效、准确率无保障问题的自动审核方法。具体包括三个部分:文字识别、印章识别和表格内容审核。其中文字识别部分包括带有角度的文本检测算法SegLink以及卷积递归神经网络(convolutional recurrent neural network, CRNN);印章识别部分包括印章识别与提取算法YOLOv3和印章内容识别方法 DD极坐标变换法;表格内容审核部分根据预设的规则对表格内容进行完备性和正确性检测。实验结果表明,该方法对此类盖章文书图像具有较高的审核准确率。

基于特征金字塔卷积循环神经网络的故障诊断方法

变工况、变载荷设备部件不同故障的特征在信号中所占比例和位置不固定,且包括大量不同场景下的原始振动信号的多尺度复杂性.对此,提出一种基于特征金字塔网络(FPN)的卷积循环神经网络(CRNN)滚动轴承故障诊断方法.利用卷积神经网络(CNN)框架,并联CNN的卷积层和循环神经网络(RNN)中的长短时记忆(LSTM)层,形成新的CRNN,以充分利用CNN对空间域信息和RNN对时域信息的学习能力;在每一层中权值共享,减少网络参数;利用FPN构建全新特征图,输入一维信号和堆叠后形成的二维信号,对传感器采集的信号进行特征提取,实现故障诊断.利用行星齿轮箱进行故障试验,并进行5折交叉验证,该方法的诊断准确率平均值为99.20%,比基本神经网络模型至少高3.62%,表明该方法诊断精度高、鲁棒性强;利用凯斯西储大学轴承数据集进行验证,证明该方法具有良好的泛用性;利用t-SNE方法对模型的特征学习效果进行可视化分析,结果表明不同故障类别特征具有良好的聚类效果.

基于多阶段数据生成的自循环文本智能识别

在复杂多样场景下,极少存在同时对英文和中文都具有较优识别效果的大数据标注方法.因此文中提出针对复杂多样文本识别场景的数据生成和多阶段自循环训练算法.按照定义的生成数据参数随机生成文本数据,免去数据标注过程.在卷积循环神经网络的基础上,进行多阶段自循环训练,在循环过程中通过控制数据生成策略不断提升样本的识别精度.实验表明,文中算法在多个公开英文数据集及中文特定的复杂文本场景下都具有良好的识别性能.

基于深度学习的工业视觉箱体字符识别与判断

工厂生产线上的商品包装外箱文本印刷存在残缺,无法及时检出会影响流通销售。制作工业商品外观信息数据集,提出基于深度学习的工业视觉箱体字符识别与匹配判断方法。合并YOLOv3中的卷积层和批量归一化层,引入GIoU作为边界框损失函数并设计自适应调整定位坐标的方法,优化在原始图像上进行文本检测定位的速度与精度。同时,训练并对比CRNN和Tesseract两种识别引擎在已裁剪文本图片上的识别性能,设计字符匹配方法判断字符识别正确与否并输出结果,从而减少误判。对基于该方法的系统进行生产线实测,实验结果表明,其识别准确率可达99.5%,单件商品的外观拍照、检测识别、输出结果耗时仅3 s左右,表明所提方法能够实现实时监测。

基于NVIDIA TX2的喷码字符检测算法

针对复杂商品背景下喷码字符漏喷、重叠、缺失等现象,提出一种基于YOLOv5+CRNN的喷码字符检测算法。喷码字符定位算法以YOLOv5为基础网络,结合注意力机制提高其检测精度,再通过稀疏训练和通道剪枝降低模型参数量与复杂度,最终检测精度提高了3.4个百分点,模型参数量降低了6.7 MB。对定位后的字符区域进行背景擦除和透视变换处理后送入CRNN网络实现喷码字符识别,最终将改进后的算法部署至NVIDIA TX2嵌入式平台。通过在食品包装工厂生产流水线实测,检测速度达到28 frame/s,字符定位精度99.4%,识别率95%,且具有很好的鲁棒性。

注意力机制与复合卷积在手写识别中的应用

将图片切分成单“字”识别再连接成“串”是脱机手写图像识别的一种方法,但由于手写字符间易存在粘连,切分方法不易实现。卷积循环神经网络(CRNN)虽解决了整张文本图片输入,标签却不易对齐的问题,但由于不同人脱机手写风格的严重差异,网络提取出的特征表示力不够。对此提出了加强型卷积块注意力模块和复合卷积,并将其加入处理脱机文本识别的CRNN+CTC主流框架中。加强型卷积块注意力模块增大输入特征图的贡献权重且并联地使用通道注意力、空间注意力,丰富了细化特征图语义信息的同时避免了通道注意力模块对空间注意力模块的权重干扰,使得网络更聚焦图片中的有用特征而非无用的拖拽字迹特征。而嵌入在网络深层的复合卷积采用的多卷积核卷积意味着不同尺度的特征融合,增强了网络的泛化性。基于加强型卷积块注意力模块和复合卷积的CRNN+CTC框架在具有语义信息的IAM数据集上准确率达到85.7748%,字符错误率为8.6%;在RIMES数据集上准确率达到92.8728%,字符错误率为3.9%,比起当前主流的脱机文本识别算法,性能进一步提升。

光学识别技术在机车检修记录单电子化中的应用

由检修人员填写的机车检修记录单在电子化归档过程中,采用人工筛查分类,存在效率低、耗时长的问题。为此,文章提出一种改进的基于PaddlePaddle-OCR的文本识别方法,其能准确识别检修单中关键文本内容,并依据所识别的信息实现检修单的快速分类归档。该方法首先基于傅里叶变换进行文本倾斜角度检测校正;接着,采用以可微二值化模块为头部的分割网络来实现文本区域的检测;最后,采用卷积循环神经网络完成文本区域的文字识别。实验结果表明,采用该方法后,检修记录单中关键表头信息的识别准确率在0.94以上,单张图像识别耗时小于17 s,且可批量化操作,能满足机车检修单电子化分类归档的精度与效率要求;同时,相比原版PaddlePaddle-OCR,文中所提方法在文本倾斜场景下的识别效果更好。文章最后还探索了主干网络卷积核尺寸比例对文本检测器与文本识别器的影响。

基于深度学习和TRIZ的牵引变流器增效设计

在牵引变流器系统设计中,各子系统间存在复杂的多元技术矛盾,而依赖手动查表的传统创新方法难以有效解决这些矛盾。对此,文章将深度学习算法引入发明问题解决理论(TRIZ)中,通过研究基于深度学习和TRIZ原理相结合的协同创新方法,构建TRIZ-CRNN模型,挖掘创新案例中隐含的发明原理,从而实现牵引变流器的协同创新。实验结果显示,TRIZ-CRNN模型在TRIZ创新案例数据集上的识别精度达到99.5%。这验证了该协同创新方法的可行性,其能实现对TRIZ创新机制的智能建模,为牵引变流器技术创新提供理论支撑及解决方案;同时,由于该设计方法基于TRIZ-CRNN的人机交互软件,其不仅提升了计算机辅助创新系统的操作智能化水平,而且还优化了TRIZ-CRNN算法的应用。

基于CRNN混合神经网络的多语种识别

在语种识别过程中,为提取语音信号中的空间特征以及时序特征,从而达到提高多语种识别准确率的目的,提出了一种利用卷积循环神经网络(convolutional recurrent neural network,CRNN)混合神经网络的多语种识别模型。该模型首先提取语音信号的声学特征;然后将特征输入到卷积神经网络(convolutional neural network,CNN)提取低维度的空间特征;再通过空间金字塔池化层(spatial pyramid pooling layer,SPP layer)对空间特征进行规整,得到固定长度的一维特征;最后将其输入到循环神经网络(recurrenrt neural network,CNN)来判别语种信息。为验证模型的鲁棒性,实验分别在3个数据集上进行,结果表明:相比于传统的CNN和RNN,CRNN混合神经网络对不同数据集的语种识别准确率均有提高,其中在8语种数据集中时长为5 s的语音上最为明显,分别提高了5.3%和6.1%。

结合GAN的轻量级模糊车牌识别算法

目的模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆(long short-term memory,LSTM)的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络(convolutional recurrent neural network,CRNN)的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。

多尺度相似性迭代查找的可靠双目视差估计

目的双目视差估计可以实现稠密的深度估计,因而具有重要研究价值。而视差估计和光流估计两个任务之间具有相似性,在两种任务之间可以互相借鉴并启迪新算法。受光流估计高效算法RAFT(recurrent all-pairs field transforms)的启发,本文提出采用单、双边多尺度相似性迭代查找的方法实现高精度的双目视差估计。针对方法在不同区域估计精度和置信度不一致的问题,提出了左右图像视差估计一致性检测提取可靠估计区域的方法。方法采用金字塔池化模块、跳层连接和残差结构的特征网络提取具有强表征能力的表示向量,采用向量内积表示像素间的相似性,通过平均池化得到多尺度的相似量,第0次迭代集成初始视差量,根据初始视差单方向向左查找多尺度的相似性得到的大视野相似量和上下文3种信息,而其他次迭代集成更新的视差估计量,根据估计视差双向查找多尺度的相似性得到的大视野相似量和上下文3种信息,集成信息通过第0次更新的卷积循环神经网络和其他次更新共享的卷积循环神经网络迭代输出视差的更新量,多次迭代得到最终的视差估计值。之后,通过对输入左、右图像反序和左右翻转估计右图视差,对比左、右图匹配点视差差值的绝对值和给定阈值之差判断视差估计置信度,从而实现可靠区域提取。结果本文方法在Sceneflow数据集上得到了与先进方法相当的精度,平均误差只有0.84像素,并且推理时间有相对优势,可以和精度之间通过控制迭代次数灵活平衡。可靠区域提取后,Sceneflow数据集上误差进一步减小到了历史最佳值0.21像素,在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)双目测试数据集上,估计区域评估指标最优。结论本文方法对于双目视差估计具有优越性能,可靠区域提取方法能高效提取高精度估计区域,极大地提升了估计区域的可靠性。