基于深度学习的自然场景文本检测与识别研究

自然场景文本检测与识别技术主要应用于自动驾驶、车牌识别、智能机器人等多个场景,实用价值高,研究前景广阔。然而,自然场景的背景复杂,增加了区分文本的难度,因此相比传统的用于印刷文本检测及识别的OCR技术,自然场景的文本检测与识别难度更高。文中提出了一种基于深度学习的自然场景文本检测与识别模型,其利用图像分割技术构建自然场景文本检测模型,并阐述了模型结构及组件。此外,还利用了压缩与激励神经网络技术来构建自然场景文本识别模型。

融合CTPN和CRNN模型的自然场景文本检测与识别方法

针对自然场景中文本检测与识别存在准确率不高和效率不佳的问题,提出了一种融合场景文本检测CTPN和卷积循环神经网络CRNN模型的自然场景文字检测与识别方法。首先利用CTPN模型对文本行进行预测,再利用卷积神经网络进行特征序列提取和识别并基于Bi-LSTM学习序列特征,最后将文本分数高的窗口连接作为文本区域,从而实现文本检测。实验结果表明,在ICADR-2013数据集中改进模型的准确率可达78%;基于CRNN的文本识别模型在提取特征序列后,经过转录层预测的文本序列结果,在测试集上的准确率可达到86.7%;以上结果表明融合CTPN和CRNN模型的自然场景文字检测与识别方法能够获得更好的检测与识别效果。

基于深度学习的自然场景文本检测与识别综述

自然场景文本检测与识别研究对于从场景中获取信息有重要意义,而深度学习技术有助于提高文本检测与识别的能力.主要对基于深度学习的自然场景文本检测与识别方法和其研究进展进行整理分类、分析和总结.首先论述自然场景文本检测与识别的相关研究背景及主要技术研究路线;然后,根据自然场景文本信息处理的不同阶段,进一步介绍文本检测模型、文本识别模型和端到端的文本识别模型,并阐述和分析每类模型方法的基本思路和优缺点;另外,列举了常见公共标准数据集以及性能评估指标和方法,并对不同模型相关实验结果进行了对比分析;最后总结基于深度学习的自然场景文本检测与识别技术面临的挑战和发展趋势.

深度学习的自然场景文本识别方法综述

自然场景文本识别在学术研究和实际应用中具有重要价值,已经成为计算机视觉领域的研究热点之一。然而,识别过程存在文本风格多样、背景环境复杂等挑战,导致识别效率和准确率不佳。传统的基于手工设计特征文本识别方法由于其有限的表示能力,不足以有效地应对复杂的自然场景文本识别任务。近年来,采用深度学习方法在自然场景文本识别中取得了重大进展,系统地梳理了近年来相关研究工作。首先,根据是否需要对单字符进行分割,将自然场景文本识别方法分为基于分割与无需分割的方法,再根据其技术实现特点将无需分割的方法进行细分,并对各类最具有代表性的方法工作原理进行了阐述。然后,介绍了当前常用数据集以及评价指标,并在数据集上对各类方法进行了性能对比,从多个方面讨论了各类方法的优势与局限性。最后,指出基于深度学习的自然场景文本识别研究存在的不足和难点,对其未来的发展趋势进行了展望。

改进FCENet的自然场景文本检测算法

针对自然场景文本检测中由于背景复杂、尺度多变、形状弯曲等造成的检测难题,提出了一种改进FCENet(Fourier contour embedding network)的场景文本检测算法。该算法基于FCENet并引入了多尺度残差特征增强模块和多尺度注意力特征融合模块。多尺度残差特征增强模块作为骨干网络顶层的残差分支,增强了特征金字塔结构自上而下的高层语义信息流动,提高了文本像素分类能力,有效减少误检现象。多尺度注意力特征融合模块使不同语义和尺度的特征能够更好地融合,结合自底向上的特征融合网络,有效避免文本过度分割并提高了弯曲文本的检测能力。实验结果表明,该方法在弯曲文本数据集CTW1500和Total-Text上的综合指标F值分别达到了86.2%和86.5%,相比原算法FCENet分别提升了1.1和0.7个百分点。

自然场景文本检测与端到端识别:深度学习方法

自然场景图像中丰富的文本内容对场景理解有着重要意义,但自然场景文本往往具有极端横纵比、字体风格多变、背景及形状复杂等特点,而传统的文本检测与端到端识别方法存在着模型设计复杂、效率低、适用性不强且耗费成本高等缺点。随着深度学习技术在图像领域的迅速发展,自然场景文本检测与端到端识别方法取得了突破性的进展,其性能和效率得到了显著提高。针对自然场景文本检测与端到端识别方法,梳理了近年来相关的研究工作。首先,根据文本框生成方式的不同,主要从回归候选框和像素分割两个角度来划分自然场景文本检测方法的基本思想,并对各类代表性的方法进行了详细叙述;其次,从端到端识别速度与解耦检测和识别任务的角度对端到端识别方法的技术发展路线进行了归纳总结;然后,介绍了常用的公开文本数据集,并在公开的文本数据集上对各类方法进行了性能对比;最后,对自然场景文本检测与端到端识别的主流研究方向进行了讨论,并阐述了其面临的挑战和未来的发展趋势。

基于深度学习的自然场景文本检测综述

基于深度学习的自然场景文本检测技术已成为计算机视觉和自然语言处理领域的重要研究方向,不仅具有广泛的应用前景,而且也为研究人员提供了一个探索神经网络模型和算法的新平台。首先,介绍自然场景文本检测技术的相关概念、研究背景和发展现状。接着,分析近年来基于深度学习的文本检测方法并将其分为基于检测框、基于分割、基于两者混合、其他4类,阐述4类经典和主流方法的基本思路和主要算法流程,归纳总结不同方法的使用机制、适用场景、优劣点及仿真实验结果和环境设置,明确不同方法之间的关联关系。然后,介绍自然场景文本检测的常用公共数据集和文本检测性能评估方法。最后,指出基于深度学习的自然场景文本检测技术目前所面临的主要挑战并对其未来发展方向进行展望。

嵌入拓扑特征的自然场景文本检测方法

传统的基于锚点框(anchor box)实现的自然场景文本检测方法中,锚点框容易受到其他文本实例的干扰产生误判或精度降低,且文本实例包含强烈的拓扑特征但并未得到重视,导致在弯曲环形文本检测任务中表现不佳。针对这个问题提出了一种新颖的神经网络结构,引入图卷积神经网络的概念,充分考虑邻近锚点框之间的联系,并融入锚点框的拓扑特征辅助图神经网络的学习,提高整体网络的有效性。在两个公开的自然场景文本检测数据集上进行了消融实验,在公开数据集CTW1500中,本文提出的方法使模型在召回率、精确率、F分数这3个指标上分别提高了3.0%、1.9%以及2.5%,在公开数据集Totel-Text中这3个指标分别是2.2%、1.8%以及2.0%。此外,本文方法还与近年提出的其他文本检测算法进行了比较,实验结果证明本文提出的方法在复杂自然场景下文本检测效果优秀,所提出的模块有利于文本检测性能的提高。

基于改进MTSv2的场景文本检测和识别算法研究

在自然场景图像中,丰富的文本内容对于全面理解场景非常重要。针对自然场景文本图像存在背景复杂、文本粘连、文本多角度等问题,提出一种基于改进MTSv2的文本检测和识别算法;检测算法以MTSv2为基础网络,采用CBAM注意力机制增大特征图中的小型文本的权重,更好捕捉图像中的关键特征;融合CE-FPN结构,减轻多尺度融合产生的特征混叠问题;引入focal loss函数,减少正负样本分布不均衡对识别准确率的影响,使网络更加关注难以分类的样本,改善模型的泛化能力;通过多个文本数据集进行训练,并在ICDAR2015数据集上进行验证,改进后模型对场景文本检测和识别的准确率达到了89.3%,召回率达到了87.6%,F_(1)值达到了88.5%,相比于原模型都有一定程度的提高。

基于增强多层次特征融合的自然场景文本检测

针对自然场景图像中未聚焦小文本、复杂背景文本以及宽间距弯曲文本等造成的检测难题,提出了一种基于增强多层次特征融合的自然场景文本检测方法,该方法包括局部注意力特征增强(Local Attention Feature Enhanced,LAFE)模块和多层次增强特征融合(Multi-level Enhanced Feature Fused,MEFF)模块。LAFE模块通过堆叠空洞卷积扩大网络感受野,结合通道与空间注意力来增强像素点分类能力;MEFF模块作为多层次增强特征连接分支,引入可变形卷积来增强特征图之间的信息融合。实验结果表明,所提方法在常用文本数据集上取得了较好的性能,其中,在ICDAR2015、Total-Text数据集上的综合指标F分别达到了88.1%和86.5%,相比原方法分别提升了0.8%和1.8%。

场景图像弯曲文本检测与识别

随着深度学习技术的发展,场景文本检测与识别在近几年取得了巨大的进步,场景文本检测与识别的实现方式也越来越具有多样性。然而,场景文本的表示方式仍然以矩形和旋转矩形居多,该类文本表示方式难以精准表示弯曲的文本实例。为了解决弯曲文本的表示问题,论文提出了一种参数化的弯曲文本表示法,并且基于参数化表示法设计了弯曲文本纠正算法,实现了弯曲文本的形态纠正,降低了识别的难度。通过引入该方法,实现了功能完善的场景文本检测与识别系统。实验结果表明,此方法可以有效完成场景文本的检测与识别任务。

基于Deformable DETR的自然场景任意形状文本检测

自然场景下的文本区域形状复杂多变,直接使用轮廓坐标描述文本区域会使得建模不充分,导致文本检测准确性低。针对自然场景下文本区域不规则的问题,提出了一种基于Deformable DETR的任意形状文本检测模型,不同于传统的直接预测轮廓点的方法,使用B-样条对文字区域进行建模使得文本轮廓平滑精确的同时减少了需要预测的参数。提出的文本检测模型无需手工设计锚点、区域建议等组件,极大地简化了模型设计并提高了通用性。提出的模型在无需额外数据集的情况下在任意形状文本数据集CTW1500和Total-Text上的平均精度(F值)分别达到了85.4%和85.0%,证明了模型的有效性。

自然场景文本快速检测识别方法

针对基于卷积循环神经网络或实例分割的自然场景文本图像检测识别方法结构复杂、实时性差、鲁棒性低的问题,提出基于改进Faster RCNN和高斯混合模型(GMM)的文本图像快速检测识别方法。该方法首先使用改进的Faster RCNN模型进行单字符检测识别并求出图中文本区域的数量,然后使用高斯混合模型进行单字符聚类并构造出候选的多边形文本框,最后使用重定义的置信度公式筛选出适当的文本区域边框,并输出边框内的字符标签序列。公共数据集的测试结果表明,该方法具有良好的鲁棒性和实时性。

深度卷积网络的自然场景文本检测研究综述

自然场景文本检测是从场景图像中获取文本信息的重要手段,但是仍旧面临背景复杂、文字种类丰富、排列方向多样、文本行组成复杂等因素的严峻挑战.研究检测精度高、通用性强、稳健性好的自然场景文本检测方法是目前计算机视觉领域的热点问题之一.并且,基于深度卷积网络的自然场景文本检测方法逐渐成为主流.因此,从自然场景文本检测技术的研究背景及主要挑战切入,根据骨干网络的不同将现有方法划分为基于VGG网络的文本检测方法、基于残差网络的文本检测方法和基于特征金字塔网络的文本检测方法,重点阐述各类方法的核心思想、技术优势及其不足;然后,总结自然场景文本检测的公共数据集,对代表性方法的检测性能进行客观比较;最后,梳理和总结自然场景文本检测技术的难点并展望其未来发展趋势.

TextRail:复杂自然场景下的不规则文本检测算法

文本检测是文本识别的前提和基础。复杂自然场景下,受透视、遮挡、变形等因素影响,图像质量难以保证,同时图像中的文字形式丰富多样,多呈不规则形状,加上复杂背景的干扰,致使文本检测难度大、精确度低。针对文本形状不规则的场景,提出了一种文本边轨模型(TextRail),该模型基于文本上、下边界基准点表示文本区域的思想,实现对任意形状文本的高效检测。TextRail使用全卷积网络(full convolutional network,FCN)及特征金字塔网络(feature pyramid network,FPN)提取文本图像特征;将特征送入检测头网络,实现文本区域上下边界基准点的预测,将预测结果通过位置感知非极大抑制(locality-aware non-maximum suppression,LNMS)合并,得到最终的上下边界基准点;采用薄板样条插值(thin plate spline,TPS)的方法实现对不规则文本的自动矫正。通过大量的实验验证,TextRail在F1分值上优于其他文本检测模型。同时TextRail模型可以准确表示出文字的朝向、弯曲和变形情况,有效提升了不规则文本检测的准确率和鲁棒性。

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。

基于注意力机制与深度多尺度特征融合的自然场景文本检测

针对现有场景文本检测方法不能深入挖掘并充分融合多尺度文本实例判别性特征的问题,提出一种基于注意力机制与深度多尺度特征融合的自然场景文本检测方法。首先采用带有注意力增强的ResNeSt50作为骨干网络,提取文本实例在不同尺度上更具判别力的特征表示;然后设计深度多尺度特征融合模块,将不同尺度的特征信息进行交互,自适应地学习不同尺度特征图对应的权重矩阵,用于融合文本实例在不同尺度特征图上具有判别力的特征信息,从而获得更具鲁棒性的多尺度融合特征图;最后利用自适应的二值化后处理模块生成更加精确的文本区域边界框。为评估其有效性,大量实验在ICDAR2015,ICDAR2013和CTW1500数据集上进行验证,结果表明该方法相较于其他先进的检测方法取得了有竞争力的检测结果,展现出良好的鲁棒性和泛化能力。

嵌入重评分机制的自然场景文本检测方法

针对自然场景文本检测中存在大量假阳性问题,提出了嵌入重评分机制的自然场景文本检测方法。引入实例分割网络(Mask R-CNN)作为基本框架,实现对自然场景中多方向、不规则文本的检测;设计文本掩膜重评分机制,通过预测文本掩膜的质量,将文本的语义类别信息与其对应的掩膜完整性信息相结合,重新评估文本掩膜的质量,精确了文本的候选区域;重新设计损失函数的作用范围。上述模型基于端到端训练,在ICDAR2013、ICDAR2015和Total-Text等数据集进行性能测试,结果表明,提出的方法有效的提高了字符分割的完整性,较之现有方法明显地提高了文本检测的准确率和召回率,更适合自然场景中的不规则文本的识别。

自然场景中的文本识别研究

自然场景中的文本识别一直是计算机视觉和模式识别领域的活跃研究领域。文本识别在广泛的基于视觉的应用场景中扮演着至关重要的角色。随着深度学习技术的兴起和发展,近年来涌现出许多创新性、实用性和高效的方法。本文主要对场景文本识别领域的基本问题进行探讨,并对最新研究进展做了简单的概述,为后面文本识别在不同场景中的应用提供算法支撑,最后对未来发展方向做了简单总结。

基于笔画宽度变换的自然场景文本检测方法

根据自然场景中文字笔画倾向于固定宽度的特点,提出一种基于像素笔画宽度变换的自然场景文本检测方法。该方法利用笔画宽度变换方法计算图像中每一个像素的笔画宽度,将笔画宽度大致相等的相邻像素合并形成文本候选区域,按照规则滤除一部分非文本区域从而实现文本的检测。实验结果表明,所提出的基于笔画宽度变换的文本检测方法避开了文本特征分类问题,能够提高文本检测的准确率和召回率,同时缩短文本检测的时间。