深度学习的自然场景文本识别方法综述

自然场景文本识别在学术研究和实际应用中具有重要价值,已经成为计算机视觉领域的研究热点之一。然而,识别过程存在文本风格多样、背景环境复杂等挑战,导致识别效率和准确率不佳。传统的基于手工设计特征文本识别方法由于其有限的表示能力,不足以有效地应对复杂的自然场景文本识别任务。近年来,采用深度学习方法在自然场景文本识别中取得了重大进展,系统地梳理了近年来相关研究工作。首先,根据是否需要对单字符进行分割,将自然场景文本识别方法分为基于分割与无需分割的方法,再根据其技术实现特点将无需分割的方法进行细分,并对各类最具有代表性的方法工作原理进行了阐述。然后,介绍了当前常用数据集以及评价指标,并在数据集上对各类方法进行了性能对比,从多个方面讨论了各类方法的优势与局限性。最后,指出基于深度学习的自然场景文本识别研究存在的不足和难点,对其未来的发展趋势进行了展望。

基于深度学习的自然场景文本检测与识别研究

自然场景文本检测与识别技术主要应用于自动驾驶、车牌识别、智能机器人等多个场景,实用价值高,研究前景广阔。然而,自然场景的背景复杂,增加了区分文本的难度,因此相比传统的用于印刷文本检测及识别的OCR技术,自然场景的文本检测与识别难度更高。文中提出了一种基于深度学习的自然场景文本检测与识别模型,其利用图像分割技术构建自然场景文本检测模型,并阐述了模型结构及组件。此外,还利用了压缩与激励神经网络技术来构建自然场景文本识别模型。

基于深度学习的自然场景文本检测与识别综述

自然场景文本检测与识别研究对于从场景中获取信息有重要意义,而深度学习技术有助于提高文本检测与识别的能力.主要对基于深度学习的自然场景文本检测与识别方法和其研究进展进行整理分类、分析和总结.首先论述自然场景文本检测与识别的相关研究背景及主要技术研究路线;然后,根据自然场景文本信息处理的不同阶段,进一步介绍文本检测模型、文本识别模型和端到端的文本识别模型,并阐述和分析每类模型方法的基本思路和优缺点;另外,列举了常见公共标准数据集以及性能评估指标和方法,并对不同模型相关实验结果进行了对比分析;最后总结基于深度学习的自然场景文本检测与识别技术面临的挑战和发展趋势.

自然场景文本检测与端到端识别:深度学习方法

自然场景图像中丰富的文本内容对场景理解有着重要意义,但自然场景文本往往具有极端横纵比、字体风格多变、背景及形状复杂等特点,而传统的文本检测与端到端识别方法存在着模型设计复杂、效率低、适用性不强且耗费成本高等缺点。随着深度学习技术在图像领域的迅速发展,自然场景文本检测与端到端识别方法取得了突破性的进展,其性能和效率得到了显著提高。针对自然场景文本检测与端到端识别方法,梳理了近年来相关的研究工作。首先,根据文本框生成方式的不同,主要从回归候选框和像素分割两个角度来划分自然场景文本检测方法的基本思想,并对各类代表性的方法进行了详细叙述;其次,从端到端识别速度与解耦检测和识别任务的角度对端到端识别方法的技术发展路线进行了归纳总结;然后,介绍了常用的公开文本数据集,并在公开的文本数据集上对各类方法进行了性能对比;最后,对自然场景文本检测与端到端识别的主流研究方向进行了讨论,并阐述了其面临的挑战和未来的发展趋势。

任意方向自然场景文本识别

自然场景文本识别是计算机视觉领域一项极具挑战性的任务,为此提出一种适用于任意方向的自然场景文本识别算法。使用高分辨分割网络作为基础框架提取文本的空间信息,利用卷积长短时记忆网络提取文本的时空序列信息,同时通过设计字符注意机制使模型专注于字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注,网络对每个像素点进行37分类,并使用文本转录模块将分类结果按照从左到右的顺序转换成文本。该算法在包括ICDAR2013,ICDAR2003,SVTP,CUTE,IIIT5k的多个标准数据集上进行测试,测试结果表明,无论是规则文本还是不规则文本都取得了不错的效果,其中,在弯曲文本CUTE上的识别精度高达83.3%,充分证明了提出算法的有效性。

基于STN-CRNN的自然场景英文文本识别研究

针对复杂自然场景中文本识别精确度不高的问题,提出了采用STN的文本修正与改进CRNN的文本识别方法,并设计了Res_CRNN文本识别模型。通过采取性能更好的残差网络Resnet50提取更为复杂的序列信息,运用新设计的CTC损失函数进行训练。实验结果表明,将STN文本修正网络与Res_CRNN模型相结合,即可形成了一个端到端的文本修正与识别模式,在该模式下能有效地提高文本识别的精度与效率。

自然场景文本快速检测识别方法

针对基于卷积循环神经网络或实例分割的自然场景文本图像检测识别方法结构复杂、实时性差、鲁棒性低的问题,提出基于改进Faster RCNN和高斯混合模型(GMM)的文本图像快速检测识别方法。该方法首先使用改进的Faster RCNN模型进行单字符检测识别并求出图中文本区域的数量,然后使用高斯混合模型进行单字符聚类并构造出候选的多边形文本框,最后使用重定义的置信度公式筛选出适当的文本区域边框,并输出边框内的字符标签序列。公共数据集的测试结果表明,该方法具有良好的鲁棒性和实时性。

自然场景中的文本识别研究

自然场景中的文本识别一直是计算机视觉和模式识别领域的活跃研究领域。文本识别在广泛的基于视觉的应用场景中扮演着至关重要的角色。随着深度学习技术的兴起和发展,近年来涌现出许多创新性、实用性和高效的方法。本文主要对场景文本识别领域的基本问题进行探讨,并对最新研究进展做了简单的概述,为后面文本识别在不同场景中的应用提供算法支撑,最后对未来发展方向做了简单总结。

基于注意力机制的端到端自然场景文本识别方法

近几年前人在文本检测与文本识别领域已经取得了显著的研究进展,但是在场景弯曲的文本识别方面仍然需要解决很多问题.因此提出了一种结合注意力机制与卷积神经网络的有效的端到端场景文本识别方法,文本检测时将引入结合注意力机制的特征金字塔(FPN),将提取到的图像的多尺度特征输入深度双向递归网络(Bi-LSTM)对这些特征进行编码,获得文本序列特征,进而对文本序列特征进行解码达到识别效果.端到端的文本识别模型在CTW1500数据集实验验证了该算法的有效性,提高了自然场景中的文本识别准确率.

自然场景图像中的文本信息提取研究

自然场景中的文字提取技术成为了近几年计算机视觉领域的热门研究课题。本文对自然场景文本信息提取的关键技术进行了研究,全面总结了文本信息提取的研究现状,对文本检测定位和识别算法设计进行了有益的探索和研究,并对主流算法进行了分类和对比,最后总结了场景图像中文本信息提取存在的主要问题和评测方法。

基于DenseNet自然场景文本检测

针对自然场景文本图片背景的多样性、多变性、复杂性等问题,提出一种基于密集连接网络(DenseNet)的DenseText模型。使用改进的DenseNet网络进行提取特征;为更好适应文本图片字体较长的特点,采用长方形卷积核代替传统网络的正方形卷卷积核;区别于传统的NMS后处理算法,使用Soft-NMS算法进行优化。识别框架上,采用CRNN网络进行识别,形成一个端到端的自然场景文本检测与识别的一体化网络框架。实验结果表明,该网络模型在ICDAR13数据集上取得了令人信服的结果,提高了检测结果的准确率,降低了假阳性,recall达到0.85,F为0.88。

嵌入重评分机制的自然场景文本检测方法

针对自然场景文本检测中存在大量假阳性问题,提出了嵌入重评分机制的自然场景文本检测方法。引入实例分割网络(Mask R-CNN)作为基本框架,实现对自然场景中多方向、不规则文本的检测;设计文本掩膜重评分机制,通过预测文本掩膜的质量,将文本的语义类别信息与其对应的掩膜完整性信息相结合,重新评估文本掩膜的质量,精确了文本的候选区域;重新设计损失函数的作用范围。上述模型基于端到端训练,在ICDAR2013、ICDAR2015和Total-Text等数据集进行性能测试,结果表明,提出的方法有效的提高了字符分割的完整性,较之现有方法明显地提高了文本检测的准确率和召回率,更适合自然场景中的不规则文本的识别。

不规则场景文本的识别方法

场景文本识别是近年来极具挑战性的任务,针对自然场景中密集文本形态多变和弯曲导致识别困难的特点,提出面向场景图像文本的矫正与识别方法。首先利用矫正网络矫正场景文本,然后将校正后的文本输入到双分支网络模块提取图像特征进行融合,双分支模块分别利用InceptionV2和可变卷积代替普通卷积,获取不同的感受域范围,并增加调整卷积核的方向向量,促使卷积核形态更贴近文本形状,最后通过嵌入注意力的双向门控循环单元获取不同权重的文本语义信息。实验结果表明,该模型在ICDAR2013、ICDAR2015和CUTE80数据集上取得了令人信服的结果,尤其在弯曲变形文本CUTE数据集上表现最好,准确率高达89.54%,相比传统方法提高了近1.9%,说明该模型可有效识别扭曲变形的文本信息。

利用多级卷积神经网络融合的自然场景图像手写体文字识别

当前自然场景文本识别算法的准确性受到传统图像文字识别方法性能不足的限制。复杂的背景、书写的变化、文本大小、方向、低分辨率和多语言文本使得识别自然图像中的文本成为复杂且具有挑战性的任务。传统的机器学习和基于深度学习的方法已经取得了令人满意的进展,但是针对自然图像中的诸如阿拉伯语和乌尔都语手写体文本的字符识别仍然是一个开放的研究主题。

深度学习在场景文字识别技术中的应用综述

随着深度学习技术在计算机视觉领域的发展,场景文本检测与文字识别技术也有了突破性的进展。受到自然场景下极端光照、遮挡、模糊、多方向多尺度等情况的影响,无约束的场景文本检测与识别仍然面临着巨大的挑战。从深度学习的角度对场景文本检测和文字识别技术进行深入研究,总结出在文本检测技术中将基于分割的方法与回归的方法优势相结合,可以解决小文本区域的召回率较低的问题,同时适应多尺度文本;在文本识别方法中将CTC机制与Attention机制相结合,可以相互监督以提升识别性能,降低长文本识别的出错率。

融合软注意力掩码嵌入的场景文本识别方法

目的 基于深度学习的端到端场景文本识别任务已经取得了很大的进展。然而受限于多尺度、任意形状以及背景干扰等问题,大多数端到端文本识别器依然会面临掩码提议不完整的问题,进而影响模型的文本识别结果。为了提高掩码预测的准确率,提出了一种基于软注意力的掩码嵌入模块(soft attention mask embedding,SAME),方法 利用Transformer更好的全局感受野,将高层特征进行编码并计算软注意力,然后将编码特征与预测掩码层级嵌入,生成更贴近文本边界的掩码来抑制背景噪声。基于SAME强大的文本掩码优化及细粒度文本特征提取能力,进一步提出了一个健壮的文本识别框架SAME-Net,开展无需字符级注释的端到端精准文本识别。具体来说,由于软注意力是可微的,所提出的SAME-Net可以将识别损失传播回检测分支,以通过学习注意力的权重来指导文本检测,使检测分支可以由检测和识别目标联合优化。结果 在多个文本识别公开数据集上的实验表明了所提方法的有效性。其中,SAME-Net在任意形状文本数据集Total-Text上实现了84.02%的H-mean,相比于2022年的GLASS(global to local attention for scene-text spotting),在不增加额外训练数据的情况下,全词典的识别准确率提升1.02%。所提方法在多向数据集ICDAR 2015(International Conference on Document Analysis and Recognition)也获得了与同期工作相当的性能,取得83.4%的强词典识别结果。结论 提出了一种基于SAME的端到端文本识别方法。该方法利用Transformer的全局感受野生成靠近文本边界的掩码来抑制背景噪声,提出的SAME模块可以将识别损失反向传输到检测模块,并且不需要额外的文本校正模块。通过检测和识别模块的联合优化,可以在没有字符级标注的情况下实现出色的文本定位性能。

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。

污水处理设备铭牌中字符检测与识别

为获取污水处理设备铭牌图像中设备编号、名称等基本参数信息,针对现有的文本检测算法存在的漏检率高、准确度低等问题,基于传统的CTPN算法,增加图像校正模块,采用Res Net50网络进行特征提取,提高特征提取效果;识别阶段采用Dense Net+BLSTM+CTC算法模型实现对铭牌图像中不定长字符序列的识别,改进传统的NMS算法,将检测区域进行融合,减少文本框边界丢失导致文本识别错误的问题。在铭牌数据集上进行测试,检测精确率达到95.8%,识别准确率为92.6%,与传统的算法相比,性能有所提升,验证了该模型的有效性。

一种车辆识别代号检测和识别的弱监督学习方法

车辆识别代号对于车辆年检具有重要的意义。由于缺乏字符级标注,无法对车辆识别代号进行单字符风格校验。针对该问题,设计了一种单字符检测和识别框架,并对此框架提出了一种无须字符级标注的弱监督学习方法。首先,对VGG16-BN各个层次的特征信息进行融合,获得具有单字符位置信息与语义信息的融合特征图;其次,设计了一个字符检测分支和字符识别分支的网络结构,用于提取融合特征图中的单字符位置和语义信息;最后,利用文本长度和单字符类别信息,对所提框架在无字符级标注的车辆识别代号数据集上进行弱监督训练。实验结果表明,本文方法在车辆识别代号测试集上得到的检测Hmean数值达到0.964,单字符检测和识别准确率达到95.7%,具有很强的实用性。

研讨场景视频的图像情报挖掘

自进入21世纪起,社交媒体与人工智能技术蓬勃发展,声像情报迎来了新一轮升级跨越的历史机遇期,但也面临着前所未有的严峻挑战。后疫情时代,以线上与线下会议互为补充的研讨场景类视音频数据量增长迅猛,其主题一般为重点理论研究讨论或前沿技术交流,具有极高的情报价值,但传统人工方式已经不能满足快速发现声像情报的需求。本文提出利用计算机视觉技术从图像维度对研讨场景视频进行情报挖掘,开展研讨场景梳理与分析,重点研究研讨场景人脸识别、自然场景文本检测与识别和人与文本潜在关联关系发现等内容。此外,基于微服务框架开发了研讨场景视频的图像情报挖掘分析流程,对上述研究内容进行了技术验证,取得了较好的效果。