基于核稀疏表示和AdaBoost算法的自然场景识别

为了提升自然场景图像的识别精度,结合bag-of-visual word模型,提出了一种基于核稀疏表示的图像识别方法。该方法的图像描述部分主要利用核稀疏表示在高维度空间进行图像特征的匹配表示,识别部分采用AdaBoost分类器,对各个类别编码并在对应的核矩阵上进行划分,从而实现多类场景图像的识别能力。实验结果表明,该方法有效的提升了图像描述的准确度与对自然场景图像识别的精度。

自然场景文本快速检测识别方法

针对基于卷积循环神经网络或实例分割的自然场景文本图像检测识别方法结构复杂、实时性差、鲁棒性低的问题,提出基于改进Faster RCNN和高斯混合模型(GMM)的文本图像快速检测识别方法。该方法首先使用改进的Faster RCNN模型进行单字符检测识别并求出图中文本区域的数量,然后使用高斯混合模型进行单字符聚类并构造出候选的多边形文本框,最后使用重定义的置信度公式筛选出适当的文本区域边框,并输出边框内的字符标签序列。公共数据集的测试结果表明,该方法具有良好的鲁棒性和实时性。

自然场景的识别及其理论模型

人类能快速而高效地处理自然场景图片中的背景和客体信息。认知神经科学研究发现,大脑的旁海马位置区、枕叶位置区和扣带回的压后皮层等区域与场景识别息息相关。本文系统地总结和分析了场景识别领域的上述成果,并进一步介绍了其认知模型和计算模型。其中,前者阐述了前馈加工和反馈加工在场景识别过程中的作用和关系,而后者则总结了旨在理解场景识别过程的"算法"及其发展,并解释这些计算模型仍不能真正地"理解"场景的原因。

任意方向自然场景文本识别

自然场景文本识别是计算机视觉领域一项极具挑战性的任务,为此提出一种适用于任意方向的自然场景文本识别算法。使用高分辨分割网络作为基础框架提取文本的空间信息,利用卷积长短时记忆网络提取文本的时空序列信息,同时通过设计字符注意机制使模型专注于字符上,并采用可微分二值化函数进一步加大网络对前景的注意力,削弱对背景区域的关注,网络对每个像素点进行37分类,并使用文本转录模块将分类结果按照从左到右的顺序转换成文本。该算法在包括ICDAR2013,ICDAR2003,SVTP,CUTE,IIIT5k的多个标准数据集上进行测试,测试结果表明,无论是规则文本还是不规则文本都取得了不错的效果,其中,在弯曲文本CUTE上的识别精度高达83.3%,充分证明了提出算法的有效性。

融合软注意力掩码嵌入的场景文本识别方法

目的 基于深度学习的端到端场景文本识别任务已经取得了很大的进展。然而受限于多尺度、任意形状以及背景干扰等问题,大多数端到端文本识别器依然会面临掩码提议不完整的问题,进而影响模型的文本识别结果。为了提高掩码预测的准确率,提出了一种基于软注意力的掩码嵌入模块(soft attention mask embedding,SAME),方法 利用Transformer更好的全局感受野,将高层特征进行编码并计算软注意力,然后将编码特征与预测掩码层级嵌入,生成更贴近文本边界的掩码来抑制背景噪声。基于SAME强大的文本掩码优化及细粒度文本特征提取能力,进一步提出了一个健壮的文本识别框架SAME-Net,开展无需字符级注释的端到端精准文本识别。具体来说,由于软注意力是可微的,所提出的SAME-Net可以将识别损失传播回检测分支,以通过学习注意力的权重来指导文本检测,使检测分支可以由检测和识别目标联合优化。结果 在多个文本识别公开数据集上的实验表明了所提方法的有效性。其中,SAME-Net在任意形状文本数据集Total-Text上实现了84.02%的H-mean,相比于2022年的GLASS(global to local attention for scene-text spotting),在不增加额外训练数据的情况下,全词典的识别准确率提升1.02%。所提方法在多向数据集ICDAR 2015(International Conference on Document Analysis and Recognition)也获得了与同期工作相当的性能,取得83.4%的强词典识别结果。结论 提出了一种基于SAME的端到端文本识别方法。该方法利用Transformer的全局感受野生成靠近文本边界的掩码来抑制背景噪声,提出的SAME模块可以将识别损失反向传输到检测模块,并且不需要额外的文本校正模块。通过检测和识别模块的联合优化,可以在没有字符级标注的情况下实现出色的文本定位性能。

一种车辆识别代号检测和识别的弱监督学习方法

车辆识别代号对于车辆年检具有重要的意义。由于缺乏字符级标注,无法对车辆识别代号进行单字符风格校验。针对该问题,设计了一种单字符检测和识别框架,并对此框架提出了一种无须字符级标注的弱监督学习方法。首先,对VGG16-BN各个层次的特征信息进行融合,获得具有单字符位置信息与语义信息的融合特征图;其次,设计了一个字符检测分支和字符识别分支的网络结构,用于提取融合特征图中的单字符位置和语义信息;最后,利用文本长度和单字符类别信息,对所提框架在无字符级标注的车辆识别代号数据集上进行弱监督训练。实验结果表明,本文方法在车辆识别代号测试集上得到的检测Hmean数值达到0.964,单字符检测和识别准确率达到95.7%,具有很强的实用性。

研讨场景视频的图像情报挖掘

自进入21世纪起,社交媒体与人工智能技术蓬勃发展,声像情报迎来了新一轮升级跨越的历史机遇期,但也面临着前所未有的严峻挑战。后疫情时代,以线上与线下会议互为补充的研讨场景类视音频数据量增长迅猛,其主题一般为重点理论研究讨论或前沿技术交流,具有极高的情报价值,但传统人工方式已经不能满足快速发现声像情报的需求。本文提出利用计算机视觉技术从图像维度对研讨场景视频进行情报挖掘,开展研讨场景梳理与分析,重点研究研讨场景人脸识别、自然场景文本检测与识别和人与文本潜在关联关系发现等内容。此外,基于微服务框架开发了研讨场景视频的图像情报挖掘分析流程,对上述研究内容进行了技术验证,取得了较好的效果。

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。