基于注意力多分支卷积和Transformer的手写文本识别

手写体识别技术作为自动阅卷的关键一环受到广泛研究。针对中文手写文本字迹复杂的问题,提出一种文本定位和识别的手写汉字文本识别方法。在文本定位信息中使用透视变化纠正倾斜的文本,特征提取阶段使用注意力多分支卷积层提取文本图像关键区域特征以及多尺度特征融合,语义提取阶段通过时间卷积网络和Transformer编码器构建序列信息和建模上下文语义信息,最后以链接时序分类函数,实现序列特征和字符序列标签对齐。所提方法在公开数据集CASIA-HWDB上进行实验,结果表明,注意力分支卷积层和语义提取层有效提升算法性能,证明所提方法的可行性。

面向连续手写文本的部件识别研究

联机连续文本识别是字符识别技术领域中新的研究方向.基于分层构筑法(Level-Building,LB)和动态时间规整算法(Dynamic Time Warping,DTW)建立了面向连续手写文本识别的手写部件识别器.将部件看作笔段和连续文本的中间模式,根据手写文本的特点建立了由484个手写部件构成的部件集.提取笔段的长度、角度等特征用于LB中每一层的DTW网格匹配中.测试样本包括6 763个汉字和303个连续手写文本.实验结果表明手写体部件集能够有效地支撑笔段和连续文本之间的联系,串识别率达到86.47%.

基于高阶相关聚类的脱机手写文本行分割

从手写文档图像中提取出文本行是文档分析的一个重要预处理步骤,但是由于手写文本行之间通常行方向不平行,甚至存在着交叠和弯曲,所以它仍然是一个具有挑战性的问题.针对该问题,提出了一种基于高阶相关聚类的脱机中文手写文本行的分割算法.首先,使用连通部件构成一个文档超图,然后,在学习所得的相似性度量准则的约束下,通过高阶相关聚类算法将连通部件对标记为属于或者不属于同一文本行;最后,使用union-find算法将连通部件连接成为不同的文本行.该算法在HIT-MW脱机手写数据库上的803幅文档上取得了较好的效果,召回率99.05%,错误率为1.96%.

基于改进CTPN算法的试卷手写文本检测

试卷上手写文本的检测是智能阅卷中的一个重要环节。为了提高试卷上手写文本检测效果特别是解决检测过程中手写体和印刷体容易混淆的问题,文中提出一种基于CTPN的改进算法,使用多层卷积网络提取特征以提升检测能力,设计了一种双线性池化模块进一步提取高阶特征来区分手写体和印刷体。经实验验证,文中所提出的算法可以准确地检测试卷上的手写文本,具有良好的检测能力。

基于深度学习方法的手写文本行提取综述

文本行提取一直是手写文档图像分析与识别领域的热点研究课题。随着深度学习的发展,越来越多的方法涌现出来,通过对近几年的相关文献分析整理,本文按照全卷积神经网络、编解码器、循环神经网络、生成对抗网络的基于深度学习的手写文本行提取方法进行总结和分析,列举了每种方法的代表性实例,并对常用训练数据集进行了介绍。分析了各类方法的特点与不足,并对未来可研究方向进行展望。

基于残差注意网络的端到端手写文本识别方法

中文手写文本识别是模式识别领域中的研究热点问题之一,其存在字符类别数量多、书写风格差异大和训练数据集标记难等问题.针对上述问题,提出无切分无循环的残差注意网络结构用于端到端手写文本识别.首先,以ResNet-26为主体结构,使用深度可分离卷积提取有意义特征,残差注意门控模块提升文本图像中的关键区域的重要性;其次,采用批量双线性插值模型对输入表征进行拉伸-挤压,实现二维文本表征到一维文本行表征的文本行上采样;最后,以连接时序分类作为识别模型的损失函数,实现高层次抽取表征与字符序列标记的对应关系.在CASIA-HWDB2.x和ICDAR2013两个数据集上进行实验研究,结果表明,所提方法在没有任何字符或文本行的位置信息时能够有效地实现端到端手写文本识别,且优于现有的方法.

基于门控卷积和堆叠自注意力的离线手写汉字识别算法研究

针对离线手写文本识别(HTR)在自然语言处理领域中的重要性以及其广泛应用于帮助视障用户、人机交互和自动录入等方面的实际需求,本研究提出了一个全新的模型。该模型在门控卷积网络的基础上引入了堆叠自注意力编码器–解码器,用于离线识别手写的汉字文本。由于书写风格的多样性、不同字符之间的视觉相似性、字符重叠以及原始文档中的噪音等挑战,设计准确且灵活的HTR系统具有相当大的难度,特别是当处理较为复杂、包含大量字符的文本时,算法的学习能力显得不足。为了解决这一问题,我们提出的模型包括特征提取层、编码器层和解码器层。其中,特征提取层从输入的手写图像中提取高纬度的不变特征图,而编码器和解码器层则相应地转录出文本。实验结果显示,该模型在HCTD数据集上的字符错误率(CER)为6.72,单词错误率(WER)为11.11;在HCWD数据集上的实验结果CER为6.22和WER为7.17。相对于其他研究者的模型,本文设计的模型在手写汉字识别率上提升了11%。

脱机手写维吾尔文本图像单词切分

针对脱机手写维吾尔文本行图像中单词切分问题,提出了FCM融合K-means的聚类算法。通过该算法得到单词内距离和单词间距离两种分类。以聚类结果为依据,对文字区域进行合并,得到切分点,再对切分点内的文字进行连通域标注,进行着色处理。以50幅不同的人书写的维吾尔脱机手写文本图像为实验对象,共有536行和4 002个单词,正确切分率达到80.68%。实验结果表明,该方法解决了手写维吾尔文在切分过程中,单词间距离不规律带来的切分困难的问题和一些单词间重叠的问题。同时实现了大篇幅手写文本图像的整体处理。

回归——聚类联合框架下的手写文本行提取

目的手写文本行提取是文档图像处理中的重要基础步骤,对于无约束手写文本图像,文本行都会有不同程度的倾斜、弯曲、交叉、粘连等问题。利用传统的几何分割或聚类的方法往往无法保证文本行边缘的精确分割。针对这些问题提出一种基于文本行回归-聚类联合框架的手写文本行提取方法。方法首先,采用各向异性高斯滤波器组对图像进行多尺度、多方向分析,利用拖尾效应检测脊形结构提取文本行主体区域,并对其骨架化得到文本行回归模型。然后,以连通域为基本图像单元建立超像素表示,为实现超像素的聚类,建立了像素-超像素-文本行关联层级随机场模型,利用能量函数优化的方法实现超像素的聚类与所属文本行标注。在此基础上,检测出所有的行间粘连字符块,采用基于回归线的k-means聚类算法由回归模型引导粘连字符像素聚类,实现粘连字符分割与所属文本行标注。最后,利用文本行标签开关实现了文本行像素的操控显示与定向提取,而不再需要几何分割。结果在HIT-MW脱机手写中文文档数据集上进行文本行提取测试,检测率DR为99.83%,识别准确率RA为99.92%。结论实验表明,提出的文本行回归-聚类联合分析框架相比于传统的分段投影分析、最小生成树聚类、Seam Carving等方法提高了文本行边缘的可控性与分割精度。在高效手写文本行提取的同时,最大程度地避免了相邻文本行的干扰,具有较高的准确率和鲁棒性。

脱机手写维吾尔单词提取

针对维吾尔单词切分问题提出了FCM融合K-means的聚类算法,应用FCM聚类的结果将字符间距聚类两类,根据聚类结果再将字符间距分类为三类:单词内间距、单词间距离、第三类间距;将字符长度聚类为:单词、连体段、字母。首先对单词内距离进行处理,再针对不同的字符间距和不同的字符长度进行分步切分处理,最后对切分后的字符进行欠切分处理。以12幅不同的人书写的维吾尔脱机手写文本图像为实验对象,1 042个单词,正确切分率达到74.28%。该方法不仅仅提高了切分的正确率,并且可以同时解决部分重叠和粘连问题。

基于分段式前景涂抹和背景细化的文本行分割

现有算法对于笔画中含有大量离散笔画点和附加部分的手写体文本,分割性能较低。针对该问题,提出一种基于分段式前景涂抹和背景细化的文本行分割算法。对前景部分实施分段式涂抹,并删除长宽比不满足条件的膨胀区域,以获得文本区域的定位,利用图像背景的细化获取文本行分割线,给出重心判定算法,从而解决上下文本行之间的文字重叠问题。对210幅图片、2 563个文本行进行实验,结果表明,该算法的出错率仅为3.3%,低于水平投影算法、分段式投影算法和聚类算法,能对文本行进行较为完整的分割。

基于Inception结构的手写汉字档案文本识别方法

针对手写汉字文本识别准确率不高的问题,提出了一种结合卷积神经网络和循环神经网络进行手写汉字文本识别的端到端方法。首先,通过Inception模块构建的卷积神经网络提取文本图像的基本特征;然后,使用循环神经网络对提取的特征进行预测,并输出一个关于汉字字符集的概率分布;最后,采用连接主义序列分类算法计算识别结果并构建损失函数。利用所提方法在手写汉字文本数据集上进行实验,结果表明,Inception模块和数据增强方法可以有效提升算法的性能,并取得了71.2%的识别准确率和0.060的文本编辑距离,较现有方法性能有所提升,证明了所提方法的有效性。

自动阅卷系统仿真

随着近年来深度学习技术的快速发展和应用,提出了一个基于汉语试卷主客观题的阅卷系统仿真方案并且研究了其用到的关键技术。通过利用手写板笔迹生成算法模拟考试作答手写笔迹,在对试卷作答部分进行扫描后,将手写文本图像切分为单个汉字图像;然后经预处理送入卷积神经网络进行识别和提取,同时利用循环神经网络训练自动阅卷时的参考答案;最后基于同义词词林,把提取到的答案和训练得到的参考答案进行语义相似度匹配并进行打分。实验结果表明,所提方法在一定程度上可以对手写汉语试卷的主客观题进行评判。

基于BiLSTM-Attention的钢板表面手写板号识别算法

国内钢铁企业生产厂的信息化物料跟踪大都依赖于钢板号。由于生产流程复杂,急需高准确率的板号在线识别技术。自然场景下机器喷号的识别技术较成熟,但复杂场景下的手写板号难以实现自动识别。针对复杂工作场景下钢板表面手写板号特点,提出一种以BiLSTM-Attention为主体结构的深度学习算法。首先结合复杂场景,对图像数据进行预处理,保证模型输入图片质量;然后利用残差神经网络(ResNet)提取图片特征、利用双向长短期记忆网络(BiLSTM)提取基于图像的序列特征;最后基于注意力机制捕获序列内的信息流,对每个字符的特征进行整合,形成文本特征向量以预测输出序列。经现场测试,实现钢板表面手写板号识别任务准确率达86.15%,结果表明算法可行有效,满足实际生产需求。