基于深度学习方法的手写文本行提取综述

文本行提取一直是手写文档图像分析与识别领域的热点研究课题。随着深度学习的发展,越来越多的方法涌现出来,通过对近几年的相关文献分析整理,本文按照全卷积神经网络、编解码器、循环神经网络、生成对抗网络的基于深度学习的手写文本行提取方法进行总结和分析,列举了每种方法的代表性实例,并对常用训练数据集进行了介绍。分析了各类方法的特点与不足,并对未来可研究方向进行展望。

回归——聚类联合框架下的手写文本行提取

目的手写文本行提取是文档图像处理中的重要基础步骤,对于无约束手写文本图像,文本行都会有不同程度的倾斜、弯曲、交叉、粘连等问题。利用传统的几何分割或聚类的方法往往无法保证文本行边缘的精确分割。针对这些问题提出一种基于文本行回归-聚类联合框架的手写文本行提取方法。方法首先,采用各向异性高斯滤波器组对图像进行多尺度、多方向分析,利用拖尾效应检测脊形结构提取文本行主体区域,并对其骨架化得到文本行回归模型。然后,以连通域为基本图像单元建立超像素表示,为实现超像素的聚类,建立了像素-超像素-文本行关联层级随机场模型,利用能量函数优化的方法实现超像素的聚类与所属文本行标注。在此基础上,检测出所有的行间粘连字符块,采用基于回归线的k-means聚类算法由回归模型引导粘连字符像素聚类,实现粘连字符分割与所属文本行标注。最后,利用文本行标签开关实现了文本行像素的操控显示与定向提取,而不再需要几何分割。结果在HIT-MW脱机手写中文文档数据集上进行文本行提取测试,检测率DR为99.83%,识别准确率RA为99.92%。结论实验表明,提出的文本行回归-聚类联合分析框架相比于传统的分段投影分析、最小生成树聚类、Seam Carving等方法提高了文本行边缘的可控性与分割精度。在高效手写文本行提取的同时,最大程度地避免了相邻文本行的干扰,具有较高的准确率和鲁棒性。

中英文混排扭曲文本图像快速校正方法

针对OCR在识别文本图像时,由于扭曲造成的中英文混排文本图像识别率不理想的情况,提出一种快速扭曲校正方法。图像经过预处理后,首先利用形态学膨胀定位文本行,得到各文本行上下边界;分别对每个文本行参考垂直投影信息进行文字切分,获得字符包围盒;然后根据中英文的不同特点在每个文本行中逐个对字符位置进行校正,最终实现图像重构。实验结果表明,该方法校正速度快、精度高,对于中英文混排扭曲文档图像有较好地校正效果,校正后图像OCR识别率有明显提高。