基于图像边缘检测的扭曲文档矫正

扭曲的文档图像会干扰文档图像的光学字符识别(Optical Character Recognition,OCR).为了对扭曲形变的文档图像进行矫正,提高扭曲文档识别的正确率,基于目标检测与分割的网络,提出文档图像的边缘检测方法,使用贝塞尔(Bezier)曲线拟合文档图像的边缘曲线,通过目标检测的算法回归Bezier曲线的控制点.将文档图像的边缘检测转化为边缘曲线Bezier控制点的回归,使用文档的边缘点计算扭曲文档矫正后的矩形模板,然后将文档图像通过薄板样条插值(Thin Plate Spline,TPS)算法重映射到矩形模板中,完成文档的矫正.实验结果表明,提出的矫正方法能够对扭曲文档进行精确的边缘提取,和其他算法相比,经该算法矫正后的文档图像,其OCR的正确率有较大的提升.

基于三维特征和Transformer的数字化古籍文档图像矫正

古籍文档图像矫正是古籍文档数字化中的一个关键环节,对提高古籍数字化质量具有重要的现实意义。针对古籍中普遍存在的氧化弯曲、粘连折叠、装订方式特殊等原因导致的形变复杂、矫正难度大的问题,本文提出了一种基于深度学习和三维特征信息提取的古籍文档图像矫正方法。首先使用U-Net形式的编码器-解码器提取古籍文档图像的三维特征,然后基于Transformer模型对得到的三维特征图进行后向映射,最后使用双线性插值得到矫正后的图像。为了验证所提出方法的有效性,在两个自制测试集上分别进行实验。实验结果表明,该方法在局部失真(Local Distortion,LD)概率上,相较于DewarpNet模型降低了2.61%~6.58%。实验证明所提出的方法能有效完成古籍文档图像的矫正任务,提升古籍数字化质量。

基线自适应透视变换的文本行矫正

相机拍摄的文档图像通常存在弯折和透视形变,这将导致由图像提取的文本行弯曲和文字的大小不一致。提出基线自适应透视变换来进行文本行矫正。该方法使用Bezier曲线拟合文本行中心和上、下边界基线,在文本行拉直矫正中加入了横向矫正效果。提出的方法将需要矫正的文本行片段模拟为倾斜平面,当文本行片段高边方向与文档旋转轴向角度为45°时,未经过透视形变与经过透视形变的文本行片段高度比与宽度比的比值相同。根据片段高度与文本行平均高度比值进行宽度变化并计算透视变换矩阵,矫正其中存在的透视形变。对实际拍摄的文档图像提取的文本行进行人工检查,将没有完成的文本行拉直矫正,以及矫正后有字体较大错误形变的文本行图像作为矫正失败的文本行图像,文本行矫正成功的概率约为98.08%。

基于图像处理的文档图像矫正系统研究与设计

文章提出一种基于图像处理的文档图像矫正系统,该系统首先对文档图像进行高斯滤波、局部边缘提取及膨胀操作,然后提取轮廓,最后基于Hough变换算法找到可以覆盖所有轮廓的最小矩形并生成仿射变换矩阵进行变换矫正。该方法相比传统的基于Hough变换的方法,增加基于图像处理的滤波及形态学处理,使矫正效果更好;相比其他常见的基于模式识别进行图像矫正的方法,抗干扰能力更强;相比常见的基于深度学习进行图像矫正的方法,运算速度快,模型小,更适合在智能手机等移动端使用。

基于多级文本检测的复杂文档图像扭曲矫正算法

文档的扭曲矫正是进行文档OCR(Optical Character Recognition)的基础步骤,对提高OCR的准确率有重要作用。文档图像的扭曲矫正常常依赖于文本的提取,然而目前文档图像矫正算法大都无法对复杂文档中的文本进行准确定位和分析,导致其矫正效果不理想。针对此问题,提出了一种基于全卷积网络的文字检测框架,并使用合成文档对网络进行针对性训练,可实现对字符、词、文本行三级文本信息的准确获取,进而对文本进行自适应采样并利用三次函数对页面进行三维建模,将矫正问题转化为模型参数优化问题,达到矫正复杂文档图像的目的。使用合成扭曲文档以及真实测试数据进行矫正实验,结果表明,提出的矫正方法能够对复杂文档进行精确的文本提取,明显改善了复杂文档图像矫正后的视觉效果,相比于其他算法,该算法矫正后OCR的准确率得到显著提高。

TIMR:模板图像匹配矫正

针对当前文档图像透视变形矫正算法抗干扰性差,矫正效果不佳等问题,本文提出一种基于BRISK特征点检测与匹配的文档图像矫正算法,称之为模板图像匹配矫正算法(Template Image Matching Rectification,TIMR).该算法仅需制作目标领域内的单张矫正模板图像,并结合BRISK算法与本文提出的双重特征点过滤算法实现该领域所有透视变形文档图像的矫正处理.其中,双重过滤算法包含特征点先验过滤(Prior Filtering,PF)与特征点迭代匹配过滤(Iterative Matching Filtering,IMF)算法,有效地过滤掉了矫正模板图像中的无关特征点与不稳定特征点,实现特征点匹配与TIMR算法的加速.在特定的医疗领域的检验单文档图像数据上进行矫正测试,并与当前主流矫正的算法与商业软件进行了比较.实验结果表明,本文算法具有使用简单方便,鲁棒性强,矫正效果好和矫正速度快等特点.

DPENet:轻量化文档姿态估计网络

现有的用于矫正透视倾斜变形文档的深度学习模型存在空间泛化性差、模型参数量大、推理速度慢等问题。从姿态估计的角度出发,提出一种轻量化文档姿态估计网络DPENet(lightweight document pose estimation network),以优化上述问题。将文档图像中的单一文档视为一个姿态估计对象,将文档的四个角点视为文档对象的四个姿态估计点,采用兼具全连接回归与高斯热图回归优点的DSNT(differentiable spatial to numerical transform)模块实现文档图像角点的高精度定位,并通过透视变换处理实现透视变形文档图像的高精度矫正。DPENet采用轻量化设计,以面向移动端的MobileNetV2为主干网络,模型体量只有10.6 MB。在SmartDoc-QA(仅取148张文档图像)数据集上与现有的三种主流网络进行了对比实验,实验结果表明,DPENet的矫正成功率(96.6%)和平均位移误差(mean displacement error,MDE)(1.28个像素)均优于其他三种网络,同时其平均矫正速度也有良好的表现。在保持轻量化和速度快的条件下,DPENet网络具有更高的变形文档矫正成功率和矫正精度。