基于多尺度特征融合的互学习脱机手写数学公式识别

脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中细粒度信息的提取能力以及加强对全局二维结构的语义信息理解;其次,引入了成对的手写体、打印体数据来进行互学习模型的训练,该模型包括解码器损失和上下文匹配损失,分别学习LaTeX语法以及手写体、打印体之间的语义不变性,提高模型对不同书写风格的鲁棒性,提升对公式整体信息的理解能力。在CROHME 2014/2016/2019数据集上进行实验验证,结果发现:引入多尺度特征融合机制后,表达式正确率分别达到55.25%、52.31%、53.72%;引入互学习机制后,表达式正确率分别达到55.43%、53.53%、53.79%;同时引入两种机制后,表达式正确率分别达到58.88%、55.10%、57.05%。经实验证明,文中提出的方法能够有效提取公式中不同尺度下的特征,并通过互学习机制克服手写风格不一、数据量少等问题。此外,在HME100K数据集上的实验结果也验证了文中提出模型的有效性。

基于双模编码器-解码器框架的联机手写数学公式识别

为了充分利用联机手写数学公式的笔迹特征和全局二维结构特征,将联机模式和脱机模式联合,设计了一种基于编码器-解码器框架的双模识别模型。该模型可接受一维坐标点序列和二维静态图像形式的手写数学公式数据,通过联机编码器从输入的坐标点序列中提取笔迹特征信息,并通过脱机编码器从静态图像中提取二维结构特征信息,进而充分保留手写笔迹特征和全局二维结构特征。在编码器阶段,针对联机模式提出正弦编码,对输入的坐标点序列进行编码,补充笔画级别的信息,能够有效避免笔画间隔模糊导致的笔画信息丢失的问题;针对脱机模式提出平滑注意力机制,通过引入平滑窗口的方式,实现特征图中每个像素特征的感受野的自适应调整,在一定程度上解决了普通的注意力机制无法同时对尺寸相差较大的手写符号筛选有效特征信息的问题,有效提升了注意力机制捕捉有效手写区域的能力。实验结果表明,该模型的公式识别准确率可达58.76%,并且与相同领域内其他的识别模型相比,其可将公式识别准确率提升1.56%~4.71%,达到较高水平。

基于注意力机制编码器-解码器的手写数学公式识别模型

针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。

数学公式识别系统:MatheReader

数学公式广泛存在于各类文献之中,但是公式的识别远比文字段落的识别困难.文章介绍了一个数学公式图像识别系统MatheReader,重点阐述了其在公式定位及公式分析方面的技术方案.在公式定位方面,抽取版式特征,采用Parzen分类器区分独立公式和普通文字行,在普通文字行内检测二维结构定位内嵌公式.在公式分析方面,定义十一种基本公式类型,并用产生式规则限定每类公式的唯一分解方法,提出先识别公式类型,然后分解为子表达式的公式分析方法.和已有系统比较,MatheReader的功能更加强大,能够处理的公式更加丰富.

基于凸壳和模糊识别的数学公式识别

根据数学公式中字符或符号间空间关系特点,并针对目前用于数学公式字符空间关系判别的区域和质心方法所存在的不足,提出了基于字符凸壳和模糊识别的字符空间关系判别方法。首先,对数学公式中的字符或符号进行分类,对每一类运用字符凸壳判别其正上和正下关系,然后应用模糊识别的方法对常见关系进行识别。实验结果表明,运用该方法能明显提高字符空间关系判别的识别率,识别的正确率可达到93.5%。

印刷体文献中数学公式识别及描述系统研究

印刷体数学公式识别系统的建立,需要对数学公式结构本身及其字符识别方法和识别后的描述方法进行研究。为此建立了数学公式识别及描述实验系统,实现了部分数学公式的结构本身及其字符的识别,能完成从图像到文本的转换,对识别的结果能用数学建模语言进行有效表示。

基于综合纠错的印刷体数学公式识别后处理

目前印刷体数学公式识别系统的输出还存在着误识结果,进行必要的后处理是提高识别率的重要手段。介绍了一种将印刷体数学公式识别结果与公式的语义知识相结合的方法,对其误识结果进行系统的分析,给出了若干条共有的规则及基准转移等方法,进行综合纠错的后处理,从而进一步完善印刷体数学公式识别系统。实验结果表明,该方法能够有效地提高系统识别结果的正确率。

印刷体数学公式识别中的结构分析策略

数学公式识别是OCR技术的重要组成部分,目前相关的研究还很欠缺。文中在简要介绍数学公式识别发展状况的基础上,针对结构分析这一公式识别的关键环节,提出了一种将"自顶向下"和"自底向上"策略相结合的数学公式结构分析方法。实验表明,这种方法对公式结构具有较好的适应性。

基于基准线的多候选数学公式识别

提出了一种基于基准线的多候选数学公式识别(Baseline Based Multi-candidate Mathematical Expression Recognition,BBMMER)方法。现代印刷体数学公式识别是模式识别的重要组成部分,而数学公式结构分析又是数学公式识别技术发展的瓶颈所在。提出了一种利用基准线定位公式嵌套结构,多候选分析公式符号间结构关系的方法,并使用LaTex格式表示数学公式的识别结果。在大量的公式图像组成的测试集上取得了良好的公式分析正确率。

基于递归策略的数学公式识别模型

在简要介绍数学公式识别发展状况的基础上,提出了一个基于递归策略的数学公式识别模型。该模型由版面分析和数学公式结构表达两部分组成。版面分析主要是提取文档中的数学公式;数学公式结构的表达采用一种递归算法将公式用结构树表示,它是公式识别的关键环节,该方法对公式结构具有较好的适应性。

基于公式识别器的PDF图像数学公式定位结果错误校正方法

针对PDF文档中数学公式覆盖范围不完整和数学表达式符号错误识别成普通字符问题,提出一种以公式识别器为基础的PDF图像数学公式定位结果错误校正法.通过对数学公式的识别与定位,以确定其是否含有公式界限符号和二次运算符号,校正错误识别的数学字符块.结果表明:PDF图像数学公式定位结果错误校正方法可以改善定位算法的适应性与校正错误的准确性.

数学公式识别研究现状

文档的编辑和检索要求能够自动识别数学公式,数学公式识别是一个活跃的研究领域,经过多年的发展提出了许多解决方法。公式的输入数据格式有文档图像、笔划、矢量图形、特殊语言等几种形式,不同的输入方式决定数学公式的提取和和识别方式的不同。本文介绍了数学表达式识别邻域的研究现状,讨论了表达的检测、符号识别、结构分析、语义分析等四部分的问题,并提出未来数学表达式的研究方向和热点。

印刷体文档中的数学公式识别方法综述

数学公式识别是将中文电子文档中包含的数学公式识别出来的方法。印刷体文档中的数学公式识别是由预处理,数学公式的抽取分割定位和结构分析识别3部分组成。主要介绍了目前数学公式识别的研究现状,并对已提出的各种成熟识别方法进行总结。

基于支持向量机的数学公式识别

数学公式识别在拍照搜题、自动阅卷和题库建设等智慧教育任务中有着广泛的应用.由于这些应用中数学公式大多以图片的形式存在,因此识别图片中的数学公式成为智慧教育领域的重要研究问题之一.数学公式结构复杂,从图片中识别数学公式远比一般的光学符号识别要复杂得多.将公式识别分为字符分割、符号识别和公式重组这3个步骤:首先,综合运用投影和连通域方法将字符从图片中分割出来;其次,基于单个字符的区域像素数占总像素比例提取字符特征,建立监督学习模型识别字符;最后,利用每个字符在公式中出现的位置对数学公式进行重组.真实数据集上的实验结果表明,本文提出的数学公式识别方法准确率高达98.0%.

基于粘连符号分割和多特征融合的手写公式识别

为了解决字符粘连影响脱机手写数学公式自动识别的问题,提出一种基于字符轮廓特征的单点粘连符号切分方法.首先利用字符上下两侧轮廓方向码信息得到切分点和切分方向;然后结合宽度、高度、角点个数、投影轮廓等几何特性对切分后的字符片段实现多特征融合的特殊符号识别,并将特殊符号从整体数学公式中进行有效分离;最后结合特殊符号与周围字符的上下左右、重叠、半包围等空间位置关系特性实现结构的解析,并将经过卷积神经网络识别后的普通字符代入结构解析序列,实现公式的整体识别.实验结果表明:该方法能有效处理数学公式中粘连情况及特殊符号识别;粘连符号的切分准确率达到87.25%,提高了手写数学公式的整体识别率.

基于编码器-解码器的离线手写数学公式识别

提出一种改进的编码器-解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维LaTeX序列。通过相对位置编码嵌入图像位置信息和LaTeX符号位置信息。实验结果表明,模型在官方CROHME 2014数据集上取得了优异的性能,相比于当前最先进的方法,其公式识别准确率提高了3.55%,字错误率降低了1.41%。

基于端对端网络模型的手写公式识别

基于encoder-decoder端到端网络结构,提出一种手写公式识别网络模型。与传统方法相比,该模型可以由数据集驱动。利用稠密残差块建立不同感受野增强特征提取,把握全局信息,对手写公式图片进行不同分辨率特征提取,并通过双向循环神经网络的方式捕获图片特征向量上下文关系,有效捕获词向量间的语义关系。该模型对手写图片中的符号分割识别由注意力机制自动执行并优化。利用CROHME提供的标准数学公式手写数据集来验证算法,结果表明该模型具有较好的识别准确率。

基于SVM的印刷体数学公式识别的研究

传统的数学公式识别,通常建立在OCR技术进行图片文字识别的基础上,对目标公式进行符号切割,通过构建数学符号数据库,然后两两比较相似度,然后返回最大相似度的符号名称,作为识别结果。该方法,对数学符号数据库要求极高,鉴于实际情况,公式存在字号大小、粗细体、正斜体、各种字体等差异,导致该方法识别效果不佳。本文基于印刷体数学公式特点,重新构建字符标准库,并结合机器学习思想,应用SVM算法进行公式识别,并进一步提取字符特征,提升公式识别精度,实验结果显示,识别结果良好。

汉王助教先锋携“公式识别”技术全球首发

近日，汉王科技向全球首先推出针对教育行业带有公式识别功能的文本王助教先锋。助教先锋是教学资源高效采集、制作的平台。该产品解决了课前教学资源共享的难题，使课件准备、教案编写、试卷编辑、论文写作等教研工作更加方便和快捷，一经上市就受到各大、中小学校老师和广大教研工作者的广泛关注。