基于改进YOLOv5s的离线手写数学符号识别

离线数学符号识别是离线数学表达式识别的前提。针对现有离线符号识别方法只是单纯的对符号进行识别,对离线表达式识别的其他环节未有任何帮助,反而会限制表达式识别,提出一种改进YOLOv5s的离线符号识别方法。首先,根据符号图像小的特点,用生成对抗网络(GAN)进行数据增强;其次,从符号类别的角度分析,在YOLOv5s模型中引入空间注意力机制,利用全局最大值和全局平均值池化,扩大类别间的差异特征;最后,从符号自身角度分析,引入双向长短期记忆网络(BiLSTM)对符号特征矩阵进行处理,使符号特征具有上下相关联的信息。实验结果表明:改进后的YOLOv5s取得较好离线符号识别效果,有92.47%的识别率,与其他方法进行对比,证明了其有效性和稳健性。同时,能有效避免离线数学表达式识别中错误累积的问题,且能为表达式的结构分析提供有效依据。

基于多尺度特征融合的互学习脱机手写数学公式识别

脱机手写数学公式二维结构复杂,其中字符多变的尺度以及书写风格的变换不一都会增大手写数学公式识别的难度。文中提出了一个基于多尺度特征融合的互学习模型。首先,在编码阶段引入了多尺度特征融合的方式改进模型,以提升模型对公式中细粒度信息的提取能力以及加强对全局二维结构的语义信息理解;其次,引入了成对的手写体、打印体数据来进行互学习模型的训练,该模型包括解码器损失和上下文匹配损失,分别学习LaTeX语法以及手写体、打印体之间的语义不变性,提高模型对不同书写风格的鲁棒性,提升对公式整体信息的理解能力。在CROHME 2014/2016/2019数据集上进行实验验证,结果发现:引入多尺度特征融合机制后,表达式正确率分别达到55.25%、52.31%、53.72%;引入互学习机制后,表达式正确率分别达到55.43%、53.53%、53.79%;同时引入两种机制后,表达式正确率分别达到58.88%、55.10%、57.05%。经实验证明,文中提出的方法能够有效提取公式中不同尺度下的特征,并通过互学习机制克服手写风格不一、数据量少等问题。此外,在HME100K数据集上的实验结果也验证了文中提出模型的有效性。

基于门控卷积和堆叠自注意力的离线手写汉字识别算法研究

针对离线手写文本识别(HTR)在自然语言处理领域中的重要性以及其广泛应用于帮助视障用户、人机交互和自动录入等方面的实际需求,本研究提出了一个全新的模型。该模型在门控卷积网络的基础上引入了堆叠自注意力编码器–解码器,用于离线识别手写的汉字文本。由于书写风格的多样性、不同字符之间的视觉相似性、字符重叠以及原始文档中的噪音等挑战,设计准确且灵活的HTR系统具有相当大的难度,特别是当处理较为复杂、包含大量字符的文本时,算法的学习能力显得不足。为了解决这一问题,我们提出的模型包括特征提取层、编码器层和解码器层。其中,特征提取层从输入的手写图像中提取高纬度的不变特征图,而编码器和解码器层则相应地转录出文本。实验结果显示,该模型在HCTD数据集上的字符错误率(CER)为6.72,单词错误率(WER)为11.11;在HCWD数据集上的实验结果CER为6.22和WER为7.17。相对于其他研究者的模型,本文设计的模型在手写汉字识别率上提升了11%。

基于MD-CycleGAN的手写表达式图像识别算法研究

针对使用生成对抗网络生成图像时词向量或者字符向量难以重建数学表达式中的二维结构的问题,将手写数学表达式的图像生成任务转换为印刷体数学表达式到手写体数学表达式的风格转换问题,并自建了一个带有手写风格分类的数据集来训练风格转换模型。为了解决CycleGAN网络生成的图像内容不全、细节失真、质量不高的问题,设计了一种多尺度判别循环一致性生成对抗网络MD-CycleGAN,引入了CBAM注意力机制,弥补下采样环节信息丢失的问题,引入ACON激活函数代替ReLU激活函数,通过自适应学习控制网络每一层的非线性程度。实验结果表明基于生成对抗网络的数据增强方法能有效降低模型过拟合的程度。本研究为手写数学表达式图像的自动识别提供了一种新的方法,克服了数据标注问题和模型泛化问题,具有广泛的应用潜力,包括数学教育、科学文档处理和数学搜索引擎等领域。

基于注意力机制编码器-解码器的手写数学公式识别模型

针对现有的手写数学公式识别(HMER)方法经过卷积神经网络(CNN)多次池化后,图像分辨率降低、特征信息丢失,从而引起解析错误的问题,提出基于注意力机制编码器-解码器的HMER模型。首先,采用稠密卷积网络(DenseNet)作为编码器,使用稠密连接加强特征提取,促进梯度传播,并缓解梯度消失;其次,采用门控循环单元(GRU)作为解码器,并引入注意力机制,将注意力分配到图像的不同区域,从而准确地实现符号识别和结构分析;最后,对手写数学公式图像进行编码,将编码结果解码为LaTeX序列。在在线手写数学公式识别竞赛(CROHME)数据集上的实验结果表明,所提模型的识别率提升到40.39%,而在3个级别的允许误差范围内,识别率分别提升到52.74%、58.82%和62.98%。相较于双向长短期记忆(BLSTM)网络模型,所提模型的识别率提高了3.17个百分点;而在3个级别的允许误差范围内,识别率分别提高了8.52、11.56和12.78个百分点。可见,所提模型能够准确地解析手写数学公式图像,生成LaTeX序列,提升识别率。

一种基于编码的识别手写数学符号方法

提出了一种对手写数学符号的识别方法。通过对数学符号的图象进行处理,然后对其进行编码,并采用模糊识别方法建立了识别函数,根据这一函数以求最佳匹配。试验结果表明,该方法有良好的识别性能。

基于编码器-解码器的离线手写数学公式识别

提出一种改进的编码器-解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维LaTeX序列。通过相对位置编码嵌入图像位置信息和LaTeX符号位置信息。实验结果表明,模型在官方CROHME 2014数据集上取得了优异的性能,相比于当前最先进的方法,其公式识别准确率提高了3.55%,字错误率降低了1.41%。

基于HTM的离线手写签名识别及改进

现有离线签名识别的方法主要存在识别率低的缺陷,如何进一步提高签名识别率是目前该项研究的核心问题这一。提出一种基于层次时间记忆(Hierarchical Temporal Memory,HTM)的离线签名识别系统,并结合签名样本的时空特征,对离线签名进行有效处理和识别。实验结果证明,该方法的识别率可达95%,并对签名的移动与缩放有较好的识别效果。还结合算法中的maxdistance参数对识别结果进行分析和改进。

离线手写汉字识别的并行实现

汉字识别属于大类别模式识别问题，用并行算法可望提高在单机环境下识别离线手写汉字图象的运行速度。提出了一种汉字识别算法的并行设计方案，并针对它在ＰＶＭ环境下运行结果进行了性能分析。

一种基于模糊数学的手写汉字识别方法

本文根据人识字的思维过程提出了一种多级分类的手写汉字识别方法。构造了一个包含汉字结构与统计特征的特征矢量；并利用其建立模糊样本字典库。将模糊数学引入识别方法中，增加了字典的简明性及分类能力。初步的实验结果是令人满意的。

基于Transformer模型的手写数学公式语法树解码器

目前对数学公式进行树结构解码的方法大多基于循环神经网络的结构,训练效率低,训练过程复杂,基于此问题,提出一种基于Transformer结构的手写数学公式识别模型,可以直接对公式的语法树进行解码。在手写公式识别任务多个数据集上的实验结果表明,所提出的Transformer树解码方法都取得超越Trans-former序列解码方法的性能,并展现出超越循环神经网络树解码方法的潜力。

基于神经网络的手写电气元件符号识别系统

神经网络模式识别在现代数字图像处理中的应用，是数字图像处理技术的一次革 命．以神经网络模式识别技术在电气元件符号图形识别中的应用为对象，着重于手写电气元 件符号自动识别系统的研究，介绍了整个系统的结构和功能，给出了相应的数据流图和主要数 据结构，提出了一种基于神经网络的模式识别方法，并对系统的实际应用作了验证，为进一步 的研究奠定了基础．

基于数学形态学的联机手写字符识别去噪方法

手写输入时由于笔尖抖动等原因产生了大量噪声,有效地去除噪声是手写识别的前提和关键。根据联机手写识别中手写体字符形态的特性,分析了手写时由于各种原因而产生的噪声,运用数学形态学中膨胀、腐蚀、细化等基本运算,提出了一种将数学形态学应用于联机手写识别预处理的方法,该方法可以有效地消除大量的冗余信息。测试结果表明,提出的方法可行,具有很好的鲁棒性,可以配合其他方案应用于各种联机手写字符识别中。

人在回路的在线手写数学公式识别方法

在线手写数学公式识别面临书写字符的不确定性、数学公式结构的复杂性,以及公式书写风格因人而异等问题,特别是在公式书写中出现偶然性错误和包含复杂结构的情况下,现有的仅依赖机器的识别算法的识别准确率较低.为了解决这一问题,提出了人在回路的手写公式识别方法,该方法主要在结构分析阶段引入了人的参与,借助人对结构中歧义笔画的修改和结构补笔操作,完善和界定结构笔画和结构内笔画信息.为了评估该方法的有效性,将其与不含用户参与信息的一个基线识别方法在结构识别率和表达式识别率方面进行了对比分析.结果表明,该方法能够有效地促进用户参与到手写识别过程,同时,针对实验收集的手写数学公式数据,引入用户参与的方法能够有效地提高手写数学公式的结构和表达式识别率,分别提高了9.26%和13.99%.

Equation Chapter 1 Section 1联机手写数学公式识别技术

数学公式是科技文档重要的组成部分,而手写是一种较为自然地输入数学公式的方法。联机手写公式识别的任务是对用户通过鼠标或者手写板等输入的一个数学公式进行识别,主要过程包括笔划输入、笔划预处理、符号切分、字符识别、公式分析、公式输出等。通过对各个阶段的研究和分析,设计和实现了一个联机手写数学公式识别系统。

联机手写数学公式识别技术

数学公式是科技文档重要的组成部分,而手写是一种较为自然地输入数学公式的方法。联机手写公式识别的任务是对用户通过鼠标或者手写板等输入的一个数学公式进行识别,主要过程包括笔划输入、笔划预处理、符号切分、字符识别、公式分析、公式输出等。通过对各个阶段的研究和分析,设计和实现了一个联机手写数学公式识别系统。

手写数学公式的识别研究及在Android上的应用

为了开发一款在Android平板电脑上运行的手写数学公式识别的软件,首先采用特征值多级分类方法对手写字符进行识别;然后提出一种使用三叉结点结构存储数学公式的算法,将手写数学公式转换成一棵三叉树;最后利用三叉树的先序算法将三叉树转换成MathML语言即可在Web浏览器上显示。

多层神经网络快速学习算法模型及其在手写文字符号识别中的应用

本文针对多层神经网络BP算法模型存在的缺点,提出了一种快速学习算法模型,有效地缩短了网络的学习训练时间,并将其应用于手写文字符号的识别问题,获得了满意的计算机模拟结果。

手写数学表达式识别方法研究

本文构建了一种基于编码器-解码器结构的网络结构,用于处理手写数学表达式识别的问题。经过对不同卷积神经网络的测试,整个网络先用密集连接卷积网络提取图片特征,再引入一个门限循环单元来形成编码器-解码器结构来处理图片特征,并在其中使用带有Coverage的2D注意力机制。基于CROHME竞赛提供的手写数学表达式数据集,结果达到了17.1%的字错误率和36.5%的识别率,验证了该模型的有效性。

基于主分量分析的手写数字字符识别

针对手写数字字符识别中由于书写习惯和风格的不同 ,造成字符模式不稳定的问题 ,提出了一种图像预处理方法 .首先采用数学形态学通过细化和膨胀 ,统一字符笔画的粗细 ,并使字符的局部特征得到改善 ;然后利用主分量分析法 (PCA)抽取字符特征 ,估计字符的重建模型 ,并通过对重建模型的误差分析进行字符识别 ;最后通过对美国国家邮政局 U SPS字库中全部数字字符完整的识别实验 ,证实了算法的鲁棒性和准确性 .