基于手绘识别的程序设计教学系统研究与实现

目前,程序设计课在教学中存在诸多问题,为此,本文设计了一个基于手绘识别的C程序设计教学系统,该系统基于SVM的手绘草图识别技术,并采用程序流程图逻辑自动解析算法,实现在线手绘程序流程草图到C程序代码的自动转换。实验研究表明,该系统有助于学生学习程序设计。

基于深度学习的手绘草图识别

现有的手绘草图识别方法严重依赖于费时费力的手工特征提取,而经典的深度学习模型主要是为彩色多纹理自然图像设计,用于识别手绘草图时效果不甚理想。提出一种基于深度学习的手绘草图识别方法(DeepSketch),该算法根据手绘草图缺失颜色、纹理信息的特点,使用大尺寸的首层卷积核取代自然图像识别中常使用的小尺寸首层卷积核,获得更多的空间结构信息。利用训练浅层模型获得的模型参数来初始化深层模型对应层的模型参数,以加快收敛,减少训练时长。加入不改变特征大小的卷积层来加深网络深度等方法以减小错误率。实验结果表明,所提出的方法较之其它几种主流的手绘草图识别方法具有良好的正确率,对250类手绘草图识别正确率达到69.2%。

基于深度卷积-递归神经网络的手绘草图识别方法

针对现有基于深度学习的手绘草图识别方法直接从整体上提取手绘草图的图像特征,而忽略了草图中笔画的顺序信息的问题,利用手绘草图的笔画顺序信息,将深度卷积神经网络与递归神经网络相结合,提出一种基于深度卷积-递归神经网络的手绘草图识别方法.首先按照绘画草图时的笔画顺序提取笔画,生成多幅子笔画草图,并形成一个笔画数依次递增的子笔画草图序列;然后采用深度卷积神经网络依次提取该序列中每一幅子笔画草图的图像特征,并将提取的图像特征按照原先子笔画草图排列的顺序进行排序,作为递归神经网络的输入;最后利用递归神经网络来构建不同图像特征间的时序关系,以提高手绘草图的识别准确率.在现有最大的手绘草图数据集TU-Berlin Sketch数据集上的实验结果表明,文中方法能有效地提升手绘草图的识别准确率.

基于笔序的手绘草图识别方法

本文提出了一种基于用户绘图过程笔序信息的手绘草图识别方法,该方法利用同一用户绘制同一草图的笔序趋向于一致这一特点,在收集用户绘图笔序信息的基础上建立用户模型,从而达到提高输入自由度和识别效率的目的,并用实验加以了证明。

一种自适应连续手绘线语义识别算法

针对手绘交互领域连续手绘线的语义识别问题提出了一种适用性广,调试方便且对不同软件平台具有自适应性的识别算法:利用手绘线的整体输入信息,在保留所有原始采样点的前提下,对手绘线重采样后再进行分段得到特征字符串,避免了平台相关性。之后,根据输入方向拓展了基本动作库,并建立所需要的动作库。利用正则表达式工具,将特征字符串与动作库中的模式串进行匹配翻译。通过实验,文章还讨论了该算法的优缺点及适用性。

基于卷积神经网络的手绘草图识别

针对目前手绘草图识别难度大,识别准确率低且主要以手工提取特征为主,提出一种新的卷积神经网络结构DCSN(Deeper-CNN-Sketch-Net)进行手绘图像识别。DCSN模型是根据手绘草图的特点进行设计,如在首层采用了更大的卷积核获取草图的结构信息和更小的步长尽可能多保留特征信息,通过增加网络层数加深网络深度等。为进一步提高识别准确率,针对手绘草图的特点提出了两种新的数据增强方法,小图形缩减策略和尾部移除策略增加数据集的多样性,并利用扩充的数据集训练DCSN网络。经实验验证,所提出的模型在目前最大的手绘图像数据集上可以取得70. 5%的识别准确率,超过了目前存在的几种主流的手绘草图识别方法。

一个面向构思的手绘草图识别系统

手绘图形输入是用户设计意图的一种自然有效的表达方式。本文介绍了一个手绘图形识别系统—SketchEI。SketchEI由五个部分构成:用户交互、输入预处理、图形识别器、草图管理器以及用户适应性。SketchEI把它们有机地组合在一起并且给出了一个相对完整的手绘图形识别技术理论体系。

基于弹性网格HOG特征的手绘车符识别

研究了常用的28类机动车和非机动车的车符识别问题.针对手绘车符不规则形变和样本间相似度高的特点,提出一种基于弹性网格方向梯度直方图(histograms of oriented gradients,HOG)特征提取方法,该方法利用了水平与垂直投影直方图较好地表征图符的全局特征、局部特征及HOG特征,结合弹性网格吸收形变的能力,使得在现有的训练样本库中总识别率达94.8%,在手写数字等3个不同领域的手绘图符样本库中,平均识别率达92.5%.实验结果表明,该方法对手绘车符识别具有较高的识别率,对其他手绘图符也有较好的识别效果.

基于背景-前景分离模型的图表手绘信息识别

在各类文档、资料、报表中,许多数据使用图表进行表示,对图表进行自动识别和信息提取成为图形 识别和文档图像处理中一个重要的研究分支.本文提出了一种基于背景-前景分离的方法,针对司机日志图表中 的手绘折线信息,实现准确的信息提取与高精度识别.这种方法使用启发式规则分析和连通体分析将印刷体图 表的背景信息与手绘折线的前景信息相互分离,利用印刷体背景提供的刻度信息对手绘折线进行精确识别.同 时提供了良好的容错机制,降低手绘随意性造成的识别误差,并精确定位各种手绘错误造成的识别冲突,保证了 识别结果的有效性.通过4组805页测试样本集测试,本文方法的识别精度达到了90％以上.

手绘人脸识别的研究

人脸自动识别技术的应用领域十分广泛,其中从警察局的犯罪嫌疑人数据库中进行人脸图像的自动识别就是人脸识别的实际应用之一。但是,在许多情况下,犯罪嫌疑人的照片或图像是不容易得到的,最好的代替方法就是一张通过目击者的回忆而得到的手绘草图。介绍一种在人脸草图和照片之间进行自动识别的方法。通过将一张照片图像转化成手绘草图,减小了在照片和草图之间的差别,这样就为照片和图像进行匹配提供了有效的条件。在包含188个人脸图像数据中进行试验充分地证明了该算法的有效性。

智能像卡输入的手绘电气符号识别研究

电气符号的自动输入与识别是手绘电路图的数字化表示最为关键的技术之一,针对脱机手绘电气符号输入与识别,提出了一种特定输入方式下的手绘电气符号识别新方法,首次采用智能像卡作为手绘电路图图形输入设备;提出了一种称为扩展网格比较特征提取法来提取手绘电气元件符号的特征;构造三层BP神经网络作为识别器,实现了手绘电气符号的脱机识别,通过对典型电气符号的识别实验表明:智能像卡是一种可行的图形输入工具,所提方法对手绘电气符号识别具有较高的识别效果。

经典深度卷积神经网络模型在手绘草图识别中的应用研究

通过设计多组实验策略,在TU-Berlin手绘草图数据集中,对AlexNet、GoogLeNet、VggNet和ResNet四种经典深度卷积神经网络结构进行手绘草图识别对比实验,结果表明相比其他网络结构,ResNet在手绘草图识别任务上具有更好的性能.

基于小波矩的智能手绘草图识别系统设计

针对传统的智能手绘草图识别系统无法精准、稳定地识别手绘草图的问题,文中设计一种基于小波矩的智能手绘草图识别系统。利用草图界面模块的手势书写界面输入草图作为操作指令,通过草图控制模块的预处理子模块预处理草图笔划,完成笔划的分割并将其传输至草图识别子模块;通过基本图元识别器和组合图元识别器实现草图图形识别,基于小波矩采集草图特征,计算样本草图和草图库中草图小波矩特征值的欧氏距离,依据欧氏距离排列草图,完成草图内容识别;操作控制子模块和手势命令识别子模块负责草图的控制和操作指令判别,并将系统运行过程中产生的数据存储于草图数据模块。实验结果表明,所提系统能有效识别草图的内容,识别的结果不受草图位置尺度变换和旋转的影响,可实现手绘草图的精准、稳定识别。

基于可伸缩矢量图形的手绘几何图形结构分析方法

复杂图形通常是由多个图元按一定几何关系构成,以基本图形的识别为基础,复杂图形识别重点在于图形元素之间的空间关系模式的判定。几何图形的图元构成复杂,难以直接利用启发式规则进行识别;而现有的结构分析方法太复杂,采用传统方法难以进行有效识别。针对手绘几何图形识别中结构分析这一核心技术问题,设计了一种几何图形结构描述模型,该模型通过对图元及其约束关系的形式化描述来表示图形,使用可伸缩矢量图形(SVG)标签存储图元及其约束,通过解析SVG标签来识别几何图形的形状及其内部关系,为图形结构分析提供了统一格式的表示方法。所提方法已经过自主开发的Geo Sketch系统的验证,并取得良好效果。实验结果表明:该方法简洁、低维,方便进行图形形状及内部关系的判定。

电气原理草图语义理解系统开发

针对目前市面上现有的手绘草图识别系统对用户的手绘习惯仍有较大限制的现状,提出了一种基于图元以及图元数量的单个电气元件的识别方法;系统使用MATLAB做为软件开发平台;首先通过在线采集的方式来获取手绘图每个笔画的始终点坐标以及每个笔画上所有的采样点的坐标,然后通过简单的平滑处理以及去重处理来降低因输入时的抖动噪音等因素对识别结果造成的影响;其次针对识别对象的结构特征相对稳定的特点,并且考虑到图库中所有的电气元件也都是由相同的几个基本图元组成的,实现了基于图元以及图元数量的单个电气元件的识别方法;实验结果表明,系统能够有效地减少用户在手动绘制时的限制,降低了因用户手绘习惯而造成的识别出错率;并且能够实现较高准确率的识别效果。