融合边特征与注意力的表格结构识别模型

针对现有方法在表格结构识别问题中存在的先验知识依赖、鲁棒性不足、表达能力不足等问题,提出一种新的融合边特征与注意力的表格结构识别模型——GEAN-TSR。首先,提出图边注意力网络(GEAN)并作为模型的主干网络,在边卷积结构的基础上引入并改进图注意力机制聚合图节点特征,解决图网络在特征提取过程中的信息损失的问题,提高图网络的表达能力;然后,引入边特征融合模块融合浅层图节点信息与图网络输出,增强图网络的局部信息提取能力与表达能力;最后,将门控循环单元(GRU)提取的图节点文本特征融入文本特征融合模块对边进行分类预测。在SciTSR-COMP数据集上的对比实验中,相较于目前最优的模型SEM,GEAN-TSR的召回率与F1值分别提升2.5与1.4个百分点。在消融实验中,GEAN-TSR采用特征融合模块后,所有指标都取得了最优值,验证了模块的有效性。实验结果表明,GEAN-TSR能够有效提升网络性能,更好地完成表格结构识别任务。

融合容错机制的基于Attention-Mask RCNN地质表格信息抽取方法

地质表格信息提取是地质报告从信息转换到知识阶段的重要任务之一,对将非结构化的数据转化为结构化的地学知识具有重要意义,同时还为文本与表格的知识关联提供了技术支撑。然而现有的表格解析方法在地学领域存在局限性,在单元格提取中,地质表格中大量的合并单元格造成了不同单元格间大小差异大,大量小面积单元格无法被提取;在表格解析方面地质表格包含了大量的被斜线分割的特殊表头,难以自动化解析。为解决上述问题,本文提出了一种基于注意力机制的Mask RCNN单元格提取模型及基于OpenCV框架的表格结构解析方法。主要包括两个步骤:1)上下文注意模块(CAM)学习上下文特征以识别不同大小单元格;2)一种标准容错机制的复杂表头解析方法,解析含斜线分割的复杂表头单元格。在构建的地质表格数据集上进行模型性能评估,该方法对于多数地质表格的解析准确率达到95%以上;相比其他单元格识别和表格结构解析方法,该方法解析效果更优。