自然场景盲文图像数据集及盲文段检测方法

盲文检测是利用人工智能技术自动检测出图像中的盲文位置,是盲文书籍电子化、盲文自动阅卷以及加强正常人与盲人无障碍交流的关键技术。然而现有盲文检测研究领域缺乏自然场景盲文图像数据集和盲文段检测方法。为此,利用手机拍摄、网络下载等手段构建包含554幅图像的自然场景盲文图像数据集,并对数据集中每一幅图像的盲文段位置进行手动标记。从亮度、对比度和柔和度变化的角度设计图像增强策略来扩充自然场景盲文图像数据集,以辅助卷积神经网络(CNN)训练。在此基础上,分析自然场景盲文段在书写形式和结构上的特点,基于Faster R-CNN算法的思想,提出一种自然场景盲文段检测方法。以ResNet50作为主干网络,通过设计多尺寸CNN特征融合策略挖掘不同尺寸盲文段的特征,设计从32到512的多种锚框参数,以适应自然场景图像中盲文段高度变化小而宽度变化大以及存在较多小尺寸盲文段的特点。实验结果表明,与经典目标检测算法Faster R-CNN和SSD相比,该方法 Hmean值分别从0.793 5和0.800 1提升至0.887 9,检测性能提升明显。