基于多维局部二值模式和XGBoost的轻量谱线删除法

由于在手写乐谱中搜索谱线位置比较困难,为提高乐谱谱线删除算法的稳健性,提出了一种基于多维局部二值模式识别和XGBoost模型的手写乐谱谱线删除方法。根据乐谱图像的特点,设计并改进局部二值模式算子,提取乐谱图像中的多维局部二值模式特征算子,组成高维特征向量,再选择最优的XGBoost模型来识别乐谱谱线位置,进而删除谱线。研究结果表明,该方法在测试数据上的F-measure为97.19%,说明其具有很高的准确率和召回率;而在三个不同子测试集上的F-measure分别为96.43%,98.36%和96.79%,说明其具有很好的稳健性。相比已有的轻量谱线删除算法,该方法的F-measure有所提升。

基于局部二进制模式的乐谱谱线检测与删除

谱线检测与删除是光学乐谱识别中重要和关键的环节之一。在乐谱中,谱线往往与大多数符号交叉或重叠,即存在像素属于谱线像素同时也属于符号像素的情况,因此删除谱线并且不破坏音乐符号并非易事。研究目标是需要删除仅仅属于谱线的像素,观察乐谱图像可以发现谱线像素与非谱线像素局部纹理存在差异,主要表现为谱线像素的局部纹理与谱线宽度相关,简洁明了,而非谱线像素的局部纹理除了存在仅与自己本身相关的情况,还存在与交叉点相关的情况。因此,采用局部二进制模式通过提取局部纹理特征,获得谱线像素与非谱线像素局部纹理的差异,对谱线与非谱线像素进行检测分类,进而将谱线像素删除。该方法不仅可以删除理想状态下乐谱谱线,对弯曲状态下乐谱谱线同样适用。实验结果证明了该方法在像素误差、片段误差等性能指标上优于现有常用方法。

乐谱图像乐符分割技术

提出基于图段拓扑关系的谱线删除方法,以避免谱线过删除现象;提出双向游程编码结合使用的符干分割方法,克服了现有方法对复杂音符适应性差、分割结果不完整等缺陷;提出音符先验知识引导下的符头切割与检测算法,以解决粘连符头的切分问题;提出基于块状体分割和特征检测的符梁分割算法,设计了适用于乐谱版面的文字和线条提取算法。该方法应用在乐谱识别系统中分割乐符具有良好的性能,尤其对乐谱内容复杂、乐符排列密集等情况有较强适应能力。

乐谱识别关键技术问题及其解决方案

分析讨论了乐谱识别关键技术的研究现状及其存在的问题,针对多声部乐谱识别的关键技术提出了相应的解决方案。1提出一种基于投影和相关计算的谱线检测方法,能够克服变形、相交和粘连的干扰;提出一种基于游程块邻接图的谱线删除方法,有效减少图元的过删现象。2提出一种基于结构特征约束的音符基元抽取和重组模型,使系统在复杂环境下的适应性与可靠性得到提高。3提出一种基于声部划分的多声部乐谱识别校验方法,将识别反馈机制从单声部乐谱延拓至多声部乐谱。在此基础上开发了乐谱识别原型系统IOMRS,与商业化乐谱识别软件进行对比评测的结果表明,IOMRS的音符识别率高、稳定性强,尤其在识别复杂版面的多声部乐谱方面具有优势。