[发明专利]一种架子鼓乐谱识别方法及装置

说明书

本发明公开了一种架子鼓乐谱识别方法及装置，涉及乐谱识别技术领域。本发明创造性地通过将架子鼓乐谱图片转化并生成其对应的文本序列，再通过语义字典将语义项转化为数字序列，从而使得可以通过卷积循环神经网络进行架子鼓乐谱图片的识别训练，省略了中间的识别谱线、识别单个乐符等步骤，减轻了费力的组装设计，且更容易对各种属性或者高级特征进行特征的捕获与提取；单个模型相比于每个组件错误累加来说更加健壮，能有效减少错误的积累，在识别效果上具有优势。

技术领域

本发明涉及乐谱识别技术领域，特别涉及一种架子鼓乐谱识别方法及装置。

背景技术

现有的处理架子鼓乐谱的方案是将架子鼓图像转化为二值图像，通过对其进行修正获得水平图像，再对水平图像进行谱线定位，并删除谱线，然后依次定位并删除符干、尾桥、符头，将符干、尾桥、符头进行匹配，以完成架子鼓乐谱的识别。该方法的弊端在于，需要不断删除图像来完成架子鼓谱的识别，导致架子鼓谱的图像信息缺失。因此又有人提出一种基于图像分割和模板匹配的方法，识别预处理后的架子鼓乐谱图片中的谱线，基于列切割框选谱线上的各种音符，得到若干音符图片，然后创建若干张音符模板图片，通过模板匹配算法匹配音符图片和音符模板图片，以对音符图片进行识别。

然而该方法的组件之间单独训练，可能会导致每个组成部分之间的错误会叠加，从而不断放大误差。

发明内容

本发明要解决的技术问题，在于提供一种架子鼓乐谱识别方法及装置，通过乐谱图片和图片对应的文本序列来训练端到端的模型，省略了中间的识别谱线、识别单个乐符等步骤，减轻了费力的组装设计，且更容易对各种属性或者高级特征进行特征的捕获与提取，在识别效果上具有优势。

第一方面，本发明提供了一种架子鼓乐谱识别方法，包括：

步骤10、将一行架子鼓乐谱转化为架子鼓乐谱文本序列以及与所述文本序列一一对应的图片文件；对大量架子鼓乐谱进行处理，获得架子鼓乐谱数据集；

步骤20、生成架子鼓乐谱语义字典，所述语义字典包括架子鼓乐谱文本序列中所有可能出现的语义项，用于语义项与数字序列之间的相互转换；

步骤30、进行架子鼓乐谱识别模型训练，通过所述语义字典将所述数据集中的架子鼓乐谱文本序列转化为乐谱数字序列，再将该数字序列转换为标准的二维变量并用指定符号对没有弹奏的音进行填充，然后将架子鼓乐谱文本序列以及它对应的架子鼓乐谱图片作为卷积循环神经网络模型的输入，将对应的二维变量作为模型的输出，对模型进行训练直至完成；

步骤40、将待识别的架子鼓乐谱图片输入训练好的模型，得到对应的二维变量，将该二维变量中的指定符号删除转化为数字序列，再通过所述语义字典转化为架子鼓乐谱文本序列。

进一步地，所述步骤10具体包括：

步骤11、将.mxl转换成.musicxml文件，具体通过在MuseScore中使用插件-BatchConvert Resize Height进行转换；

步骤12、运行removecredits.py文件，处理.musicxml文件，消除信用性文本，从而对.musicxml文件进行清理；

步骤13、将清理后的.musicxml文件转换成.mscz文件，具体通过在MuseScore中使用“插件-Batch Convert Orig”进行转换；

步骤14、将.mscz文件转化成.musicxml和.png文件，具体通过在MuseScore中使用“插件-Batch Convert Orig”进行转换，所述.png文件即与所述文本序列一一对应的图片文件；

步骤15、用genlabels.py文件将.musicxml文件转换成.semantic文件，所述.semantic文件即架子鼓乐谱文本序列。