[发明专利]一种简谱图像的自动识别和演奏的方法

说明书

(一)技术领域：

简谱是大家非常熟悉和常用的乐谱之一，但目前在光学乐谱识别(Optical Music Recognition，OCR)领域，研究焦点都集中在五线谱识别上，而对简谱识别的研究几乎处于空白。本发明涉及一种简谱图像的自动识别和演奏的方法，属于光学乐谱识别领域。

(二)背景技术：

乐谱的发明是人类音乐史上的里程碑，它的出现使人们可以在一个相对标准的平台上进行音乐的交流和传承。古往今来的优秀音乐作品大都以纸质乐谱的形式保留下来，直至今天，纸质乐谱仍是表达和描述音乐作品的主要载体。

近年来，随着计算机技术的飞速发展，越来越多的纸式文档迫切需要通过识别技术，自动转换为数字形式保存下来，以便于检索、管理和利用。光学字符识别技术(Optical Character Recognition，OCR)近年来已经得到蓬勃发展。与此同时，为了解决纸质乐谱向数字音乐智能转化这一难题，光学乐谱识别(Optical Music Recognition，OMR)这一项新技术应运而生。

OMR研究历史已久，许多学者在OMR领域开展了大量有价值的开创性工作，在他们的文献中提出了许多创造性的思想和完整方法。但是在OMR领域，研究焦点都集中在五线谱识别上，对简谱识别的研究几乎处于空白阶段。而简谱却是我国最为常见、最为国人所熟知的乐谱形式，绝大多数业余音乐爱好者最常接触到的曲谱形式就是简谱，而且大部分的民乐作品也都是以纸质简谱的形式保留记录下来。所以，实现纸质简谱向数字音乐或五线谱智能转化显得尤为迫切。

在五线谱中，所有的音符都叠加在五条谱线及上加一线、下加一线之间，音符高度和形状也有一定的标准，如高音谱号、升降记号都有规定的格式和书写规范。

相对于五线谱自动识别，简谱自动识别具有更大的难度和挑战性。

技术难点1：在简谱中，7个数字音符分散在各个谱段空间中，在每个数字音符周围还会有各种符号和标记来表示其音高、时长及节奏。符号之间没有规范的空间约束，书写极为随意、松散，无固定标准。

技术难点2：数字音符的字体变化多样，甚至在同一张简谱中会出现多种字体。

技术难点3：简谱中常常混杂着歌词、标题等等无关信息，一些从简谱网站上下载的简谱甚至会夹杂网站的广告、网址、水印等等。

技术难点4：在扫描简谱输入阶段，常常会造成简谱图像的倾斜，实验表明，当简谱倾斜角度大于5度时，对识别正确率影响很大。

基于以上诸多难点和不确定因素，目前来看，简谱向数字音乐的转化依然是靠人手工完成，还没有一套完整的简谱自动识别和智能播放方法问世。本发明在深入分析简谱特征基础上，提出一整套简谱自动识别和播放方法，这项全新的方法必将带来广阔的市场和应用前景。

(三)发明内容：

1、目的：本发明在深入分析简谱特征基础上，提供一种简谱图像的自动识别和演奏的方法。该方法可以很好的识别印刷体简谱、带歌词简谱、简谱与五线谱混合谱、简谱与吉他谱混合谱等多种形式的印刷体简谱，正确率均在95％以上。并且对于带有大面积水印、网址等等干扰内容的简谱，仍具有90％以上的正确率。以一张648×932的jpeg格式的简谱图像为例，如图1所示，经过本发明提供的方法进行识别并转化为音符编码后，所占内存空间仅数百字节，是原图像数据量的1/1000。此外，除了准确识别各类型简谱，本发明还提出一整套简谱音乐播放方法，可以模拟钢琴、小提琴、吉他等多种乐器对简谱的演奏效果，并且可以实现曲谱的实时识别和播放。

2、技术方案：本发明在MATLAB R2010b语言环境下实现，计算机配置：Pentium(R)Dual-core CPU T42002.00GHz。

总体方法流程图如图2所示，本发明一种简谱图像的自动识别和演奏的方法，该方法由“简谱图像预处理”、“简谱基元识别”和“数字音频的生成和播放”三大步骤构成。

步骤一、“简谱图像预处理”

此阶段的输入为一幅简谱图像，输出为一张剔除歌词、水印等无关信息，并经过旋转校正的简谱图像。其作用是为简谱基元的识别窗口划定做好准备，其具体实现过程如下：

11、“自动检测简谱倾斜角度并校正”

为了纠正扫描输入时造成的简谱倾斜，此阶段采用Hough变换直线检测方法检测简谱下划线倾斜角度，并对倾斜的简谱图像进行旋转校正。

1.2、“自动去除水印”

简谱图片的彩色区域，一定是图片中水印的区域。剔除简谱图片中的彩色区域中的信息，可以避免水印对识别造成的干扰。