[发明专利]一种基于PCNN处理的纸质简谱电子化播放装置

权利要求书

1.一种利用PCNN处理的纸质简谱电子化播放装置的方法，由硬件部分和软件两部分组成，其中硬件部分包括通信接收模块和音乐播放模块；软件部分包括计算机图像处理模块、模式识别模块和通信模块，其特征在于包括如下步骤：

1)拍摄任意光照条件下的简谱图像，获取真实拍摄的待处理纸质简谱图像；

2)对待处理的纸质简谱图像，采用自适应分块PCNN的处理方法，再通过构造的DNN神经网络得到分割图像，建立分块图像数据集，利用分块PCNN进行迭代处理，人工标注分割次数，测定每个分块的灰度特征与PCNN迭代次数的关系；

3)对简谱图像进行预处理，将步骤2)处理得到的全局分割图进行简谱图像的倾斜校正和斑点去噪；

4)采用预设的水平投影法，分别实现对音符区域中的音调、音符和汉字区域中歌词的准确提取；

5)采用预设的卷积神经网络对提取出的音调、音符以及歌词进行识别，从而生成音乐文件；

6)通过UDP协议中的Socket通信来将音乐文件传送给树莓派，并用其自带的aplay软件对接收到的音乐文件进行自动播放。

2.一种用于获取音乐编译器识别的数字化乐谱数据的方法，其特征在于包括如下步骤：

1)人工拍摄各种光照条件下的简谱图像，并对完整的简谱图像进行自适应的分块处理，采用脉冲耦合神经网络对其进行自适应分割，同时选择每一分块图像的分割图；

2)记录真实分块简谱图像中像素的方差及均值，对其数值与PCNN分割迭代次数之间的关系进行分析，构造一种能自动选取分割的PCNN深度神经网络模型，并对选取的分割图像进行了连通域滤除处理；

3)对简谱分割图像进行预处理，基于滤除连通域的方法将简谱分割图只保留小节符，再利用小节符水平投影特征对整幅简谱图像进行大尺度梯度下降法的粗调整，分析水平投影的数值与简谱图像位置的关系；

4)分析简谱图像中音符、歌词与标题区域在图像中的分布结构，再根据音符、歌词与标题各区域的不同分布特征，利用水平投影法与垂直投影法，完成对简谱图像音符及歌词的提取；

5)依据上述提取出的音符及歌词，分别构造大量真实的训练样本对，然后针对各种架构的CNN神经网络对样本对进行训练，分别记录训练的情况，最后选取一种具有回归特性的CNN架构提取出的音符及歌词进行识别，从而实现简谱的数字化过程。

3.根据权利要求2所述的一种用于获取音乐编译器识别的数字化乐谱数据的方法，其特征在于所述分割图像预处理利用小尺度梯度下降法再对整幅简谱图像进行精细调整。