[发明专利]一种基于深度学习的工尺谱谱字识别系统及方法

说明书

本发明涉及一种基于深度学习的工尺谱谱字识别系统及方法，包括预处理模块、谱字识别模块及音乐语义表示模块，预处理模块接受输入的谱字图像特征表述参数，通过转换函数转换为n×n的二维数组，输出此二维数组，谱字识别模块把预处理模块输出的二维数组分别输入到Transformer深度学习分类器中，Transformer分类器输出谱字分类结果，接受谱字分类结果，依据简谱记谱法，把分类结果转换为对应的音高数字。本发明实现了工尺谱谱字的自动音乐语义分类识别，实现了工尺谱谱字的深度学习分类器谱字识别，由分类器得到的分类结果能方便地转换为简谱音高，使得优秀的中国传统音乐作品能被现代人们所共享与欣赏。

技术领域

本发明属于音乐工业，涉及一种基于深度学习的工尺谱谱字识别系统及方法。

背景技术

为了推广我国传统的音乐的乐谱，首先需要把工尺谱翻译成简谱，但是工尺谱和简谱是基于不同的音乐理论，工尺谱是以我国传统的音乐理论为基础的，因此，在翻译的过程中，会出现音乐语义的歧义现象，目前留下的工尺谱作品的对应简谱的数量不多，大量的工尺谱作品仍然需要进行人工转换或机器转换。

深度学习(DL,Deep Learning)是人工智能领域一个新的研究方向，深度学习被广泛应用于机器学习的各个领域。在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。2017年，Google 发布”Attention is all you need”的论文，提出了Transformer模型，在图像识别领域，Transformer深度学习模型成为了最佳分类器。

本发明提出了利用Transformer深度学习的分类器，把工尺谱谱字转换为音乐语义信息，最后可以很方便地利用简谱来表示这些音乐语义信息，从而使得优秀的中国传统音乐作品能被现代人们所共享与欣赏。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于深度学习的工尺谱谱字识别系统及方法的技术方案。

本发明提供一种基于深度学习的工尺谱谱字识别系统，包括

预处理模块，预处理模块接受输入的谱字图像特征表述参数，通过转换函数转换为n×n的二维数组，输出此二维数组；

谱字识别模块，谱字识别模块把预处理模块输出的二维数组分别输入到Transformer深度学习分类器中，Transformer深度学习分类器输出谱字分类结果；以及

音乐语义表示模块，音乐语义表示模块接受谱字分类结果，依据简谱记谱法，把分类结果转换为对应的音高数字。

上述输入预处理模块、谱字识别模块与音乐语义表示模块按线性关系组合为一个多层集成分类网络，把工尺谱的谱字转换为音乐语义信息。

本发明还提供一种基于深度学习的工尺谱谱字识别方法，采用如上所述的工尺谱谱字识别系统实现，其包括：

S1接受输入的谱字图像特征表述参数，通过转换函数转换为n×n的二维数组，输出此二维数组；

S2把二维数组分别输入到Transformer深度学习分类器中，Transformer深度学习分类器输出谱字分类结果；

S3依据简谱记谱法，把分类结果转换为对应的音高数字。

进一步地，S1中，I表示工尺谱谱字图像，G表示二维数组，从I到G的计算过程如下：

G(i,j)表示二维数组G第i行第j列的元素值，表示图像I第行第列的元素值，表示取整，变量α是分数中的较大值，I_height和I_width分别表示图像I的高和宽。