[发明专利]一种基于简谱识别和基频提取的人声旋律提取方法及系统

权利要求书

1.一种基于简谱识别和基频提取的人声旋律提取方法，其特征在于：包括如下步骤：

S1：数据预处理，将待处理歌曲对应的简谱文件进行二值化处理，将歌曲原始音频文件处理为降采样后的单声道音频，从降采样后的单声道音频中分离出人声波形；

S2：简谱识别，识别简谱中的音符与歌词对，得到歌词与音符的列表；

S3：人声波形的唱词与简谱识别结果对齐，根据唱词文件，检索歌词与音符的列表，得到行歌词与音符的匹配结果序列；

S4：基频提取，选择一个音符，根据分离得到的人声波形计算音符的基频频率，根据计算得到的基频频率及各音符的相对关系，计算各音符的频率，并将各音符的频率转换为midi音高；

S5：音高平移，平移行歌词与音符的匹配结果序列，得到音高与各音符的midi音高相匹配的行歌词与音符的匹配结果序列；

所述的基频提取具体包括：

S401：选定一个音符；

S402：遍历唱词与音高对齐之后的序列，找到选定的音符对应的人声波形片段；

S403：剪裁所有找到的人声波形片段；

S404：识别所有剪裁的片段的基频；

S405：统计所有剪裁片段的基频，以数量最多的频率作为选定音符的基础频率；

S406：根据选定音符与各音符的相对关系，计算各音符的频率；

S407：将各音符的频率转换为midi音高；

所述的音符为do、re、mi、fa、so、la、si中的任意一个。

2.根据权利要求1所述的基于简谱识别和基频提取的人声旋律提取方法，其特征在于：所述的数据预处理具体包括：

S101：将歌曲原始音频文件解码为wave格式，并归一化至-1～1；

S102：将wave格式的音频通过平均得到单声道的音频；

S103：将单声道音频降采样至8000～44100之间；

S104：将歌曲对应的简谱文件做二值化处理；

S105：从降采样后的单声道音频中分离出人声波形。

3.根据权利要求2所述的基于简谱识别和基频提取的人声旋律提取方法，其特征在于：所述的数据预处理还包括：S106：根据歌词文件将人声波形按句分割成多个波形文件。

4.根据权利要求1所述的基于简谱识别和基频提取的人声旋律提取方法，其特征在于：所述的简谱识别采用OCR api或者开源OCR。

5.根据权利要求1所述的基于简谱识别和基频提取的人声旋律提取方法，其特征在于：所述的歌词与简谱识别结果对齐具体包括：

S301：解析唱词文件，按句获得唱词文件中的所有唱词序列；

S302：在简谱识别得到的歌词与音符的列表中检索每一句唱词的文字序列；

S303：将歌词与音符对按唱词序列进行排序，实现人声波形的唱词与音高对齐。

6.根据权利要求1所述的基于简谱识别和基频提取的人声旋律提取方法，其特征在于：所述的音符为do音。

7.应用权利要求1-6中任意一项所述的基于简谱识别和基频提取的人声旋律提取方法的系统，其特征在于：包括数据处理模块、简谱识别模块、唱词与音符对齐模块、基频模块和音高平移模块；

所述的数据处理模块将待处理歌曲对应的简谱文件进行二值化处理，将歌曲原始音频文件处理为降采样后的单声道音频，从降采样后的单声道音频中分离出人声波形；

所述的简谱识别模块用于识别简谱中的音符与歌词对，得到歌词与音符的列表；

所述的人声波形的唱词与音符对齐模块用于根据唱词文件，检索歌词与音符的列表，得到行歌词与音符的匹配结果序列；

所述的基频模块用于选择一个音符计算音符的基频频率，根据计算得到的基频频率及各音符的相对关系，计算各音符的频率，并将各音符的频率转换为midi音高；

所述的音高平移模块用于平移行歌词与音符的匹配结果序列，得到音高与各音符的midi音高相匹配的行歌词与音符的匹配结果序列。