[发明专利]音乐转录模型的训练方法、音乐转录方法以及对应的装置

权利要求书

1.一种音乐转录模型的训练方法，其特征在于，所述方法包括：

获取训练数据，所述训练数据中的每个训练样本包括样本音频的音频特征向量、所述样本音频对应的样本乐谱，以及所述样本音频中各帧所对应的第一样本时间特征值和第二样本时间特征值，其中，对于任一帧，所述第一样本时间特征值表征了该帧的中间时间点与该帧最近的音符起始时间点之间的时间差，所述第二样本时间特征值表征了该帧的中间时间点与该帧最近的音符结束时间点之间的时间差；

基于所述训练数据对初始神经网络模型进行训练，直至模型至对应的总损失函数收敛，将训练结束时的模型确定为音乐转录模型；

其中，模型的输入为所述样本音频的音频特征向量，模型的输出包括所述样本音频中各帧所对应的所述第一预测时间特征值、第二预测时间特征值、以及预测乐谱；

所述总损失函数包括第一训练损失函数、第二训练损失函数和第三训练损失函数，所述第一训练损失函数的值表征了所述样本音频对应的样本乐谱与所述预测乐谱之间的差异，所述第二训练损失的值表征了所述样本音频对应的第一样本时间特征值与所述第一预测时间特征值之间的差异，所述第三训练损失函数的值表征了所述样本音频对应的第二样本时间特征值与所述第二预测时间特征值之间的差异。

2.根据权利要求1所述的方法，其特征在于，所述每个训练样本还包括所述样本音频对应的样本音量，模型的输入还包括所述样本音频的样本音量，模型的输出还包括所述样本音频的对应的预测音量，所述总损失函数还包括第四训练损失函数，所述第四训练损失函数的值表征了所述样本音频的样本音量与所述预测音量之间的差异。

3.根据权利要求2所述的方法，其特征在于，所述每个训练样本还包括所述样本音频所包含的各帧的音符表征值，所述音符表征值表征了一帧中是否包含一个音符起始时间点；所述样本音频的样本音量包括所述样本音频所包含的各帧的样本音量，所述预测音量包含所述各帧的预测音量；

其中，所述第四训练损失函数通过以下方式得到：

对于所述样本音频，基于所述样本音频的各帧对应的样本音量和预测音量，计算所述样本音频的各帧对应的第一损失；

基于所述样本音频的各帧的音符表征值和对应的第一损失，确定所述样本音频的各帧对应的第二损失；

基于所述各样本音频的各帧对应的第二损失，得到所述第四训练损失函数。

4.根据权利要求1述的方法，其特征在于，所述第一训练损失函数、所述第二训练损失函数和所述第三训练损失函数分别为交叉熵损失函数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述样本音频进行分帧处理得到所述样本音频的各帧，确定所述样本音频的各帧的中间时间点；

获取所述样本音频中所包含的各音符的音符起始时间点和音符结束时间点，对于每一帧，确定与该帧时间距离最近的目标音符起始时间点以及目标音符结束时间点；

基于所述样本音频的各帧的中间时间点、以及各帧对应的目标音符起始时间点和目标音符结束时间点，确定所述样本音频的各帧对应的第一样本时间特征值和第二样本时间特征值。

6.根据权利要求5所述的方法，其特征在于，所述基于所述样本音频的各帧对应的目标音符起始时间点和目标音符结束时间点，确定所述样本音频的各帧对应的第一样本时间特征值和第二样本时间特征值，包括：

对于每一帧，确定该帧的中间时间点与相对应的目标音符起始时间点的第一时间差，以及该帧的中间时间点与相对应的目标音符结束时间点的第二时间差；

基于所述样本音频中各帧对应的第一时间差，确定所述样本音频中各帧对应的第一样本时间特征值；

基于所述样本音频中各帧对应的第二时间差，确定所述样本音频中各帧对应的第二样本时间特征值。