[发明专利]基于目标检测的视唱音高检测方法、系统、设备及介质

权利要求书

1.一种基于目标检测的视唱音高检测方法，其特征在于，包括：

S1，采样获取视唱音频并转换为二维声谱图，检测所述二维声谱图中各音符的起始时刻、结束时刻和音符下边界代表的频点索引；

S2，以第一音符的音符下边界代表的频点索引对应频率为中心，向上、向下分别容纳设定数量的频点为目标，确定所述第一音符的频点框的顶边频率值和底边频率值，所述第一音符为所述二维声谱图中的任一音符；

S3，在所述第一音符的顶边频率值和底边频率值之间的频率范围内，对位于所述第一音符的起始时刻和结束时刻之间的二维声谱图中的每一帧进行峰值搜索，得到每一帧峰值对应的频率值；

S4，对所述第一音符中每一帧峰值对应的频率值求和取平均，得到所述第一音符音高对应的平均频率，根据所述第一音符音高对应的平均频率计算所述第一音符的音高。

2.如权利要求1所述的基于目标检测的视唱音高检测方法，其特征在于，所述第一音符的音符下边界代表的频点索引对应频率为：

其中，f_bottom为所述第一音符的音符下边界代表的频点索引对应频率；f_min为所述二维声谱图的最小频率值；n_bins为所述第一音符的音符下边界代表的频点索引；b_po1为第一预设参数，表示每一音高对应两个频点的二维声谱图的八度内频点数。

3.如权利要求2所述的基于目标检测的视唱音高检测方法，其特征在于，所述第一音符的频点框的顶边频率值和底边频率值分别为：

其中，f_high为所述第一音符的频点框的顶边频率值；f_low为所述第一音符的频点框的底边频率值；b_po2为第二预设参数，表示每一音高对应五个频点的二维声谱图的八度内频点数。

4.如权利要求1所述的基于目标检测的视唱音高检测方法，其特征在于，所述第一音符的音高为：

p＝69+12×log₂(f_pitch/440)

其中，p为所述第一音符的音高，f_pitch为所述第一音符音高对应的平均频率。

5.如权利要求1所述的基于目标检测的视唱音高检测方法，其特征在于，所述采样获取视唱音频并转换为二维声谱图包括：

采样获取所述视唱音频并进行音频降噪处理，利用常数Q变换将降噪后的视唱音频转换为所述二维声谱图。

6.如权利要求1-5任一项所述的基于目标检测的视唱音高检测方法，其特征在于，所述检测所述二维声谱图中各音符的起始时刻、结束时刻和音符下边界代表的频点索引包括：

将所述二维声谱图映射为RGB图像，并将所述RGB图像切割为多个矩形块，每一所述矩形块的长宽比与预设长宽比之间的误差不大于设定值；

分别对各所述矩形块进行音符检测，以检测出各所述矩形块中每个音符的起始时刻、结束时刻和音符下边界代表的频点索引。

7.如权利要求6所述的基于目标检测的视唱音高检测方法，其特征在于，对所述矩形块进行音符检测包括：

利用YOLOX模型对所述矩形块进行音符检测，得到一个或多个目标框；

当多个目标框中存在两个相交的目标框时：若其中一目标框的一半以上位于另一目标框内，删除两个相交的目标框，并生成包含两个相交的目标框的新目标框，否则，将左侧目标框的右边界设置为右侧目标框的左边界，更新右侧目标框。