[发明专利]基于目标检测的视唱音高检测方法、系统、设备及介质

说明书

本发明公开了一种基于目标检测的视唱音高检测方法、系统、设备及介质，属于音频数据处理领域，方法包括：获取视唱音频并转换为二维声谱图，检测二维声谱图中各音符的起始时刻、结束时刻和音符下边界代表的频点索引；以第一音符的音符下边界代表的频点索引对应频率为中心，向上、向下分别容纳设定数量的频点为目标，确定第一音符的频点框的顶边频率值和底边频率值；在第一音符的顶边频率值和底边频率值之间的频率范围内，对起始时刻和结束时刻之间的二维声谱图中的每一帧进行峰值搜索，得到每一帧峰值对应的频率值；对第一音符中每一帧峰值对应的频率值求和取平均，得到其音高对应的平均频率以计算其的音高。提高视唱音高检索的精准度和效率。

技术领域

本发明属于音频数据处理领域，更具体地，涉及一种基于目标检测的视唱音高检测方法、系统、设备及介质。

背景技术

视唱是音乐初学者阅读乐谱并进行演唱以提升对节奏、音准感知能力的过程。视唱是唱歌方式的一种，现有研究中，视唱转录一般采用唱歌转录的方法。自动唱歌转录(Automatic Singing Transcription，AST)是从唱歌音频中推断音符起始时刻onset、音符结束时刻offset和音符对应音高pitch。一个高效准确的自动唱歌转录模型可以帮助学生及时了解自己的演唱情况，同时也能辅助老师进行问题定位和准确指导，对于音乐教育十分重要。

自动唱歌转录的关键是onset、offset和pitch提取，主要分为两类方法。一类方法直接使用端到端的方式，先得到帧级onset、offset和pitch，之后对帧级的转录结果进行后处理得到音符级的onset、offset和pitch；另一类方法则先进行音符分割得到onset和offset，再通过音高提取方法得到每个音符的音高。这两种方法都是先得到帧级onset、offset概率，之后通过后处理得到音符级的转录结果。可以看出，目前自动唱歌转录的核心是音高提取，现有的音高提取方法相对来说都较为复杂，在实际运用场景中需要较长时间才能得到转录结果。因此，亟需一种针对视唱简单有效的音高提取方案。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于目标检测的视唱音高检测方法、系统、设备及介质，其目的在于提高视唱音高检索的精准度和效率。

为实现上述目的，按照本发明的一个方面，提供了一种基于目标检测的视唱音高检测方法，包括：S1，采样获取视唱音频并转换为二维声谱图，检测所述二维声谱图中各音符的起始时刻、结束时刻和音符下边界代表的频点索引；S2，以第一音符的音符下边界代表的频点索引对应频率为中心，向上、向下分别容纳设定数量的频点为目标，确定所述第一音符的频点框的顶边频率值和底边频率值，所述第一音符为所述二维声谱图中的任一音符；S3，在所述第一音符的顶边频率值和底边频率值之间的频率范围内，对位于所述第一音符的起始时刻和结束时刻之间的二维声谱图中的每一帧进行峰值搜索，得到每一帧峰值对应的频率值；S4，对所述第一音符中每一帧峰值对应的频率值求和取平均，得到所述第一音符音高对应的平均频率，根据所述第一音符音高对应的平均频率计算所述第一音符的音高。

更进一步地，所述第一音符的音符下边界代表的频点索引对应频率为：

其中，f_bottom为所述第一音符的音符下边界代表的频点索引对应频率；f_min为所述二维声谱图的最小频率值；n_bins为所述第一音符的音符下边界代表的频点索引；b_po1为第一预设参数，表示每一音高对应两个频点的二维声谱图的八度内频点数。

更进一步地，所述第一音符的频点框的顶边频率值和底边频率值分别为：