[发明专利]一种基于数据驱动的音符起始点检测方法

说明书

本发明公开了一种基于数据驱动的音符起始点检测方法，包括以下步骤：1、对预处理后的log梅尔频谱数据进行编码和时间窗口滑动分片，生成时间片特性样本；2、加载时间片样本进行一维卷积、最大池化操作；3、将池化层的结果输入到BiLSTM层，提取样本语义信息；4、将BiLSTM层的结果输入到attention层，加强模型对关键时序样本的学习；5、将attention层的结果输入到softmax分类层进行判别；6、参照时间阀值将softmax层的判别结果进行合并，输出音符起始点序列。本发明能够多次多音频进行记录，并进行比对，对颤音、滑音等进行筛选，提高了演唱场景识别效果，减少误检以及漏检情况的发生，提高了音符起始点检测的准确性。

技术领域

本发明涉及计算机应用技术领域，具体为一种基于数据驱动的音符起始点检测方法。

背景技术

音符起始点检测是一种在音频信号中定位事件起点的过程，即从音乐信号中找到所有音符的起始点。它是许多高级音乐分析如节拍检测、节奏估计、音高提取和自动转录等任务的基础性研究工作，如图1所示。

在公告号为CN1963919B的中国发明专利中公布了一种基于能量的音符切分方法，该方法计算音频信号的能量特征，通过能量阀值判别拾取音符分割点，该方法判决简单但准确度较差，只适用于能量显著性较强的场景，在针对音频信号的声谱特征，需根据各频段的第一语音频谱参数和第二语音频谱参数对比确定音符的起始点。该方法根据语音频谱参数曲线峰值点拾取起始点的判决方式很难从峰值点中识别出伪起始点，同时对颤音、滑音等演唱场景识别效果不佳，会有误检和漏检情况的发生。

发明内容

本发明的目的在于提供一种基于数据驱动的音符起始点检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于数据驱动的音符起始点检测方法，包括以下步骤：

步骤1：构建曲目清单，清单包括不同歌曲类型，歌曲类型，每首歌曲的时间为10-60秒的片段；

步骤2：构建人声清唱音频采集模块，由多名专业和业余演唱者组成的人员根据曲目清单清唱录制10-60秒的音频，音频的格式为wav文件，音频采样率为16kHz；记录好曲目类型、歌曲编号、歌曲名称、演唱者类型、歌词内容后将音频保存到数据库；

步骤3：由多名专业演唱者对保存的所有音频进行人工标注，每位演唱者独立地为所有音频的音符起始位置标注,标注格式为Praat TextGrid，精度为毫秒；

步骤4：构建Praat TextGrid文件批量解析模块，对所述步骤3保存的PraatTextGrid音符起始点标注数据进行批量解析；

步骤5：构建标注自动修正模块，对所述步骤4的解析结果进行统计修正；根据标注时间的均值及标准差进行处理，均值计算公式为标准差计算公式为；其中N为所述步骤3中参与人工标注的人数，t_i为各标注者各自标注的音符起始点时间；若标准差σ_t大于偏差阀值θ_t，则说明每个专业演唱者对该音符起始点标注存在较大分歧，需要记录该标注点相关信息进行二次集中讨论标注；若标准差σ_t小于偏差阀值θ_t，则将均值计算结果μ_t加入标签序列中，并将Praat TextGrid文件对应的起始点修正为μ_t。

进一步的，根据所述步骤五中需要二次集中讨论标注的标注点，由多名专业演唱者集中一起商讨重新标注，将重新标签结果的均值计算结果μ_t加入标签序列中，并将PraatTextGrid文件对应的起始点修正为μ_t。

进一步的，利用卷积层和池化层来提取音频的log梅尔频谱特征信息，双向长短时记忆循环神经网络(BiLSTM)直接对log梅尔频谱片段进行分类，从而达到识别音符起始点的目的。