[发明专利]一种基于音频识别被弹奏琴键的方法及系统

说明书

本发明提供一种基于音频识别被弹奏琴键的方法，所述方法包括获取弹奏钢琴的音频并对所述音频进行分帧处理以得到多个分帧信号，以及对每一个分帧信号执行如下步骤:T1、对当前分帧信号进行频域分析，获得该分帧信号的频谱；T2、对步骤T1获得的频谱进行噪声水平估计以获得多个乐音谱峰形成乐音谱峰集合；T3、根据噪声水平估计获得的乐音谱峰集合、所有琴键频谱参数集构成的谐波频率查找可能被弹奏的第一候选琴键集合，其中第一候选琴键集合是谐波频率与所述乐音谱峰集合中的一个或多个乐音谱峰相同的琴键的集合。

技术领域

本发明涉及智能钢琴领域，具体来说，涉及钢琴调音以及弹奏评价领域，更具体地说，涉及一种基于音频识别被弹奏琴键的方法及系统。

背景技术

目前对钢琴调音的好坏评价以及钢琴弹奏的评价大多基于个人经验进行，例如，有调音师对钢琴完成调较后，用户通过弹奏每一个琴键，并根据个人经验来判断调音效果，由于个人经验参差不齐，对调音效果的判断也参差不齐。在钢琴教学以及钢琴学习过程中经常要对弹奏者的钢琴弹奏进行评价，现有技术下在钢琴教学或者演奏中对钢琴弹奏的评价，大多基于人工听，通过听弹奏者弹奏的音符来判断弹奏的好坏，无法准确定位好坏的等级和具体指标，在这个过程中，如果经验不足或者调音效果不好，会直接影响弹奏音符的判断。

具体来说，当钢琴的按键被弹奏时，琴锤撞击相应的一根或多根琴弦，此时琴弦震动可以简单的建模为刚性材料的受迫振动，此敲击可以激发出弦的不同频率的波，该频率具有明显的比例关系，例如弹奏标准钢琴的A4按键，会激发出诸如440Hz、880Hz、1320Hz、1760Hz……的波。该震动频率的最小值定义为该琴键的基频。比基频高整数倍的震动称为该基频的泛音或谐波，多个谐波组成谐波列或称为泛音列，这样就形成了明显的谐波结构。钢琴的每个琴键都有属于自己的基频和谐波结构。但是能产生整数倍谐波的前提是琴弦被建模为简单的刚性震动，而实际上琴弦是由两端被固定在琴腔共振板上粗细不同的金属组成。因为两端的固定，实际振动的弦长被缩短，导致谐波频率和基频的频率不满足严格整数倍关系，使得不同琴键的谐波会有重叠，且由于钢琴调音没有严格的定性和定量基准，导致对弹奏进行评价时基于音符对被弹奏琴键的估计会不准确。这会使得音符识别过程中八度错误较多，例如，需要弹奏A4琴键，但是同时弹奏A3和A5琴键，由于谐波的重叠，被判断为仅弹奏了A4按键。

此外，现有技术下，对弹奏音符的识别过程中缺乏对噪声的处理，使得噪声影响大，音符识别准确度不高。现有技术下也没有对每架钢琴建模，也没有对模型进行实时校准，使得钢琴的频谱参数不够精准。

此外，依靠人工进行调音评价以及弹奏评价费时费力，无法智能的获取钢琴调音情况，会因操作者的不同会出现很大的偏差，此外，现有技术下也没有能够准确识别弹奏曲目节拍的方法，尤其是弹奏曲库中没有的曲目时，无法获得准确的节拍，不利于智能钢琴教学的应用。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种能够根据弹奏的音频智能识别弹奏琴键的方法及系统，以及计算弹奏节拍和评价弹奏的方法。

根据本发明的第一方面，提供一种基于音频识别被弹奏琴键的方法，所述方法包括获取弹奏钢琴的音频并对所述音频进行分帧处理以得到多个分帧信号，以及对每一个分帧信号执行如下步骤:T1、对当前分帧信号进行频域分析，获得该分帧信号的频谱；T2、对步骤T1获得的频谱进行噪声水平估计以获得多个乐音谱峰形成乐音谱峰集合；T3、根据噪声水平估计获得的乐音谱峰集合、所有琴键频谱参数集构成的谐波频率查找可能被弹奏的第一候选琴键集合，其中第一候选琴键集合是谐波频率与所述乐音谱峰集合中的一个或多个乐音谱峰相同的琴键的集合。