[发明专利]一种乐谱智能翻页方法及装置、电子设备、存储介质

说明书

本发明公开了一种乐谱智能翻页方法及装置、电子设备、存储介质，该方法包括(1)对目标乐谱进行完整识别，转换为相应的电子音频，并得到每一页乐谱的翻页位置；(2)实时提取音乐的第一时频信息特征，时频信息用于音频之间的匹配；(3)将所述第一时频信息特征和步骤(1)中生成的电子音频提取的第二时频信息特征进行匹配，识别所述第一时频信息特征对应的音频在所述目标乐谱中的位置，从而确定演奏者的演奏进度；(4)根据所述每一页乐谱的翻页位置，若步骤(3)中乐音乐谱未匹配到达乐谱页末尾，则返回步骤(2)；若步骤(3)中乐音乐谱匹配到达乐谱页末尾，则发送翻页信号，以实现智能翻页。

技术领域

本发明属于计算机视觉领域和音频信号处理领域，尤其涉及一种乐谱智能翻页方法及装置、电子设备、存储介质。

背景技术

演奏乐器过程中不得不腾出手进行乐谱翻页是打破演奏者演奏的专注性和连贯性的突兀因素，影响视听享受和乐感培养。音乐演奏表演中不乏专业翻谱员的身影，视谱能力、共情能力、专业素质要求其必须是眼明手快的音乐高手，培训成本高，并且在人工翻谱情况下，多翻、忘翻、碰倒乐谱现象仍然时有发生，因此，市场上需要一种自动翻乐谱的装置来解决上述问题。

市面上现有乐谱辅助翻页装置普遍依赖脚踩踏板发送信号指示翻页，但钢琴、架子鼓、管风琴等诸多乐器演奏本就需要用脚控制，脚踏翻页方法仍然部分注意力的分散，人性化考虑上有待提升。另一个尚在研究阶段的方案为眼控翻页系统(TABONE A,BONNICI A,CRISTINA S.Automated Page Turner for Musicians[J].Frontiers in ArtificialIntelligence,2020,3.)，通过分析音乐家注视乐谱和乐器的方式，创建注视预测模型，该模型使用卡尔曼滤波来预测音乐家注视部分在乐谱上的位置，从而在演奏到当前页的结尾部分时，由系统判断并自动给出一个翻页信号。但该系统存在探测器跟踪眼睛注视位置时的固有噪声，并且精度受限于刚性的头部和眼睛运动。一方面，眼睛的监控对摄像头的分辨率提出了高要求，势必带来高造价。另一方面，对于演奏者而言，观看乐谱的需求和眼球的运动存在极大的随机性，包括注视时间和注视方式及方位的未知性，因此该方案仍然存在漏翻、错翻的可能性，智能性上仍有不足。

现有专利技术已经存在针对于乐谱自动翻页的一些方法，其中接近我们的方法的现有专利技术之一是申请号为CN202010797697.5的中国发明，公开了一种音乐乐谱自动翻页方法，该方法通过手动输入演奏音乐乐谱上下页衔接处的音符，通过声音传感器接收到的音调顺序与设置的一串音符一致时进行翻页。该方法存在的缺陷是：1)仅将上下页衔接处的音符音调作为判断条件，实际情况中稍复杂一点的乐谱均有大量重复段落，一串音符可能出现在乐谱的任何地方，因此该方法设置的翻页条件容易出现错翻、漏翻和多翻的情况，准确性不足；2)实际乐器演奏和练习中演奏者难免会出现弹奏错误的情况，简单的声音传感器不一定能完全识别弹奏音频，一旦有一个音符弹错或没有识别出来，该方法设置的翻页条件便无法被触发，容错性低；3)翻页条件里要设置的一串音符需要手动输入，实际情况中手动输入音符是一件很费时费力的工作，并且可能存在输入错误的情况，自动性仍然不足。

还有一种专利技术是申请号为CN201910837944.7的发明，公开了一种电子谱翻页方法，通过机器学习将弹奏的录制音频转换为电子乐谱片段，与在总的电子乐谱里进行比对，判断到达末尾时进行翻页，该方法存在的不足是：仅仅适用于包含了乐谱完整信息的电子谱，而无法适用于没有包含MIDI等计算机可读格式的电子乐谱图片和纸质乐谱图片，不具有通用性，实际使用中仍然需要手动输入乐谱完整的信息，并生成源音频作为参照标准，会耗费巨大的人力物力，缺少自动将所有乐谱转换为计算机可读格式的通用方法。

综上所述，目前尚缺乏一种电子乐谱与纸质乐谱通用的，具有高准确度和高容错性的全自动乐谱智能翻页方法。

发明内容

针对现有技术的不足，本申请实施例的目的是提供一种乐谱智能翻页方法及装置、电子设备、存储介质，以实现电子乐谱与纸质乐谱通用且具有高准确度和高容错性。