[发明专利]一种基于音视频信息的自动音乐记谱方法及系统

摘要

本发明涉及一种基于音视频信息的自动音乐记谱方法及系统，所述方法包含：采集钢琴演奏的视频和音频数据；依据采集的视频信息用视频跟踪算法获取手部在钢琴上的所有位置信息，根据所述手部位置信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据视频采集信息获得钢琴弹奏的音符备选范围序列集，简称“视频音符备选范围序列集”；对采集的音频信息采用音频自动音乐记谱算法获取演奏者所演奏的弹奏音符的基频信息，根据基频信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息；将同步后的视频音符备选范围序列集和音频音符备选范围序列集取交集确定演奏的所有音符及这些音符的各个音符对应的弹奏时刻信息。

主权项

一种基于音视频信息的自动音乐记谱方法，该方法采用多媒体技术自动完成钢琴弹奏者的音乐记谱，所述方法包含如下步骤：步骤101)录制并采集钢琴演奏的视频和音频数据，用于同步处理分析；步骤102)依据采集的视频信息采用视频跟踪算法获取手部在钢琴上的所有位置信息，根据所述手部位置信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据视频采集信息获得钢琴弹奏的音符备选范围序列集，简称“视频音符备选范围序列集”；步骤103)对采集的音频信息采用音频自动音乐记谱算法获取演奏者所演奏的弹奏音符的基频信息，根据所述的基频信息确定演奏者所演奏的弹奏音符和各弹奏音符对应的弹奏时刻信息，即依据音频采集信息获取钢琴弹奏的音符备选范围序列集，简称“音频音符备选范围序列集”；步骤104)将步骤102)获得的各个弹奏音符的所有手部位置信息和步骤103)获得的各弹奏音符的基频信息在时间上逐一进行对齐，并对对齐后的视频音符备选范围序列集和音频音符备选范围序列集取交集最终确定演奏者演奏的所有音符及这些音符的各个音符对应的弹奏时刻信息，完成对钢琴演奏的自动音乐记谱；其中，所述弹奏时刻信息包含：各个音符的开始弹奏时刻及持续时间。