[发明专利]一种音视频与钢琴动作同步装置及方法

说明书

技术领域

本发明涉及到自动演奏乐器领域，尤其涉及一种音视频与钢琴动作同步装置及方法。

背景技术

安装有自动演奏系统的钢琴能够实现根据指令自动弹奏钢琴，而不需要人演奏，是通过自动演奏系统来驱动钢琴琴键进行自动演奏。自动演奏系统储存有预先录制好的数字数据，这些数据是用来控制钢琴琴键及踏板弹下和复位的运动，包括弹下的速度和其它的一些信息。为了让这个系统演奏的更加丰富多彩，会播放预先录制好的音视频录音，并且音视频需要和钢琴同步演奏。为了保证在钢琴自动演奏时能够实现音视频与钢琴动作的同步，就需要在采集音视频和钢琴信息生成自动演奏文件时就保证音视频与钢琴动作的同步。

因此如何才能在采集音视频和钢琴信息生成自动演奏文件时，保证音视频与钢琴动作的同步，提高自动演奏系统的观赏性成为本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种音视频与钢琴动作同步装置，在采集音视频和钢琴信息生成自动演奏文件时，保证音视频与钢琴动作的同步，提高自动演奏系统的观赏性。

本发明提供一种音视频与钢琴动作同步装置，包括设置于移动终端上的音视频采集模块、数据处理模块、数据存储模块和移动终端数据收发模块，以及设置于钢琴上的钢琴动作采集模块和钢琴数据收发模块，其中：

所述钢琴动作采集模块，用于采集钢琴动作以及钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给钢琴数据收发模块；

所述钢琴数据收发模块，用于与移动终端数据收发模块进行数据交互；

所述移动终端数据收发模块，用于将接收到midi消息发送给数据处理模块；

所述音视频采集模块，用于采集钢琴演奏时的音视频信息，并发送给数据处理模块；

所述数据处理模块，用于将接收到的midi消息和音视频信息进行同步后生成为音乐文件，发送给数据存储模块；

所述数据存储模块，用于存储音乐文件。

优选地，所述将数据处理模块包括信息同步模块和文件生成模块，其中：

所述信息同步模块，用于将midi消息中时间戳和音视频信息每帧数据的时间戳相对应；

所述文件生成模块，用于将对应后的midi信息和音视频信息生成音视频信息在前midi消息在后的音乐文件。

优选地，所述信息同步模块包括粗调模块，用于确定收到第一个midi消息的时间戳与音视频信息的起始时刻的时间戳的整体偏移量。

优选地，所述信息同步模块还包括微调模块，用于确定对后续某个midi信息的时间戳和其对应的音视频信息时间戳的微调偏移量。

优选地，所述数据处理模块还包括文件解析模块，用于访问数据存储模块，将音乐文件分解为音视频信息和midi信息。

优选地，所述同步装置还包括设置于移动终端上的音视频播放模块和设置于钢琴上的钢琴控制指令执行模块，其中：

所述音视频播放模块与数据处理模块连接，用于接收文件解析模块的音视频信息并播放；

所述钢琴控制指令执行模块与钢琴数据收发模块相连接，文件解析模块将midi消息通过移动终端数据收发模块发送给钢琴数据收发模块，所述钢琴控制指令执行模块接收钢琴数据收发模块接收到midi消息，并对钢琴进行控制演奏乐曲。

优选地，所述粗调模块，还用于确定midi消息的播放起始时间早于音视频信息的播放起始时间。

优选地，所述微调模块，还用于当所述钢琴控制指令执行模块控制的钢琴的演奏动作与音视频信息不对应时，确定音视频信息播放暂停等待时间。

优选地，所述音视频播放模块以24帧/分的速度播放音视频信息。

本发明的又一个方面，还提供一种音视频与钢琴动作同步方法，包括以下步骤：

步骤1： 采集钢琴动作以及钢琴动作对应的时间戳，并将采集到的信息以midi消息的形式发送给移动终端；

步骤2：移动终端采集钢琴演奏时的音视频信息；

步骤3：移动终端将接收到的midi消息和音视频信息进行同步后生成为音乐文件并进行存储。

本发明提供的音视频与钢琴动作同步装置及方法，在采集音视频和钢琴信息生成自动演奏文件时，保证音视频与钢琴动作的同步，从而提高自动演奏系统的观赏性。

附图说明

图1为本发明提供的一种音视频与钢琴动作同步装置的结构示意图；

图2为本发明提供的一种数据处理模块的结构示意图；

图3为本发明提供的一种音视频与钢琴动作同步方法的流程图。