[发明专利]一种基于AR和人工智能的音乐线上教育演示方法及系统

说明书

本发明公开了一种基于AR和人工智能的音乐线上教育演示方法及系统，包括：建立琴键状态及琴键被按下时力度的曲谱时序数据库；获得当前教学曲谱的曲谱时序及琴键开始被按下的时刻；根据不同力度下琴键开始被按下的时刻的手指位置变化轨迹建立手指位移模型；获取琴键被按下时的手指按键轨迹，根据手指位移模型得到关键时间点；利用关键时间点确定该琴键被按下到手指离开琴键的时间段；将所有琴键被按下到手指离开的时间段加载到对应的曲谱时序中得到新曲谱数据；根据新曲谱数据生成AR特效进行教学演示。手指位移模型建立之后无需进行逐帧分析，减少了处理器的运算量；生成的特效强调演奏的指法、节奏和力度，有助于学生更加直观有效的进行学习。

技术领域

本申请涉及人工智能领域，具体涉及一种基于AR和人工智能的音乐线上教育演示方法及系统。

背景技术

因不同于传统的一对一教学且不受时间和空间的限制，音乐线上教育受到了大家的欢迎。音乐教育需要知识和技能相结合，在音乐教育领域专注于线上视频教学的部分占据了很大的比例，但受限于教师与学生之间互动的局限性，在线授课过程中教师没有办法通过视频对学生进行纠正；另一方面，在视频授课过程中，学生无法清楚地看到教师的弹琴过程，更无法准确领会教师的授课精髓。

现有技术通过手机或者平板拍摄的视频，对视频中教师的动作进行分析，在学生端的手机或平板中根据教师的动作显示AR特效，但这种方法在实际使用时需要提前分析教师演示时的视频，在一对一授课时教师会针对不同学生的实际情况做针对性教学，如果未提前准备好教学视频将无法生成特效，存在局限性。

发明内容

针对上述技术问题，本发明提出了一种基于AR和人工智能的音乐线上教育方法及演示系统。

第一方面，本文提出了一种基于AR和人工智能的音乐线上教育演示方法，包括：

建立包含所有曲谱的琴键状态及琴键被按下时不同力度的曲谱时序数据库；

从曲谱时序数据库中获得当前教学曲谱的曲谱时序，根据当前教学曲谱的曲谱时序获得琴键开始被按下的时刻；

根据不同力度下琴键开始被按下的时刻的手指位置变化轨迹，建立手指位移模型；

获取在演奏时琴键被按下时的手指按键轨迹，并确定该琴键被按下的力度对应的手指位移模型，根据手指按键轨迹和对应的手指位移模型得到琴键被按下时的关键时间点；

利用得到的关键时间点确定出该琴键被按下到手指离开琴键的时间段；

获取在演奏过程中所有琴键被按下到手指离开的时间段并加载到对应的曲谱时序中得到新曲谱数据；

根据新曲谱数据生成按照曲谱演奏时的AR特效进行教学演示。

进一步地，所述手指位移模型的建立包括：

获取进行演示时的视频，根据演示时的视频逐帧获取演示时的图像；

利用分割网络获得所有琴键在所述演示时图像中的位置；

利用神经网络获取所述图像中的指尖的位置坐标；

识别所述琴键开始被按下时刻所对应的按下琴键的手指；

对琴键被按下时指尖位置的变化进行标准化，并根据标准化后的指尖位置的变化得到手指位置变化轨迹；

获取同一力度下手指变化轨迹的手指位移模型，并得到所有力度的手指位移模型。

进一步地，所述对指尖位置的变化进行标准化的方法包括：