[发明专利]一种基于AR和人工智能的音乐线上教育演示方法及系统

权利要求书

1.一种基于AR和人工智能的音乐线上教育演示方法，其特征在于，包括：

建立包含所有曲谱的琴键状态及琴键被按下时不同力度的曲谱时序数据库；

从曲谱时序数据库中获得当前教学曲谱的曲谱时序，根据当前教学曲谱的曲谱时序获得琴键开始被按下的时刻；

根据不同力度下琴键开始被按下的时刻的手指位置变化轨迹，建立手指位移模型；

获取在演奏时琴键被按下时的手指按键轨迹，并确定该琴键被按下的力度对应的手指位移模型，根据手指按键轨迹和对应的手指位移模型得到琴键被按下时的关键时间点；

利用得到的关键时间点确定出该琴键被按下到手指离开琴键的时间段；

获取在演奏过程中所有琴键被按下到手指离开的时间段并加载到对应的曲谱时序中得到新曲谱数据；

根据新曲谱数据生成按照曲谱演奏时的AR特效进行教学演示。

2.根据权利要求1所述一种基于AR和人工智能的音乐线上教育演示方法，其特征在于，所述手指位移模型的建立包括：

获取进行演示时的视频，根据演示时的视频逐帧获取演示时的图像；

利用分割网络获得所有琴键在所述演示时图像中的位置；

利用神经网络获取所述图像中的指尖的位置坐标；

识别所述琴键开始被按下时刻所对应的按下琴键的手指；

对琴键被按下时指尖位置的变化进行标准化，并根据标准化后的指尖位置的变化得到手指位置变化轨迹；

获取同一力度下手指变化轨迹的手指位移模型，并得到所有力度的手指位移模型。

3.根据权利要求2所述一种基于AR和人工智能的音乐线上教育演示方法，其特征在于，所述对指尖位置的变化进行标准化的方法包括：

式中p_i+1指第(i+1)帧图像中按下琴键的手指的指尖坐标，v_max指琴键在像素坐标系中v轴最大值，v_min指琴键在像素坐标系中v轴最小值，v_i指的是第i帧图像中按下琴键的手指的指尖坐标的v轴值，v_i+1指的是第(i+1)帧图像中按下琴键的手指的指尖坐标的v轴值。

4.根据权利要求2所述一种基于AR和人工智能的音乐线上教育演示方法，其特征在于，所述同一力度下手指变化轨迹的手指位移模型的获取方法包括：

获得某一力度下的琴键开始被按下的时刻手指变化轨迹，不同琴键及不同手指所对应的手指变化轨迹的重叠部分为该力度下手指位移模型。

5.根据权利要求1所述一种基于AR和人工智能的音乐线上教育演示方法，其特征在于，所述关键时间点的获取方法包括：

获取琴键被按下时刻的手指标准变化向量，选择与当前力度相对应的手指位移模型，根据该时刻的手指标准变化向量在手指位移模型中的位置得到关键时间点。

6.根据权利要求5所述一种基于AR和人工智能的音乐线上教育演示方法，其特征在于，所述手指标准变化向量的获取过程包括：

获取手指位移模型建立后的教学视频，并根据所述教学视频提取得到琴键被按下时刻的前一帧图像与琴键被按下时刻的后一帧图像，利用神经网络获得前一帧图像中指尖位置以及后一帧图像中指尖位置，计算后一帧图像中指尖位置与前一帧图像中指尖位置的差值向量，将所述差值向量标准化得到手指标准变化向量。

7.根据权利要求1所述一种基于AR和人工智能的音乐线上教育演示方法，其特征在于，所述AR特效的生成过程包括：

用粒子代替手指进行运动，所述粒子大小与当前琴键被按下的力度大小成正相关，所述粒子在不同琴键之间的运动以抛物线的形式呈现。

8.一种基于AR和人工智能的音乐线上教育演示系统，其特征在于，包括：

教师端、储存端、处理端及学生端；

所述教师端用于记录所有曲谱中琴键状态及琴键被按下时不同力度，得到曲谱时序数据并发送给储存端；采集演奏开始时曲谱的演奏声纹信息并发送给储存端；采集得到琴键区域视频及演奏时的视频并发送给储存端；

所述储存端用于储存教师端及处理端发送的数据，并接受处理端对数据的调用；

所述处理端用于调用储存端所储存的数据；

建立包含所有曲谱的曲谱时序数据库并发送给储存端；获得当前教学曲谱的曲谱时序，根据当前教学曲谱的曲谱时序获得琴键开始被按下的时刻；

根据不同力度下琴键开始被按下的时刻的手指位置变化轨迹，建立手指位移模型；获取在演奏时琴键被按下时的手指按键轨迹，并确定该琴键被按下的力度对应的手指位移模型，根据手指按键轨迹和对应的手指位移模型得到琴键被按下时的关键时间点；

利用得到的关键时间点确定出该琴键被按下到手指离开琴键的时间段；获取在演奏过程中所有琴键被按下到手指离开的时间段并加载到对应的曲谱时序中得到新曲谱数据；

根据新曲谱数据生成AR数据并发送给学生端；

所述学生端用于根据处理发送的AR数据在显示设备上呈现出AR特效。