[发明专利]一种基于人机交互的控制方法、装置、设备及存储介质

权利要求书

1.一种基于人机交互的控制方法，其特征在于，包括：

根据采集到的屏幕前的至少两帧的候选视频帧，确定所述候选视频帧中是否存在起始帧；其中，所述至少两帧的候选视频帧为连续的视频帧；

若存在，则采集所述起始帧后至少两帧的视频帧作为判断帧，获取所述判断帧中目标部位的姿态信息；其中，所述姿态信息包括位置坐标和朝向角度；

根据所述判断帧中目标部位的姿态信息，基于预设的视频播放规则，控制目标视频进行播放；

根据采集到的屏幕前的至少两帧的候选视频帧，确定所述候选视频帧中是否存在起始帧，包括：

将获取的屏幕前的至少两帧的视频帧作为候选视频帧；

根据预设的图片整体判定规则，确定所述候选视频帧中的是否存在目标对象，所述目标对象为用户；

若存在，则根据预设的图片识别模型为所述候选视频帧的图片内容进行评分；

根据评分结果，判断所述候选视频帧中是否存在起始帧；

根据预设的图片识别模型为所述候选视频帧的图片内容进行评分，包括：

根据图片识别模型识别候选视频帧中是否存在预设的与所述用户对应的身体部位，候选视频帧中识别出的预设身体部位越多，则该候选视频帧的评分就越高；

根据评分结果，判断所述候选视频帧中是否存在起始帧，包括：

选择评分结果最高的候选视频帧作为起始帧；若存在多个候选视频帧的评分结果最高，则将评分结果最高且获取时间在前的候选视频帧作为起始帧。

2.根据权利要求1所述的方法，其特征在于，根据评分结果，判断所述候选视频帧中是否存在起始帧，还包括：

将所述候选视频帧的评分结果与预设的评分阈值进行比较；

若所述候选视频帧的评分结果大于所述评分阈值，则确定所述候选视频帧为起始帧。

3.根据权利要求1所述的方法，其特征在于，根据所述判断帧中目标部位的姿态信息，基于预设的视频播放规则，控制目标视频进行播放，包括：

根据至少两帧判断帧中目标部位的位置坐标和所述判断帧的获取时间，确定目标部位的运动速度；

根据预设的视频播放规则和目标部位的运动速度，确定目标视频中声音或动态图像的播放速度。

4.根据权利要求1所述的方法，其特征在于，根据所述判断帧中目标部位的姿态信息，基于预设的视频播放规则，控制目标视频进行播放，还包括：

根据预设帧中目标部位的位置坐标，确定目标部位在所述预设帧中的高度位置；其中，所述预设帧为所述判断帧中的视频帧；

根据所述目标部位的高度位置和预设的音量控制规则，确定所述目标视频的播放音量。

5.根据权利要求1所述的方法，其特征在于，所述目标视频为乐队演奏动画，所述乐队演奏动画的界面中划分有至少两种乐器的乐器区域；

相应地，根据所述判断帧中目标部位的姿态信息，基于预设的视频播放规则，控制目标视频进行播放，包括：

根据所述判断帧中目标部位的朝向角度，确定可视化界面中的目标乐器区域；

控制所述目标乐器区域中的目标形象按照预设动画进行动作的播放。

6.根据权利要求5所述的方法，其特征在于，在根据所述判断帧中目标部位的朝向角度，确定可视化界面中的目标乐器区域之后，还包括：

根据预先存储的音乐与乐器的关联关系，确定与目标乐器关联的目标音乐，并播放所述目标音乐。

7.根据权利要求5所述的方法，其特征在于，所述乐队演奏动画的界面中显示虚拟指挥家，所述虚拟指挥家面向乐器，背向用户，所述虚拟指挥家手中设置有指挥棒；

相应地，根据所述判断帧中目标部位的姿态信息，基于预设的视频播放规则，控制目标视频进行播放，还包括：

根据所述判断帧中目标部位的高度位置，确定虚拟指挥家手中指挥棒的高度；

根据所述判断帧中目标部位的朝向角度，确定虚拟指挥家的朝向角度。