[发明专利]动作识别方法、人机交互方法、装置及存储介质

权利要求书

1.一种动作识别方法，其特征在于，所述方法包括：

从目标视频中提取多个目标窗口，所述多个目标窗口中的每个目标窗口包括第一预设数量的连续视频帧；

对所述每个目标窗口中的视频帧进行动作识别，得到所述每个目标窗口的第一动作特征信息，所述第一动作特征信息用于描述所述目标窗口包含的动态动作；

所述第一动作特征信息为包括M个第一动作向量的第一动作矩阵，预设特征信息为包括N个预设动作向量的预设动作矩阵，M和N为正整数，

创建相似度矩阵，所述相似度矩阵的行数为M、列数为N，或者行数为N、列数为M；

对于与第i个第一动作向量和第j个预设动作向量对应的指定位置，获取第一位置、第二位置和第三位置的相似度中的最大相似度与所述第i个第一动作向量与所述第j个预设动作向量之间的相似度的和，作为所述指定位置的相似度，所述第一位置为与第i-1个第一动作向量和第j个预设动作向量对应的位置，所述第二位置为与第i-1个第一动作向量和第j-1个预设动作向量对应的位置，所述第三位置为与第i个第一动作向量和第j-1个预设动作向量对应的位置，i为不小于1且不大于M的正整数，j为不小于1且不大于N的正整数；

将所述相似度矩阵中与第M个第一动作向量和第N个预设动作向量对应的位置的相似度确定为所述第一动作特征信息与所述预设特征信息之间的相似度，所述预设特征信息用于描述预设动态动作；

当获取到的多个相似度中最大的第一相似度大于第一预设阈值，且所述第一相似度与第二相似度之间的差值大于第二预设阈值时，确定所述第一相似度对应的第一目标窗口包含的动态动作为所述预设动态动作，所述第二相似度为与所述第一目标窗口相邻的目标窗口对应的相似度。

2.根据权利要求1所述的方法，其特征在于，所述从目标视频中提取多个目标窗口，包括：

从所述目标视频中提取多个视频帧；

以所述第一预设数量作为每个目标窗口中的视频帧数量，以第二预设数量作为任两个相邻的目标窗口包含的相同视频帧的数量，对所述多个视频帧进行划分，得到所述多个目标窗口。

3.根据权利要求1所述的方法，其特征在于，所述对所述每个目标窗口中的视频帧进行动作识别，得到所述每个目标窗口的第一动作特征信息，包括：

对于所述每个目标窗口中的每个视频帧，提取所述视频帧中的多个身体关键点；

根据所述多个身体关键点的分布情况，对所述视频帧进行动作识别，得到所述视频帧的第二动作特征信息，所述第二动作特征信息用于描述所述视频帧包含的静态动作；

分别将所述每个目标窗口中的视频帧的第二动作特征信息进行组合，得到所述每个目标窗口的第一动作特征信息。

4.根据权利要求3所述的方法，其特征在于，所述预设动态动作由至少两个预设身体部位做出；所述根据所述多个身体关键点的分布情况，对所述视频帧进行动作识别，得到所述视频帧的第二动作特征信息，包括以下至少一项：

根据所述多个身体关键点在所述视频帧中的坐标以及所述多个身体关键点所属的身体部位，确定所述视频帧中任两个预设身体部位之间的角度，作为所述第二动作特征信息；

获取所述多个身体关键点中至少一个身体关键点与参考视频帧中对应的身体关键点之间的位移量，作为所述第二动作特征信息，所述参考视频帧在所述视频帧之前，且与所述视频帧相隔第三预设数量的视频帧；

获取任两个预设身体部位中的参考身体部位的尺寸，以及所述任两个预设身体部位之间的距离，将所述距离与所述参考身体部位的尺寸之间的比例作为所述第二动作特征信息。

5.根据权利要求1所述的方法，其特征在于，所述从目标视频中提取多个目标窗口，所述多个目标窗口中的每个目标窗口包括第一预设数量的连续视频帧之前，所述方法包括：

通过配置的摄像头拍摄用户的动作视频，作为所述目标视频；

所述当获取到的多个相似度中最大的第一相似度大于第一预设阈值，且所述第一相似度与第二相似度之间的差值大于第二预设阈值时，确定所述第一相似度对应的第一目标窗口包含的动态动作为所述预设动态动作之后，所述方法还包括：

执行与所述预设动态动作对应的交互操作。