[发明专利]动态人体姿态的语义理解方法、装置、设备和存储介质

权利要求书

1.一种动态人体姿态的语义理解方法，其特征在于，包括：

从获取的视频流图像帧中识别目标人物；

根据所述视频流中的指令图像帧，将相邻指令图像帧之间的非指令图像帧序列确定为语义图像帧序列，其中，所述指令图像帧为目标人物出现指令姿态的图像帧；

根据所述语义图像帧序列中的姿态识别对应的语义，其中，所述语义图像帧序列中的姿态是依据时间顺序组成的连续姿态，所述连续姿态表达一个完整语义指令。

2.根据权利要求1所述的方法，其特征在于，所述根据所述语义图像帧序列中的姿态识别对应的语义，包括：

将所述语义图像帧序列中的连续姿态输入循环神经网络，根据预先得到的动态姿态识别模型分类出所述语义图像帧序列对应的语义，所述动态姿态识别模型包括多个连续姿态和其表达的语义之间的对应关系。

3.根据权利要求1所述的方法，其特征在于，在所述根据所述视频流中的指令图像帧，将相邻指令图像帧之间的非指令图像帧序列确定为语义图像帧序列之前，还包括：

将所述视频流图像帧中连续出现所述指令姿态的图像帧进行合并,作为一个所述指令图像帧；或者，

保留所述视频流图像帧中连续出现所述指令姿态的图像帧的第一帧或最后一帧，作为所述指令图像帧。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述从获取的视频流图像帧中识别目标人物，包括：

对所述视频流图像帧进行特征提取，将提取出来的所述特征与目标检测模型进行匹配，根据匹配结果确定所述目标人物。

5.根据权利要求4所述的方法，其特征在于，所述目标检测模型包括以下任一种或几种信息：

所述目标人物的外貌特征信息；

所述目标人物的衣着信息；

所述目标人物的位置信息；

所述目标人物在所述图像帧中的面积占比信息。

6.根据权利要求1-3中任一项所述的方法，其特征在于，在所述根据所述视频流中的指令图像帧，将相邻指令图像帧之间的非指令图像帧序列确定为语义图像帧序列之前，还包括：

对所述视频流中的图像帧进行目标人物人体姿态识别；

将识别到的人物姿态与设定指令姿态进行匹配，并根据匹配结果确定所述指令图像帧。

7.根据权利要求6所述的方法，其特征在于，所述对所述视频流中的图像帧进行目标人物人体姿态识别，包括：

通过图像识别确定人物的身体关键部位对应的关键点，并获得关键点的连线；

根据所述关键点和所述关键点的连线，确定人物的姿态。

8.根据权利要求1-3中任一项所述的方法，其特征在于，所述指令图像帧包括符合起始指令姿态的起始指令图像帧和符合终止指令姿态的终止指令图像帧，所述相邻指令图像帧为起始指令图像帧和终止指令图像帧。

9.根据权利要求1所述的方法，其特征在于，在所述根据所述语义图像帧序列中的姿态识别对应的语义之后，还包括：

根据所述语义确定对应的控制指令，并执行所述控制指令；

其中，所述目标人物为交通警察，所述控制指令为交通手势；或所述目标人物为游戏玩家，所述控制指令为游戏姿势。

10.一种动态人体姿态的语义理解装置，其特征在于，包括：

人物识别模块，用于从获取的视频流图像帧中识别目标人物；

待识别图像帧序列确定模块，用于根据所述视频流中的指令图像帧，将相邻指令图像帧之间的非指令图像帧序列确定为语义图像帧序列，其中，所述指令图像帧为目标人物出现指令姿态的图像帧；

语义识别模块，用于根据所述语义图像帧序列中的姿态识别对应的语义，其中，所述语义图像帧序列中的姿态是依据时间顺序组成的连续姿态，所述连续姿态表达一个完整语义指令。