[发明专利]动作关键点确定方法、装置、系统、电子设备及存储介质

权利要求书

1.一种动作关键点确定方法，其特征在于，包括：

将卷积特征图和对象关键点热力图进行帧内融合，以生成空域特征融合图，其中，所述卷积特征图通过对视频段逐帧进行卷积特征提取而生成，所述对象关键点热力图通过对所述视频段逐帧进行对象关键点检测而生成；

将所述空域特征融合图沿着时序维度进行堆叠，以生成时空综合特征图；

基于所述时空综合特征图和目标对象的时空检测框，生成所述目标对象的时空热力图；

基于所述目标对象的时空热力图，确定所述视频段中所述目标对象的动作关键点的时间信息和位置信息。

2.根据权利要求1所述的方法，其特征在于，在所述将卷积特征图和对象关键点热力图进行帧内融合，以生成空域特征融合图之前，所述方法还包括：

对所述视频段的每个视频帧进行N个阶段的特征提取，以生成N个卷积特征图，所述N个阶段的采样尺度不同，N为大于1的整数；

将所述N个卷积特征图缩放至目标尺度，以得到N个目标卷积特征图；

将所述N个目标卷积特征图在通道维度进行合并，以生成所述卷积特征图。

3.根据权利要求2所述的方法，其特征在于，所述将卷积特征图和对象关键点热力图进行帧内融合，以生成空域特征融合图，包括：

将所述卷积特征图和缩放至所述目标尺度的所述对象关键点热力图在通道维度进行融合，以生成所述空域特征融合图。

4.根据权利要求1所述的方法，其特征在于，所述将所述空域特征融合图沿着时序维度进行堆叠，以生成时空综合特征图，包括：

将所述视频段在时序维度上拆分成T个片段，所述T个片段的相邻片段的边界重合，T为大于1的整数；

分别对所述T个片段对应的空域特征融合图沿着时序维度进行堆叠，以生成T个时空综合特征子图；

将所述T个时空综合特征子图进行合并，以得到所述时空综合特征图。

5.根据权利要求1所述的方法，其特征在于，所述基于所述时空综合特征图和目标对象的时空检测框，生成所述目标对象的时空热力图，包括：

获取所述时空综合特征图中位于第一时空检测框内的特征信息，以得到所述目标对象的结构特征和所述目标对象的卷积特征，所述第一时空检测框为所述目标对象的时空检测框；

将所述目标对象的结构特征和所述目标对象的卷积特征融合后多层瓶颈卷积处理，以生成所述目标对象的时空热力图。

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的时空热力图，确定所述视频段中所述目标对象的动作关键点的时间信息和位置信息，包括：

基于所述目标对象的时空热力图的热度值，确定所述目标对象的时空热力图的M个区块，M为大于获等于1的整数；

确定所述M个区块中热度值满足预设条件的目标热度点；

基于所述M个区块的目标热度点，确定所述视频段中所述目标对象的动作关键点的时间信息和位置信息。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标对象的时空热力图的热度值，确定所述目标对象的时空热力图的M个区块，包括：

剔除所述目标对象的时空热力图中热度值小于预设阈值的区域；

对所述目标对象的时空热力图的剩余区域进行聚类，以得到所述M个区块。

8.一种动作关键点确定装置，其特征在于，包括：

融合模块，用于将卷积特征图和对象关键点热力图进行帧内融合，以生成空域特征融合图，其中，所述卷积特征图通过对视频段逐帧进行卷积特征提取而生成，所述对象关键点热力图通过对所述视频段逐帧进行对象关键点检测而生成；

堆叠模块，用于将所述空域特征融合图沿着时序维度进行堆叠，以生成时空综合特征图；

生成模块，用于基于所述时空综合特征图和目标对象的时空检测框，生成所述目标对象的时空热力图；

确定模块，用于基于所述目标对象的时空热力图，确定所述视频段中所述目标对象的动作关键点的时间信息和位置信息。