[发明专利]骨骼关键点编码方法、装置、电子设备及存储介质

说明书

本发明提供的骨骼关键点编码方法、装置、电子设备及存储介质，对于待处理的骨骼关键点帧，能够按照动物体拓扑结构对其中的多个骨骼关键点进行划分，进而基于划分所得到的至少一个骨骼关键点集合对该骨骼关键点帧的多个骨骼关键点进行维度重组和重编码。本发明中，骨骼关键点帧的编码结果中一个编码单位对应一个骨骼关键点集合，这就可以以动物体拓扑结构对骨骼关键点帧进行编码，这就显著降低了模型计算量，并且编码过程中考虑的是动物体拓扑结构间的相关关系、而非原编码只利用独立骨骼关键点间的关系，从而保证了编码的抗干扰能力。

技术领域

本发明涉及软件技术领域，更具体地说，涉及一种骨骼关键点编码方法、装置、电子设备及存储介质。

背景技术

基于transformer的行为识别模型是一种编码—解码结构的模型，该模型利用attention机制实现了并行化捕捉序列依赖，并且同时处理骨骼关键点序列的每个位置，这就使得模型在性能优异的同时大大减少了训练时间。

传统的编码方式是将所有骨骼关键点组合在一起再在时间上排序。譬如由T帧骨骼关键点(一帧骨骼关键点即一个骨骼关键点帧)组成的骨骼关键点序列、人体有N个骨骼关键点、并且每个骨骼关键点由3D坐标组成，则骨骼关键点序列可表示为。T×N×3这种编码方式用于基于transformer的行为识别模型存在如下两个问题：

1)模型内部会计算目标骨骼关键点与其他骨骼关键点间的相似度，进而将其他骨骼关键点的信息根据该相似度做加权融合到目标关键点。如此，模型的计算复杂度是骨骼关键点个数N的2次方，即O(N²)，这样当用所有骨骼关键点做模型输入时会消耗模型大量算力和内存。

2)骨骼关键点在采集过程中会有噪声随信号一起输入，导致骨骼关键点的坐标有较大波动。按照传统的编码方式，只利用相互独立的骨骼关键点的关系，会降低模型的鲁棒性。

发明内容

有鉴于此，为解决上述问题，本发明提供一种骨骼关键点编码方法、装置、电子设备及存储介质，技术方案如下：

本发明一方面提供一种骨骼关键点序列方法，所述方法包括：

获取待处理的骨骼关键点帧，所述待处理的骨骼关键点帧包含多个骨骼关键点；

按照动物体拓扑结构对所述多个骨骼关键点进行划分，得到至少一个骨骼关键点集合，一个骨骼关键点集合与一个动物体拓扑结构相对应；

基于所述至少一个骨骼关键点集合，对所述待处理的骨骼关键点帧的所述多个骨骼关键点进行维度重组和重编码，编码结果中一个编码单位对应一个骨骼关键点集合。

优选的，所述获取待处理的骨骼关键点帧，包括：

获取待处理的骨骼关键点序列，所述待处理的骨骼关键点序列由多个骨骼关键点帧所组成、且其中任意两个骨骼关键点帧包含类型相同的所述多个骨骼关键点，所述多个骨骼关键点帧中的每个骨骼关键点帧均可作为所述待处理的骨骼关键点帧；

相应的，所述方法还包括：

按照所述动物体拓扑结构对所述每个骨骼关键点帧对应的编码结果进行拼接，得到所述每个骨骼关键点帧对应的拓扑拼接结果；

按照每个骨骼关键点帧在所述多个骨骼关键点帧中的时序，对所述多个骨骼关键点帧各自对应的拓扑拼接结果进行拼接，得到所述骨骼关键点序列对应的序列编码。

优选的，所述动物体拓扑结构包括躯干、左臂、右臂、左腿、右腿中的一个或多个组织结构；

所述按照动物体拓扑结构对所述多个骨骼关键点进行划分，得到至少一个骨骼关键点集合，包括：

确定每个骨骼关键点所属的目标组织结构；