[发明专利]一种多人姿态估计方法及相关装置

权利要求书

1.一种多人姿态估计方法，其特征在于，所述的方法包括：

获取包含人的目标图像的多条特征向量，并基于所述多条特征向量确定所述目标图像对应的多条初始人体查询，其中，所述初始人体查询包括初始人体特征查询和初始人体位置查询；将多条初始人体查询及多条特征向量输入第一解码器，利用第一解码器的注意力机制学习到各初始人体查询对应的目标人体查询，其中，所述目标人体查询包括目标人体特征查询和目标人体位置查询；

基于每条目标人体查询确定若干初始人体-关键点查询，以得到多条初始人体-关键点查询，其中，所述初始人体-关键点查询包括初始人体-关键点特征查询和初始人体-关键点位置查询；将多条初始人体-关键点查询及多条特征向量输入第二解码器，利用第二解码器的注意力机制学习到各初始人体-关键点查询对应的目标人体-关键点查询，其中，所述目标人体-关键点查询包括目标人体-关键点特征查询和目标人体-关键点位置查询；

基于多条目标人体-关键点查询，确定目标人体以及目标人体对应的人体姿态；

其中，所述将多条初始人体查询及多条特征向量输入第一解码器，利用第一解码器的注意力机制学习到各初始人体查询对应的目标人体查询之后，所述方法还包括：

对各初始人体查询对应的目标人体查询进行筛选，并将筛选得到的目标人体查询作为目标人体查询。

2.根据权利要求1所述多人姿态估计方法，其特征在于，所述获取包含人的目标图像的多条特征向量具体包括：

获取包含人的目标图像的若干特征图，其中，若干特征图的图像尺寸不同；

将若干特征图划分为多条候选特征向量，并通过Transformer编码器将各候选特征向量与各候选特征向量的位置嵌入相结合，以得到多条特征向量。

3.根据权利要求1所述多人姿态估计方法，其特征在于，所述基于所述多条特征向量确定目标图像对应的多条初始人体查询具体包括：

对多条特征向量进行人体筛选以得到多条初始人体特征查询，其中，多条初始人体特征查询的数量少于多条特征向量的数量；

将多条初始人体特征查询输入预先训练的第一前馈网络，通过所述第一前馈网络确定各初始人体特征查询对应的初始人体位置查询，以得到多条初始人体查询。

4.根据权利要求1所述多人姿态估计方法，其特征在于，所述注意力机制包括自注意力机制和交叉注意力机制；所述将多条初始人体查询及多条特征向量输入第一解码器，利用第一解码器的注意力机制学习到各初始人体查询对应的目标人体查询具体包括：

将多条初始人体查询及多条特征向量输入第一解码器；

利用第一解码器的自注意力机制对初始人体查询进行学习，以得到多条更新人体特征查询；利用第一解码器的交叉注意力机制对更新人体特征查询、初始人体位置查询以及多条特征向量进行学习，以得到目标人体特征查询；

基于目标人体特征查询确定四维偏移量，并基于确定的四维偏移量及初始人体位置查询确定目标人体位置查询，以得到多条目标人体查询。

5.根据权利要求1所述多人姿态估计方法，其特征在于，所述基于每条目标人体查询确定若干初始人体-关键点查询，以得到多条初始人体-关键点查询具体包括：

对于每条目标人体查询，将所述目标人体查询中的目标人体特征查询与预设特征向量进行逐点相加，以得到初始关键点特征查询；

基于所述目标人体特征查询确定若干二维关键点坐标，并分别将各二维关键点坐标与预设位置向量拼接得到若干初始关键点位置查询，其中，所述预设位置向量为所述预设特征向量与所述目标人体查询中的目标人体位置查询中的二维尺寸向量的向量乘积；

基于各初始关键点位置查询与初始关键点特征查询，确定若干初始关键点查询，并基于目标人体查询与若干初始关键点查询确定若干初始人体-关键点查询，以得到多条目标人体查询对应的多条初始人体-关键点查询。

6.根据权利要求5所述多人姿态估计方法，其特征在于，所述初始关键点位置查询用于反映关键点对应的检测框信息，其中，初始关键点位置查询的维度为4。