[发明专利]一种固定场景中的无监督人体关键点检测方法及系统

权利要求书

1.一种固定场景中的无监督人体关键点检测方法，其特征在于，所述方法包括：

获取相机阵列中不同拍摄视角的彩色相机同步拍摄的多个人物彩色图像样本；

构建卷积神经网络；所述卷积神经网络包括编码器和解码器；

采用卷积神经网络的编码器将每个人物彩色图像样本编码为样本热度图；

根据每个样本热度图，利用卷积神经网络的解码器，获得每个样本热度图对应的重建彩色图像；

选取重建彩色图像与人物彩色图像样本的重建效果和样本热度图的一致性作为损失函数，对所述卷积神经网络进行训练，获得训练好的卷积神经网络；

获取相机阵列采集的不同拍摄视角的待检测人物彩色图像；

将所述不同拍摄视角的待检测人物彩色图像输入训练好的卷积神经网络的编码器，获得不同拍摄视角的待检测人物热度图；

从不同拍摄视角的待检测人物热度图中提取待检测人物的人体关键点的三维坐标。

2.根据权利要求1所述的固定场景中的无监督人体关键点检测方法，其特征在于，所述卷积神经网络的编码器包括预处理模块、多尺度特征提取模块和归一化模块；

预处理模块由多级CONV-BN-RELU神经网络以线性顺序组成；其中，CONV表示卷积层，BN表示批量归一化层，RELU表示线性整流激活函数；

多尺度特征提取模块包含多级CONV-BN-RELU-MAXPOOL组成的尺度缩小模块和多级CONV-BN-RELU-UPSAMPLE组成的尺度放大模块；其中，MAXPOOL表示最大池化层，UPSAMPLE表示上采样；

所述卷积神经网络的解码器包括由多级CONV-BN-RELU组成的神经网络以及一个和原始图像尺寸相同、权重可变的张量。

3.根据权利要求1所述的固定场景中的无监督人体关键点检测方法，其特征在于，所述根据每个样本热度图，利用卷积神经网络的解码器，获得每个样本热度图对应的重建彩色图像，具体包括：

利用soft-argmax获得样本热度图中包含的多个人体关键点二维坐标；

以样本热度图中包含的每个人体关键点二维坐标为中心，对样本热度图对应的人物彩色图像样本进行可微分裁剪操作，获得人物彩色图像样本的裁剪子图；

将人物彩色图像样本的裁剪子图输入所述卷积神经网络的解码器，获得样本热度图对应的重建彩色图像。

4.根据权利要求3所述的固定场景中的无监督人体关键点检测方法，其特征在于，所述利用soft-argmax获得样本热度图中包含的多个人体关键点二维坐标，具体包括：

将所述样本热度图输入soft-argmax，利用公式获得样本热度图中包含的每个人体关键点二维坐标；

其中，(X_c,Y_c)为样本热度图中第c个人体关键点的二维坐标，为第c个人体关键点在样本热度图中像素(i,j)的概率，H为样本热度图的高，W为样本热度图的宽。

5.根据权利要求3所述的固定场景中的无监督人体关键点检测方法，其特征在于，所述以样本热度图中包含的每个人体关键点二维坐标为中心，对样本热度图对应的人物彩色图像样本进行可微分裁剪操作，获得人物彩色图像样本的裁剪子图，具体包括：

以样本热度图中包含的每个人体关键点二维坐标为中心，利用公式对样本热度图对应的人物彩色图像样本进行可微分裁剪操作，获得人物彩色图像样本的裁剪子图；

其中，y_c,i,j为裁剪子图的第c个通道在像素(i,j)的像素值，一个通道对应一个人体关键点，x_c,i,j为样本热度图第c个通道在像素(i,j)位置的像素值，(X_c,Y_c)为样本热度图中第c个人体关键点的二维坐标，σ为高斯分布的标准差。