[发明专利]一种固定场景中的无监督人体关键点检测方法及系统

说明书

本发明涉及一种固定场景中的无监督人体关键点检测方法及系统，利用相机阵列中不同拍摄视角的彩色相机同步拍摄的多个人物彩色图像样本对卷积神经网络进行训练，将不同拍摄视角的待检测人物彩色图像输入训练好的卷积神经网络的编码器，获得不同拍摄视角的待检测人物热度图，从不同拍摄视角的待检测人物热度图中即可提取待检测人物的人体关键点的三维坐标。本发明对卷积神经网络进行无监督训练，解决了神经网络的训练需要大量标注数据的问题，并利用卷积神经网络实现人体关键点的三维坐标的精确测量，解决了传统人体关键点监测时需要穿戴marker的问题。

技术领域

本发明涉及人体关键点检测技术领域，特别是涉及一种固定场景中的无监督人体关键点检测方法及系统。

背景技术

人体关键点检测在人机交互、虚拟现实、电影特效制作中扮演着重要的角色。目前，绝大部分人体关键点检测方案都采用了以下两种思路之一：1.由人物穿上若干特征明显的marker，再用传感器或特征检测算法检测marker的空间坐标；2.抛弃传统的基于传感器和特征检测的算法，事先由人工标注大量的彩色图像中的人体关键点位置，再用大量数据训练神经网络，最后使用训练好的神经网络检测人物的关键点。然而，这两种方法都有一定的缺陷。基于传感器和特征检测算法的方法由于需要人物穿戴marker，以及需要配套的传感器或特征检测算法，使用场景比较受限。另一方面，基于神经网络的方法，由于需要大量的人工标注数据训练，人工成本较大。近年来，随着神经网络技术的发展，无监督训练越来越受到人们的重视，因为它可以解决基于监督训练的神经网络需要大量标注数据的问题。但是，目前的无监督神经网络技术还局限在图像识别等计算机视觉的经典方向，如何将它与人体关键点检测结合起来，让其真正具备实用价值，是人体关键点检测领域的一个重要问题。

发明内容

本发明的目的是提供一种固定场景中的无监督人体关键点检测方法及系统，利用无监督神经网络技术实现人体关键点的三维坐标的精确测量，以解决传统人体关键点监测时需要穿戴marker的问题以及神经网络的训练需要大量标注数据的问题。

为实现上述目的，本发明提供了如下方案：

一种固定场景中的无监督人体关键点检测方法，所述方法包括：

获取相机阵列中不同拍摄视角的彩色相机同步拍摄的多个人物彩色图像样本；

构建卷积神经网络；所述卷积神经网络包括编码器和解码器；

采用卷积神经网络的编码器将每个人物彩色图像样本编码为样本热度图；

根据每个样本热度图，利用卷积神经网络的解码器，获得每个样本热度图对应的重建彩色图像；

选取重建彩色图像与人物彩色图像样本的重建效果和样本热度图的一致性作为损失函数，对所述卷积神经网络进行训练，获得训练好的卷积神经网络；

获取相机阵列采集的不同拍摄视角的待检测人物彩色图像；

将所述不同拍摄视角的待检测人物彩色图像输入训练好的卷积神经网络的编码器，获得不同拍摄视角的待检测人物热度图；

从不同拍摄视角的待检测人物热度图中提取待检测人物的人体关键点的三维坐标。

进一步地，所述卷积神经网络的编码器包括预处理模块、多尺度特征提取模块和归一化模块；

预处理模块由多级CONV-BN-RELU神经网络以线性顺序组成；其中，CONV表示卷积层，BN表示批量归一化层，RELU表示线性整流激活函数；

多尺度特征提取模块包含多级CONV-BN-RELU-MAXPOOL组成的尺度缩小模块和多级CONV-BN-RELU-UPSAMPLE组成的尺度放大模块；其中，MAXPOOL表示最大池化层，UPSAMPLE表示上采样；