[发明专利]基于掩码-RCNN进行稠密人体姿态估计的系统及方法

权利要求书

1.基于掩码-RCNN进行稠密人体姿态估计的系统，其特征在于，包括：

目标检测模块，用于获取精确的目标检测框，其包括两个串行的均包括1024个通道的全连接层以及紧接的两个并行的分别包括2个通道的和8个通道的全连接层；

语义分割模块，用于对目标检测框的检测对象进行语义分割，获得语义分割掩码，其包括用于产生一个特征图的4个连续的3*3卷积层以及用于对产生的特征图进行线性上采样的两个4*4反卷积层，在两个4*4反卷积层后还连接有用于调整上采样得到的热力图的通道数的维度分别为3*3和1*1的两个卷积层；

实例分割模块，用于对语义分割掩码进行处理获得人体实例分割掩码，其包括4个连续的3*3卷积层以及紧接的上采样模块，所述上采样模块包括两个4*4反卷积层；

稠密姿态估计模块，用于建立RGB图像与3D人体表面模型的关系，并输出3D人体部件索引和3D人体表面模型上的UV坐标，从而将RGB图像上的纹理信息映射到3D人体表面模型上；其包括8个串行的3*3卷积层以及3个并行的输出部件，所述3个并行的输出部件分别用于输出3D人体部件的索引，3D人体部件上的U坐标和V坐标；

所述语义分割模块，在训练时通过定义语义分割损失函数通过将图片中所有的人当成前景来对整个网络进行中继监督，最后输出语义分割掩码；

所述实例分割模块，在训练时分别最小化两个像素级别的交叉熵函数损失函数得到语义分割掩码和实例分割掩码，其中实例分割损失函数把语义分割掩码中指定的人当成前景，其他人当成背景，分别生成人体实例分割掩码。

2.如权利要求1所述的基于掩码-RCNN进行稠密人体姿态估计的系统，其特征在于，

所述目标检测模块以小特征图作为输入，所述小特征图的获取方法为：

采用特征金字塔网络结构作为基本网络，从输入图片中提取出一个特征图，输入到感兴趣区排列池化层中，通过池化操作从特征图中的感兴趣区域提取出低维度的小特征图。

3.如权利要求2所述的基于掩码-RCNN进行稠密人体姿态估计的系统，其特征在于，

所述通过池化操作从特征图中的感兴趣区域提取出低维度的小特征图具体包括：在感兴趣区映射到特征图后，将候选区域分割成n*n个单元，在每个单元上固定4个点，分别用双线性插值计算出每个点的位置，然后再进行最大池化操作。

4.如权利要求1所述的基于掩码-RCNN进行稠密人体姿态估计的系统，其特征在于，

所述目标检测模块，在训练时分别使用一个像素级别的交叉熵损失函数用于对人的分类以及使用一个Smooth L1 Loss函数用于目标检测框的回归计算。

5.如权利要求1所述的基于掩码-RCNN进行稠密人体姿态估计的系统，其特征在于，

所述稠密姿态估计模块，在训练时使用像素级交叉熵损失函数进行部件分类来得到3D人体部件索引，并训练两个Smooth L1 Loss函数得到U坐标和V坐标。

6.基于掩码-RCNN进行稠密人体姿态估计的方法，应用于如权利要求1-5任意一项所述的系统中，其特征在于，包括以下步骤：

a.从输入图片中提取出一个特征图，输入到感兴趣区排列池化层中，通过池化操作从特征图中的感兴趣区域提取出低维度的小特征图；

b.将所述低维度的小特征图输入至目标检测模块，获取精确的目标检测框；

c.语义分割模块对目标检测框的检测对象进行语义分割，获得语义分割掩码；

d.实例分割模块对语义分割掩码进行处理获得人体实例分割掩码；

e.稠密姿态估计模块建立RGB图像与3D人体表面模型的关系，并输出人体部件索引和3D模型上的UV坐标，然后将人体实例分割掩码和人体部件索引以及UV坐标进行结合获得3D人体表面模型的表面坐标。