[发明专利]一种动作捕捉系统及方法

权利要求书

1.一种动作捕捉系统及方法，其特征在于，包括：

动作捕捉装置，此装置包括至少两个图像采集传感器，所述动作捕捉装置通过所述图像采集传感器提供图像；

人体目标检测器，其包括至少一个人体关节点检测器和至少一个人体标记点检测器，所述人体关节点检测器用于对所述动作捕捉设备采集的图像中的人体进行检测，得到图像上人体的2D关节特征点集，所述人体标记点检测器用于对所述动作捕捉设备采集的图像中的人物进行检测，得到图像上人物表面的2D标记特征点集；

人体目标跟踪器，其包括至少一个人体关节点跟踪器和至少一个人体标记点跟踪器，所述人体关节点跟踪器用于对所述人体关节点检测器检测的2D关节特征点集进行跟踪，得到人体不同时刻的2D关节特征点集信息，所述人体标记点跟踪器用于对所述人体标记点检测器检测的2D标记特征点集进行跟踪，得到人体不同时刻各关节的2D标记特征点集信息；

人体动作姿态计算器，用于对所述人体目标检测器检测的人体进行动作姿态解算，得到人体各关节的空间姿态角和3D坐标；

人体定位计算器，其包括至少一个人体标记点定位器和至少一个人体关节点位置优化器以及至少一个人体关节点定位器，所述人体标记点定位器用于计算人体所有标记特征点在第一坐标系下的3D坐标，所述人体关节点位置优化器用于对所述人体动作姿态计算器计算得到的人体关节点的空间位姿进行优化，所述人体关节点定位器计算人体各关节在所述第一坐标系下的3D坐标；

自定位计算器，用于所述动作捕捉装置自身的定位计算，即计算所述动作捕捉装置在第二坐标系下的3D坐标以及姿态角；

人体定位转换器，用于将人体空间位姿从所述第一坐标系下转换到所述第二坐标系中。

2.根据权利要求1所述的系统，其特征在于，所述动作捕捉装置是一种便携装置，便于安装和拆卸。

3.根据权利要求1所述的系统，其特征在于，还包括一种用于交换数据的无线通信装置。

4.根据权利要求1所述的系统，其特征在于，所述动作捕捉装置包括至少一种光源，用于照亮场景、环境或者动作捕捉目标。

5.根据权利要求1所述的系统，其特征在于，所述动作捕捉装置包括至少一个电子芯片处理器，所述电子芯片处理器执行如下功能的全部或者一个子集：人体目标检测器，人体目标跟踪器，人体动作姿态计算器，人体定位计算器，自定位计算器，人体定位转换器。

6.根据权利要求1所述的系统，其特征在于，所述动作捕捉装置包括至少一种惯性传感器，可提供位姿信息，用于辅助所述动作捕捉装置进行自定位。

7.根据权利要求1所述的系统，其特征在于，所述动作捕捉装置包括至少一种深度图像传感器，可提供位姿信息，用于辅助所述动作捕捉装置进行自定位。

8.一种动作捕捉方法，其特征在于，包含如下步骤：

1)通过动作捕捉装置获得至少两个图像采集传感器采集的图像序列；

2)通过人体目标检测器，对所述图像采集传感器获取的每帧图像进行人体检测及人体标记点检测，得到图像上人体的区域分割、2D关节特征点集和2D标记特征点集；

3)通过人体目标跟踪器，分别对所述人体目标检测得到的2D关节特征点集和2D标记特征点集进行跟踪，得到在不同视角所有时刻同一人体的2D关节特征点集和不同视角所有时刻同一人体关节部位的2D标记特征点集；

4)通过人体动作姿态解算器，利用单帧图像对人体3D模型和动作姿态进行回归计算，得到第一坐标系下人体模型和各关节的空间姿态角；

5)通过自定位计算器，利用所述采集图像传感器在空间不同视角下采集的多帧图像进行空间自定位计算，获取所述动作捕捉装置在第二坐标系中的位姿，包括3D坐标以及姿态角；

6)通过人体定位计算器，对检测到的人物进行空间定位计算，获取人体各关节和人体表面特征点在所述第一坐标系下的3D坐标；

7)通过人体定位转换器，利用所述动作捕捉装置在所述第二坐标系中的位姿将人体空间位姿从所述第一坐标系下转换到第二坐标系中。