[发明专利]基于多视角的深度相机的无标记动作捕捉方法及装置

说明书

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于多视角的深度相机的无标记动作捕捉方法及装置。

背景技术

人体运动捕捉是计算机视觉中的重点以及难点问题。准确鲁棒的运动捕捉算法在电影制作、电视转播、机器人控制等方面有着广泛应用。运动捕捉一般可以分为有标记和无标记两类方法。其中有标记运动捕捉是指演员要穿着带有特殊标志物的服装进行表演，算法通过对这些标志物的识别，实时的获取演员的动作参数。这种方法准确性高，算法复杂度小，已经被广泛的应用于商业电影的制作过程中。但这种方法中演员必须穿着笨重的紧身道具服进行表演，而且该方法也很难应用于摄影棚外真实场景的拍摄环境。为了解决上述不足，无标记动作捕捉技术逐渐成为近年本领域研究热点。

现有的无标记运动捕捉技术一般指表演者穿着日常普通服装，在一间绿幕布摄影棚内进行表演，由设在其中的多相机系统采集其动作，由特定的算法对采集的多视角视频序列进行运动跟踪。这种方法突破了有标记运动捕捉方法必须穿着带有标记点服装进行采集的不足，但仍然离不开绿幕布的使用，无法适用于一般场景的拍摄。

深度相机是近年来逐渐开始普及的感知三维世界的新方式，对于环境中的每个点，深度相机不但可以返回其颜色信息，还可以返回该点距离深度相机光心平面的垂直距离。这一开创性的技术发明为一般场景的无标记运动捕捉技术提供了可能性。

发明内容

本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种无需标记设备、追踪结果更优鲁棒的基于多视角的深度相机的无标记动作捕捉方法。本发明的另一目的在于提出一种无需标记设备、追踪结果更优鲁棒的基于多视角的深度相机的无标记动作捕捉装置。

为了实现上述目的，根据本发明的基于多视角的深度相机的无标记动作捕捉方法包括以下步骤：A.对所述多视角的深度相机进行标定，得到标定参数；B.通过所述多视角的深度相机采集深度图和彩色图；C.根据所述标定参数和所述深度图，进行三维空间变换得到点云集合；D.根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；E.根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。

在本发明的一个实施例中，所述标定参数包括内参矩阵Kc、旋转矩阵Rc和平移向量Tc。

在本发明的一个实施例中，根据下列计算公式进行三维空间变换得到所述点云集合:其中P为所述点云集合中的三维点云点，（i，j）为所述深度图中的像素点，i、j表示所述像素点的坐标，d(i，j)表示所述像素点（i，j）的深度值。

在本发明的一个实施例中，所述将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配进一步包括：