[发明专利]一种使用多视图匹配方法的多人三维姿态估计方法

摘要

本发明提出了一种使用多视图匹配方法的多人三维姿态估计方法，主要过程如下：首先使用神经网络获取多视图图片中关节点的二维坐标；其次，设计了一种多图像匹配算法，对多视图中的关节点进行匹配，并使用二维坐标得到三维坐标；最后使用了一种简单的贪心算法，在三维空间进行姿态解析。

主权项

1.一种使用多视图匹配方法的多人三维姿态估计方法，其特征在于，包括以下步骤：(1)二维关节点检测：使用场景中设置的V个相机，获得V个图像，对于每个图像使用卷积神经网络，获取对应的14个关节的置信图S_P和13个亲和力场L_c，p＝1，2，...，14；c＝1，2，...，13。对于第v个图像，提取出其置信图S_p中个置信度极大值的坐标xi，组成坐标集合(2)关节点关联：从V个图像中任意选取两个图像v和w构成一组，针对关节点p，根据这一组图像获得一组距离值{d_ij}，因此，一共可获得组距离值；将组距离值中的所有距离值从小到大排序，依次进行关联处理，得到关节点p的若干组关联好的二维坐标点，其中，不同组的关节点分别对应于不同的人。其中，对于图像v和w，根据步骤1获得的关节点p对应的坐标集合计算集合中任意一个坐标xi与中任意一个坐标x_j之间的距离d_ij，从而构成一组距离值{d_ij}。其中X是使用相机参数和x_i，x_j进行三角化而得到的三维点。代表把三维点投影回到图像v得到二维空间坐标的运算，u是图像v，w之外的其他图像，x_k为集合中的一个二维坐标。关联处理的方法分成以下四种情况：①x_i和x_j都尚未关联到任何一个人身上：那么新建一个人，x_i和x_j都属于这个人。②x_i被关联到了一个人身上，x_j没有关联到任何一个人身上：将x_j关联到x_i所属的这个人上。③x_j被关联到了一个人身上，x_i没有关联到任何一个人身上：将x_i关联到x_j所属的这个人上。④x_i和x_j分别被关联到两个不同的人身上：忽略这一对坐标。对于其他的关节点按照上述关联处理方法完成关联，每个关节点得到若干组关联好的二维坐标点。(3)求解关节点三维坐标：对于每个关节点，利用步骤2获得的若干组关联好的二维坐标点分别求解得到若干个三维坐标，每一组关联好的二维坐标点均使用三角化算法获得一个三维坐标；(4)三维姿态解析：对于任意两个相邻的关节点p和q，获得一组权重值因此，一共可获得13组权重值；将13组权重值中的所有权重值从小到大排序，依次进行解析处理，得到若干个人体姿态。其中，每一组权重值中的权重通过以下方法得到：分别从关节点p和q的三维坐标中各取出一个三维坐标计算他们之间的权重：α和β是两个阈值，分别设为0.2和0.8。为关节点p和q的预设骨长。该权值衡量在二维图像上的合理性，通过计算置信度(s)大于阈值θ的视图数量占视图总数的比例获得。其中函数1(·)判断括号中的表达式是否为真，若为真该函数值为1，否则为0。置信度通过下式计算：在关节点p和q之间的连接c上均匀采样，获得G个采样点g，组成集合Q，代表把三维点投影回到图像v得到的二维空间坐标；d是和之间的方向向量，被定义为L_c(g)表示采样点g的网络输出的亲和力场。解析处理的过程如下：对于c的两个关节点p，q中，如果任意一个之前的遍历过程中已经遇到过，则跳过这个连接；如果p不属于任何一个人的姿态，那么新建一个姿态，并把p，q加入这个姿态中；如果p已经属于某个人的姿态，那么把q也加入这个人的姿态，从而完成多人的三维姿态估计。