[发明专利]一种基于单目视频的人体关节自动标注方法

权利要求书

1.一种基于单目视频的人体关节自动标注方法，其特征在于包括以下步骤：

步骤1.前景检测：

使用摄像机获取人体运动的视频并进行预处理：背景建模，获取前景区域；为减少后续步骤的运算量，将原彩色图像帧中的前景区域作为感兴趣区域进行保存，在后续的处理步骤中就可以只对感兴趣区域进行处理，从而提高系统的运算速度；

步骤2.人体区域确定与分割：

(1)人体剪影获取；对步骤1中的前景图像进行二值化处理，并使用形态学方法来获取更为完整的剪影图像；计算剪影的面积，去除小的噪点及干扰目标；

(2)剪影外轮廓获取及归一化：使用边缘检测的方法对剪影图像进行处理，获得剪影的外轮廓；同时计算轮廓重心所在位置；使用轮廓的高度信息对轮廓进行大小归一化，使以后的数据处理及保存更为统一；

步骤3.人体骨架获取与处理：

(1)对步骤2中的人体剪影进行距离变换处理，得到细化骨架；

(2)骨架特征点提取：首先检测细化骨架中的交点、分叉点作为候选关键点，然后对细化骨架图像进行霍夫直线检测；

步骤4.根据脸部和手的相对位置进行人体姿态的粗略估计：

(1)在原图像中分割出人体运动区域进行保存，利用肤色模型进行肤色区域检测；

(2)对肤色提取区域进行二值化处理，并进行形态学操作，获取较为完整的肤色区域；

(3)利用肤色区域中心位置，进行人体姿态的粗略预估计；

步骤5.人体关节点自动标注：

(1)将人体轮廓重心位置作为腹部节点，通过重心点作水平线，记录水平线与人体轮廓的交点，将两交点之间的距离作为人体躯干宽度；

(2)计算重心点与轮廓采样点的欧氏距离，通过计算相邻点欧氏距离的差值，寻找差值极值点作为人体头部、手脚关节点的候选位置；根据候选点与中心点的相对位置将候选点分为头部节点、手部节点和脚步节点三部分，并在此时利用步骤4中的手部及脸部的检测结果将此三类候选点分开；

(3)将步骤3中的超过三条线段的交点作为人体胸部节点，利用人体高度信息及人体测量学先验知识，将人体分为上半身与下半身两部分；在上半身分割中，利用人体比例信息，找到颈部关节中心；将颈部关节与胸部关节连线中点作为锁骨近端节点；

(4)将锁骨近端节点作为中心点，向左右分别延伸1/2的躯干宽度，作为人体肩部关节点；

(5)肘关节确定：首先，根据肩关节到手关节的距离信息来判断人的胳膊是否处于伸直状态；若判定为伸直状态，则将肩关节与手关节的连线中点作为肘部关节点；若判定为弯曲状态，则对步骤3中的霍夫线段检测得到的关于手部的线段进行分析，将线段非手部关节点的另一个端点作为肘部关节点；

(6)髋关节及膝关节的确定：首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点；膝关节点确定，将髋骨左右端点分别与左右脚部节点连线，根据人体解剖信息，大小腿长度近似相等，故将连线中点分别作为左右膝关节点；

(7)相应关节点连线，形成二维骨架图像。

2.根据权利要求1所述的方法，其特征在于对骨架图像进行霍夫直线检测对细化骨架进行再分割，以查找人体各个骨骼部分，目的在于提高人体分割的准确性。

3.根据权利要求1所述的方法，其特征在于利用肤色区域的相对位置进行人体姿态的粗略判断，即根据寻找到的脸部和手部的相对位置来判断人体双臂是处于伸展还是弯曲状态。

4.根据权利要求1所述的方法，其特征在于人体躯干宽度的快速计算：通过人体重心点与轮廓边缘的水平交点确定的线段长度作为人体宽度的快速计算值。

5.根据权利要求1所述的方法，其特征在于头部和四肢关节点的快速判别：利用重心点与轮廓采样点的欧氏距离，通过计算相邻点欧氏距离的差值，寻找差值极值点作为人体头部、手脚关节点的候选位置。

6.根据权利要求1所述的方法，其特征在于利用霍夫变换检测出的线段辅助检测肘关节点。

7.根据权利要求1所述的方法，其特征在于髋关节的确定：首先在轮廓图像中找到双腿分叉点，然后通过此点作水平线，各取距离分叉点为肢体宽度的1/4的点作为髋骨的左右端点。

8.根据权利要求1所述的方法，其特征在于利用前景检测获取人体运动区域，并保存为感兴趣区域，在后续步骤中只对感兴趣区域进行操作，这样就使要计算的像素数量明显变少，大幅减小了计算量。