[发明专利]基于面部朝向的身体左右肢体一致性跟踪判别方法及系统

权利要求书

1.基于面部朝向的身体左右肢体一致性跟踪判别方法，其特征是，包括：

获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；

最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

2.如权利要求1所述的方法，其特征是，所述每个识别结果对应的置信度，是指每一部件检测器对每一帧进行滑窗扫描后给出的所有检测结果。

3.如权利要求1所述的方法，其特征是，估计被跟踪目标的面部朝向的具体步骤包括：

S201：将视频每一帧图像中被跟踪目标的头部区域利用矩形框进行标记；矩形框即为头部区域边界框；

S202：从头部区域边界框中，识别肤色区域；

S203：根据不同面部朝向的模板确定肤色区域在头部边界框中的位置；

根据肤色区域在头部边界框中的位置进行面部朝向判断：如果肤色区域在头部边界框中位于左下区域，则认为面部朝向右侧；如果肤色区域在头部边界框中位于右下区域，则认为面部朝向左侧。

4.如权利要求3所述的方法，其特征是，所述S202中，从头部区域边界框中，识别肤色区域；具体是采用基于YCrCb颜色空间的肤色检测器来生成头部区域边界框中所包含的皮肤区域的二值图像。

5.如权利要求1所述的方法，其特征是，根据面部朝向判断人体的面向位置的具体步骤包括：如果面部朝向左侧，则人体面向左侧；如果面部朝向后侧，则人体面向右侧。

6.如权利要求1所述的方法，其特征是，根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；具体步骤包括：

S301：如果根据面部朝向判断出人体面向右侧，则将左侧肢体部件赋予高优先级，即首先对左侧肢体部件的检测结果进行选取，得到左侧肢体部件的候选集；然后再在左侧肢体部件的候选基础上，选取右侧肢体部件，得到右侧肢体部件的候选集；

S302：如果根据面部朝向判断出人体面向左侧，则将右侧肢体部件赋予高优先级，即首先对右侧肢体部件的检测结果进行选取，得到右侧肢体部件的候选集；然后再在右侧肢体部件的候选基础上，选取左侧肢体部件，得到左侧肢体部件的候选集。

7.如权利要求1所述的方法，其特征是，对候选集利用图结构模型PS进行推断以获得肢体最终姿态，具体是指：

其中，E^u表示检测肢体部件的表观模型，E^p表示肢体之间的关联模型，对于肢体部位铰链式的人体结构表示为L＝[l₁,...,l_N]，相应的图像信息描述为D＝[d₁,...,d_N]，N是定义的肢体部位的数目；在t时刻，人体结构表示为L_t，图像信息用D_t表示，每一肢体部件用表示，i表示肢体部件编号，N表示肢体部件的总数，i～j表示直接关联的两个肢体部件。

8.基于面部朝向的身体左右肢体一致性跟踪判别系统，包括：

肢体部件检测模块，其被配置为：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

面部朝向估计模块，其被配置为：根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

人体姿态判别模块，其被配置为：根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。