[发明专利]基于面部朝向的身体左右肢体一致性跟踪判别方法及系统

说明书

本公开公开了基于面部朝向的身体左右肢体一致性跟踪判别方法及系统，获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

技术领域

本公开涉及人体姿态跟踪技术领域，特别是涉及基于面部朝向的身体左右肢体一致性跟踪判别方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

目前的人体姿态跟踪方法倾向于基于检测的方法，即首先在每一视频帧中估计人体姿态，然后在连续帧中整合姿态之间的时间和空间相关性，二维人体姿态跟踪在计算机视觉中是一个重要而且仍然具有挑战性的问题。为了获得更好的跟踪性能，许多研究通过构建稳健的人体表观模型或建模更复杂的人体结构来提高姿态估计的性能，也有研究人员建议通过层次化的人体结构来建模更真实的身体部件依赖关系。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

虽然这些方法对姿态估计是有效的，但是在跟踪过程中存在一个重要的影响跟踪效果的问题，那就是基于检测的跟踪方法通常使用图结构模型(PS)，忽视了左右身体肢体部件在连续视频帧中的一致性，仅仅依赖于肢体部件在图片坐标系中的相对位置，这经常会导致在跟踪中出现左右肢体混淆的问题。例如，对于一段视频帧序列，特别是当身体的所有部件都可见的时候，虽然所有身体部件姿态都可以被准确地检测出来，但是左右肢体经常被混淆，这种情况在视频序列中存在人体侧身运动的时候更易出现。目前在人体姿态的估计和跟踪中并未解决此问题。

在视频序列中，二维人体姿态跟踪还有一个很大的挑战是人体的自遮挡。由于人体是一个中心对称结构，人体不同部件在二维图像呈现上经常发生相互遮挡的情况，例如肢体部件被躯干或其对称部件遮挡等。在遮挡情况下，姿态检测中还会出现“重复计数”问题，即使用相同的图像区域来确定两个对称肢体部件的位置。之前有方法将遮挡的时间推理融入到跟踪框架中，对人体姿态进行跟踪，这类方法迫使跟踪器在发生遮挡时寻找图像证据以支持平滑路径，对重复计数问题起到了一定的改善作用，但是该方法需要有很强的时序先验，应用方面会大大受限。

发明内容

为了解决现有技术的不足，本公开提供了基于面部朝向的身体左右肢体姿态跟踪判别方法及系统；

第一方面，本公开提供了基于面部朝向的身体左右肢体一致性跟踪判别方法；

基于面部朝向的身体左右肢体一致性跟踪判别方法，包括：

获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；

根据置信度选出面部区域，估计被跟踪目标的面部朝向；根据面部朝向判断人体的面向位置；

根据面部朝向，对被跟踪目标每个肢体部件的所有识别结果，按不同的优先级顺序进行选取，获得各肢体的候选集；

最后，对候选集利用图结构模型PS进行推断以获得肢体最终姿态。

第二方面，本公开还提供了基于面部朝向的身体左右肢体一致性跟踪判别系统；

基于面部朝向的身体左右肢体一致性跟踪判别系统，包括：

肢体部件检测模块，其被配置为：获取待跟踪视频，将待跟踪视频输入到部件检测器中，输出被跟踪目标的每个肢体部件的若干个识别结果以及每个识别结果对应的置信度；