[发明专利]一种基于双目视觉的人体姿态高精度识别方法

说明书

人体姿态识别作为计算机视觉领域的基础任务之一，能够解决行人跟踪、人机交互、自动驾驶等领域的应用问题。但由深度模糊、人体遮挡以及数据集等问题，识别过程中存在大量的不确定性，实用性不高。为此，本专利提供一种基于双目视觉的实时人体识别方法，将双目立体相机对人体姿态实时采集的两侧图像，输入到BlazePose算法，输出仅保留二维坐标点(X、Y坐标)，然后在二维坐标点的基础上通过视觉修正方法，推算Z坐标，最后将X、Y和Z坐标进行融合，分别确定人体关键点坐标。该方法能够弥补基于深度学习的人体姿态识别精度较低的缺点，满足人机共融制造单元安全风险分析中的高精度需求。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于双目视觉的实时人体姿态识别算法。

背景技术

人体姿势识别也被称为人体关键点检测，其主要目的为从单独的图像或连续多帧图像组成的视频中估计人体主要骨骼关节点的相对空间位置。实现人体姿态识别是计算机视觉领域的基础任务之一，可解决行人跟踪、人机交互、自动驾驶等领域的应用问题。

一般认为人体姿态识别问题存在三大难点，包括：(1)人体是相对不稳定的非刚性结构，在自遮掩或复杂姿态场景下任何部位的动作变化都是难以识别的；(2)不同的人体结构或服饰的相似性都会使识别过程产生混淆；(3)所采集的图像或视频易受环境干扰，拍摄角度、光照条件以及遮掩物品的存在都给识别过程增加了大量的不确定性。

随着围绕深度学习尤其是以卷积层为核心的卷积神经网络应用于人体姿态识别任务的研究深入，基于深度学习方法的人体姿态识别算法在人体关键点估计的准确性和稳定性上均取得了显著进步。使用卷积神经网络学习到的图像高维抽象特征表示替代传统的手工特征提取方法能够实现在姿态识别任务上的端到端(end to end)优化，基于深度学习卷积神经网络的相关模型已经成为了人体姿态识别任务的首选方法。然而在实际应用场景中，基于深度学习的人体姿态识别方法仍然存在缺陷。例如，深度学习方法能以较高精度从图像平面推断人体姿态的二维坐标，然而估计人体各个关键点相对于摄像机的距离(即深度坐标)则依赖于算法在数据集上学习到的相关规律。相对于完全体现于所拍摄图像的平面坐标，对深度坐标的估计来自于算法对相关姿势的猜测，因此识别深度坐标的准确性总是低于平面坐标。

发明内容

为了解决上述问题，本发明以人机共融场景中对人体姿态识别的高度实时性、高精度要求为背景，面向构建人机共融制造单元的实际需求，克服基于深度学习的人体姿态识别方法中估计操作者各个关节点在空间中的三维相对位置的深度算法精度较低的问题，提出了一种基于双目视觉的人体姿态识别方法。经检验，该方法显著增强了对关键点深度坐标估计的准确性。

根据本申请的一个方面，提出一种基于双目视觉的人体姿态识别方法：

S1、采用Point Grey Bumblebee 2的双目立体相机对人机共融制造单元中的人体姿态图像信息进行实时采集。

S2、将双目摄像机采集到的左右两图分别输入到两套Blaze Pose 算法中。

S3、分别输出两套基于Blaze Pose算法的33个人体骨骼关键检测点的三维坐标。

S4、仅保留步骤三输出结果中基于真实像素输出的二维坐标点 (相对于图像底部和左侧边缘的坐标向量，即X、Y坐标)，并输入至视差计算算法中。

S5、输出基于视差修正的人体关键点的空间深度坐标(关键点相对于拍摄点的距离，即Z'坐标)。

S6、融合步骤四中的X、Y坐标及步骤五中的Z'坐标，得到完全基于真实像素的三维人体姿态坐标。

本发明有益效果：以Point Grey Bumblebee 2双目相机所拍摄得到的双目视觉图像为基础，根据视差原理得到人体关键点相对于拍摄平面的深度坐标向量，而无需使用深度学习算法由数据集中学习到的规律推断猜测人体的空间姿态。