[发明专利]一种基于神经网络的实时人体感知方法

权利要求书

1.一种基于神经网络的实时人体感知方法，其特征在于，包括以下步骤：

S1、实时采集人机协作装配区域图像；提取人体关键点的像素坐标、尺度值与置信度以及人体分割结果；统计人体关键点检测的置信度，解算人体关键点在三维空间中的位置坐标与尺度值；

S2、构建人体骨架模型，进行均匀随机采样，构建人体稠密重建点云集合；将人体稠密重建点云集合分别投影到各视角下的人体分割结果中；

S3、选择参考帧视角和目标帧视角，计算参考帧和目标帧视角下的可观测点集的交集，统计该交集中的点云数量；

S4、判断是否存在足够数量的点云能被参考帧和目标帧同时观测到，若共同观测的点云的数量小于等于阈值，则重复步骤S3；若大于阈值，则执行步骤S5；

S5、从参考帧视角的观测光心引出极线，并在极线的邻域内采样；计算采样点在参考帧和目标帧视角下投影位置处的局部窗口内的像素分布的相似性；选取每条极线上相似性评价最高的采样点，若采样点的相似性评价高于阈值，则将其加入重建结果中，否则将其舍弃；

S6、遍历所有视角后，输出人体稠密感知结果。

2.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S1通过采用多视角同步相机实时采集人机协作装配区域图像，且采用多视角同步相机中使用的多台相机需接收同一外部触发信号实现同步。

3.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S1使用卷积神经网络提取各视角下人体关键点的像素坐标、尺度值与置信度以及人体分割结果；所述卷积神经网络的主要结构包括主干网络、编码器和多个解码器；所述卷积神经网络采用有监督方式训练或者预训练模型；所述使用卷积神经网络提取各视角下人体关键点的格式选择人体上半身关键点格式或者人体全身关键点格式；所述人体分割结果为与输入图像同分辨率的人体掩膜，人体部分为1，非人体部分为0。

4.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S1统计各个视角下人体关键点检测的置信度，统计各个视角下人体关键点的置信度是否大于0.7判断检测结果是否可信，人体关键点的置信度大于0.7则表示检测结果准确，可进行下一步的解算，否则不再考虑；对于置信度高于阈值的视角少于2个的人体关键点，不进行进一步的重建；对于置信度高于阈值的视角不少于2个的人体关键点，可进行下一步的解算；所述解算人体关键点在三维空间中的位置坐标与尺度值时，使用人体关键点检测的置信度优化解算结果：

(W·A)X＝0

其中X是关键点的三维单应坐标，W是该关键点在对应视角下的检测置信度，A是依据相机参数与关键点检测结果计算得到的DLT矩阵。

5.如权利要求1或4所述的基于神经网络的实时人体感知方法，其特征在于，步骤S2中采用步骤S1中解算的人体关键点在三维空间中的位置坐标与尺度值构建人体骨架模型；所述进行均匀随机采样具体为：在人体关键点位置以关键点尺度为半径的球状区域内均匀随机采样4000个点，在关键点间的骨架区域视作圆柱体，以关键点尺度为半径的圆柱状状区域内均匀随机采样4000个点。

6.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S2中所述将人体稠密重建点云集合分别投影到各视角下的人体分割结果中，以投影位置的响应值是否为1来判断投影位置是否在人体分割结果内，否则将其滤除。

7.如权利要求1所述的基于神经网络的实时人体感知方法，其特征在于，步骤S4中，判断是否存在足够数量的点云能被参考帧和目标帧同时观测到，判断依据是，若共同观测到的点云数量小于等于预设阈值，则认为当前参考帧与目标帧不存在可靠的共同观测关系，重复执行步骤S3直至找到存在足够共同观测点的两个视角；若共同观测到的点云数量大于预设阈值，则认为当前参考帧与目标帧存在可靠的共同观测关系，可以在对应视角的图像间寻找可靠对应关系优化重建结果，执行步骤S5。