[发明专利]一种基于神经网络的实时人体感知方法

说明书

本发明公开了一种基于神经网络的实时人体感知方法，包括：提取图像中人体关键点位置、尺度和人体分割结果；解算三维空间中的人体关键点位置信息与尺度值；依据人体关键点位置构建人体骨架模型，在骨架模型周围关键点尺度范围内均匀采样，获取人体重建点云集；将重建点云投影到人体分割结果中，滤除对应投影结果在人体分割结果外的点云；选择参考帧视角和目标帧视角，计算参考帧和目标帧视角下的可观测点集的交集，统计该交集中的点云数量，采用极线搜索方法在极线上进行均匀采样，对比采样点投影结果与参考点投影结果间的相似度，选取结果最相似的采样点作为最终的优化结果，本发明能够实现更稳定、更准确的感知效果。

技术领域

本发明涉及计算机视觉和人机协作领域，具体涉及一种基于神经网络的实时人体感知方法。

背景技术

人机协作，即由机器人从事精度与重复性高的作业流程，而工人在其辅助下进行创意性工作的新工业。为实现期望的人机协作功能，首先需要解决人机协作系统的安全性问题。

准确完整的场景感知技术是实现安全的人机协作功能的前提，现有的人机协作系统，根据使用的传感器类型不同，可以分为依托视觉相机、依托视觉-深度相机和依托深度传感器的人机协作系统。

相较于视觉-深度相机和深度传感器，视觉相机具有低成本、部署简单、泛用性好等优势，能够以较低的成本完成感知系统的部署。用视觉相机进行场景感知的工作始终是计算机视觉领域中最热门的研究内容，因此基于视觉相机的人机协作场景感知技术具有很高的研究价值和广阔的应用前景。

相较于受到广泛重视与研究的目标识别与场景重建任务，三维人体感知任务并没有受到足够多的重视。目前的人机协作系统与方案将人体表征为关键点组合成的人体骨架模型，并以此为基础设计交互与规划技术。这样的设计在实际应用中存在极大的安全隐患。

随着深度学习的兴起，许多计算机视觉任务都使用神经网络取得了目前最好的效果，例如使用视觉相机进行人体表面重建工作。卷积神经网络通过对图像矩阵进行卷积操作提取图像特征，将多层执行卷积计算的网络叠加在一起形成深层网络模型，可以在许多任务中得到极好的表现，但现有技术在复杂的非结构化人机协作场景中很难得到准确的人体感知结果。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为了解决人体感知结果不准确的技术问题，本发明的目的在于提供一种基于神经网络的实时人体感知方法。

本发明的技术问题通过以下的技术方案予以解决：

一种基于神经网络的实时人体感知方法，包括如下步骤：

S1、实时采集人机协作装配区域图像；提取人体关键点的像素坐标、尺度值与置信度以及人体分割结果；统计人体关键点检测的置信度，解算人体关键点在三维空间中的位置坐标与尺度值；

S2、构建人体骨架模型，进行均匀随机采样，构建人体稠密重建点云集合；将人体稠密重建点云集合分别投影到各视角下的人体分割结果中；

S3、选择参考帧视角和目标帧视角，计算参考帧和目标帧视角下的可观测点集的交集，统计该交集中的点云数量；

S4、判断是否存在足够数量的点云能被参考帧和目标帧同时观测到，若共同观测的点云的数量小于等于阈值，则重复步骤S3；若大于阈值，则执行步骤S5；

S5、从参考帧视角的观测光心引出极线，并在极线的邻域内采样；计算采样点在参考帧和目标帧视角下投影位置处的局部窗口内的像素分布的相似性；选取每条极线上相似性评价最高的采样点，若采样点的相似性评价高于阈值，则将其加入重建结果中，否则将其舍弃；

S6、遍历所有视角后，输出人体稠密感知结果。