[发明专利]一种基于深度生成模型的人体点云实时修复方法

说明书

本发明涉及人机协作技术领域，尤其涉及一种基于深度生成模型的人体点云实时修复方法。首先根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；然后利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；最后借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图，达到人机协作环境下人体点云实时修复的目的。

技术领域

本发明涉及人机协作技术领域，尤其涉及一种基于深度生成模型的人体点云实时修复方法。

背景技术

近年来，人机协作已成为智能制造的关注热点。在传统的制造场景中，由于安全原因，操作员和机器人被隔离在不同的工作区域，独立完成各自所分配的任务。在人机协作系统中，机器人除了独立执行自己的任务，也需要协助操作员完成复杂的任务，从而提高生产效率，降低人的负荷。人机协作环境下，在机器人配合操作员完成任务过程中，机器人需要实时获取人体空间位置，并且需要在被障碍物遮挡的情况下获取被遮挡的人体空间位置信息，这对机器人安全地协助人完成复杂任务至关重要。

三维人体点云模型是通过激光扫描技术，对物理人体进行全方位扫描获取的,包括人体的身高、外形特征、体貌形态等元素。将采集到的数据经过三维建模软件可视化渲染后，方便后期参数调整和图像处理。

目前，现有的人体点云修复技术无法适应动态障碍物情况下的人体点云修复，且没有考虑人机协作的背景，同时也未考虑人体形态和动作的多样性，难以为机器人实时提供准确的人体点云修复结果。

发明内容

本发明要解决的技术问题是：提供一种基于深度生成模型的人体点云实时修复方法，能够在人机协作过程中人体被障碍物遮挡时，实时结合遮挡情况和人体形态特点，准确高效的修复人体点云。

为解决上述技术问题，本发明采用的技术方案是：

一种基于深度生成模型的人体点云实时修复方法，根据深度图与空间点云的映射关系，采用转换策略将人体点云修复问题转换为人体深度图修复问题，所述转换策略具体如下：

A、根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；

B、利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；

C、借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图。

进一步的，所述的一种基于深度生成模型的人体点云实时修复方法，具体包括如下步骤：

S1、结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理；

S2、利用基于生成对抗网络的深度生成模型对人体深度图数据集进行训练，使得模型收敛；

S3、对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图；

S4、修复被遮挡的人体深度图，并将修复后的人体深度图像映射为空间点云。

进一步的，所述步骤S1具体包括：

S11、根据人机协作环境中人体形态特点，确定要收集的人员样本；

S12、根据同一人员动作的多样性与连贯性特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；

S13、对采集的深度图像数据集执行预处理操作，仅保留人体的深度数据，并对将图片的大小截取至256×256。

进一步的，所述步骤S2具体包括：