[发明专利]用于使用生成模型生成合成点云数据的方法和系统

说明书

本申请描述了用于生成合成点云数据的方法和系统。通过将3D点云投影到具有旋转同变性的2D网格中来生成投影的2D数据网格。使用所投影的2D数据网格来学习生成模型，其中使用例如在生成对抗网络中的柔性卷积和转置柔性卷积运算来实现生成模型。学习到的生成模型被用于生成合成点云。

技术领域

本申请涉及一种学习用于生成合成点云数据的生成模型的系统和方法，以及一种使用学习到的生成模型根据分布中选择的数据生成合成点云数据的系统和方法。

背景技术

在许多自主任务中，了解环境起着关键作用。自主设备(例如，机器人或车辆)在执行自主任务中的成功取决于健壮的感观数据输入以及用于处理感观数据的算法。在许多情况下，感官数据带有噪声或一些感观数据缺失。为了能够处理这种情况，自主设备需要能够“理解”这类感观数据。人类具有这种能力。例如，如果一些视频帧中的一些像素丢失，则人类可以容易地“预测/想象”丢失的数据(例如，基于其具有关于那些像素的时间和空间信息，在其大脑中生成那些丢失的样本)，并且对该视频仍具有相同的感知。

此外，许多自主任务需要在模拟器环境中进行测试甚至训练，因为在真实环境中训练和测试自主设备可能较困难，例如可能成本较高和/或安全性低(例如，在自主驾驶的情况下)。然而，许多传统的模拟器不能为自主设备提供真实的感观数据。结果，在模拟器中训练和测试的自主设备可能在真实环境中不能很好地操作。因此，需要建立能够产生更真实数据的模拟器。

为了解决上述问题，需要一种用于生成合成数据的有效方法。近年来，研究人员已经成功地使用生成模型来生成图像和视频数据，例如Goodfellow等人在其论文(神经信息处理系统的进展，第2672-2680页，2014)，以及Zhu等人在其论文(arXiv预印本，2017)进行了相关描述。然而，在大多数情况下，自主设备需要对真实环境进行三维(three-dimensional，3D)理解以便良好地操作，而这依赖于准确的3D感观数据(例如，以点云的形式)。生成点云是当前一项具有挑战性的任务。

生成模型是一类机器学习方法，其目的是从与训练数据相同的分布中生成样本。生成模型有不同的类型，如变分自编码器(variational auto-encoder，VAE)和生成对抗网络(generative adversarial network，GAN)。在其体系结构中使用卷积神经网络(convolution neural network，CNN)的许多生成模型需要逆卷积运算(例如，在VAE中的解码器中或者在GAN环境中的生成器中)。对于常规的卷积，该运算是转置卷积。许多基于深度学习的方法以不可逆的方式捕获局部特征。

因此，需要一种用于生成合成数据的系统和方法，以解决至少部分上述问题。

发明内容

本申请提供了用于以点云的形式生成合成数据的方法和系统。所公开的方法和系统在训练阶段从点云学习生成模型，并且在推理阶段从学习到的生成模型生成合成点云。在一些示例中，所公开的方法和系统可以利用深度神经网络(deep neural network，DNN)体系结构。本申请还描述了用于将数据点从点云排序和投影到基于网格的数据结构中的方法和系统，其有助于提高在训练阶段学习生成模型的效率。

根据本申请的一个方面，提供了一种方法，所述方法包括：获得表示3D环境的第一批点云；通过将所述第一批点云中的每一个点云投影到具有旋转同变性的投影二维(two-dimensional，2D)数据网格中，为第一批点云中的每一个点云生成投影2D数据网格；在训练阶段，学习生成一批或多批合成点云的生成模型，通过为所述生成模型提供第一批次每一个点云的投影2D数据网格来学习生成模型，其中，生成模型包括柔性卷积运算和转置柔性卷积。

根据前述方面，所述方法还包括：使用学习到的生成模型，从数据中生成一个或多个批次的合成点云，所述数据从一个分布中采样得到。