[发明专利]用于自主系统和应用的使用神经网络基于真实世界数据的3D表面结构估计

权利要求书

1.一种方法，包括：

至少基于在环境中的捕获会话期间捕获的图像数据，生成所述环境中的组件的三维3D表面结构的第一表示；

至少基于与所述图像数据相关联并在所述捕获会话期间捕获的LiDAR数据，生成所述组件的所述3D表面结构的第二表示；以及

使用所述3D表面结构的所述第一表示作为输入训练数据并使用所述3D表面结构的所述第二表示作为地面实况训练数据来训练一个或更多个神经网络NN以生成所述3D表面结构的致密表示。

2.根据权利要求1所述的方法，其中生成所述3D表面结构的所述第一表示包括对所述图像数据应用3D表面结构估计。

3.根据权利要求1所述的方法，其中生成所述3D表面结构的所述第一表示包括：

识别所述图像数据和所述LiDAR数据的对齐集；以及

至少基于所述图像数据和所述LiDAR数据的所述对齐集，生成所述3D表面结构的所述第二表示。

4.根据权利要求1所述的方法，其中生成所述3D表面结构的所述第一表示包括使用Delaunay三角测量填补所述LiDAR数据的一个或更多个缺失值。

5.根据权利要求1所述的方法，其中生成所述3D表面结构的所述第一表示包括积累来自多个LiDAR传感器的所述LiDAR数据。

6.根据权利要求1所述的方法，其中生成所述3D表面结构的所述第二表示包括：

由标记工具获得识别所述LiDAR数据中对应于所述环境的所述组件的注释点的一个或更多个输入，同时呈现所述图像数据和所述LiDAR数据的对齐集；以及

至少基于投射所述注释点以形成投射图像，生成所述组件的所述3D表面结构的所述第二表示。

7.根据权利要求1所述的方法，进一步包括：将对象检测应用于所述图像数据，以生成划分所述环境的所述组件的地面实况分割掩码。

8.根据权利要求1所述的方法，其中所述组件的所述3D表面结构的所述第二表示包括表示所述组件的一个或更多个高度值的二维2D地面实况高度图，其中训练所述一个或更多个NN包括将预测的2D高度图与所述2D地面实况高度图进行比较，并且基于所述预测的2D高度图中与所述组件不对应的一个或更多个值，应用划分所述组件的地面实况分割掩码来抵消对所述一个或更多个NN的一个或更多个更新。

9.根据权利要求1所述的方法，其中所述一个或更多个NN包括对所述组件的一个或更多个高度值进行回归的第一输出通道以及对与所述一个或更多个高度值相对应的一个或更多个置信度值进行回归的第二输出通道，其中训练所述一个或更多个NN包括应用损失函数，其中所述损失函数比较预测的高度值和地面实况高度值并基于预测的置信度值。

10.根据权利要求1所述的方法，进一步包括：使用所述一个或更多个NN来执行以下中的至少一个：

调整自我对象的悬架系统，

对所述自我对象进行导航以避开检测到的突起，或者

至少基于检测到的表面坡度对所述自我对象应用加速或减速。

11.一种处理器，其包括一个或更多个电路，用于：

访问在环境中的捕获会话期间捕获的图像数据和LiDAR数据；

至少基于所述图像数据，生成所述环境中的道路的三维3D表面结构的不完整表示；

至少基于对所述LiDAR数据的标记，生成所述道路的所述3D表面结构的第二表示；以及

使用所述3D表面结构的所述不完整表示作为输入训练数据并使用所述3D表面结构的所述第二表示作为地面实况训练数据来训练一个或更多个神经网络NN以生成所述3D表面结构的致密表示。

12.根据权利要求11所述的处理器，所述一个或更多个电路进一步用于至少基于对所述图像数据应用3D表面结构估计来生成所述3D表面结构的所述不完整表示。