[发明专利]物体在虚拟场景中的坐标获取方法、系统及电子设备

说明书

本发明提供一种物体在虚拟场景中的坐标获取方法、系统及电子设备，所述物体在虚拟场景中的坐标获取方法包括：根据图像视域进行网格化分，并根据网格化分情况计算网格属性；基于网格划分的图像，对网格顶点进行采样；识别物体像素坐标，并基于用双线性插值算法计算对应的物体的三维空间坐标；将计算得到的物体三维空间坐标存入数据库。本发明对于网格规模的选择是动态的，且精度取决于网格规模的选择，可以直接进行二维像素坐标与三维空间坐标的映射，避免了可能造成的虚拟场景和真实场景中动态物体与静态物体的相对位置不一致的问题。

技术领域

本发明涉及虚拟城市构建领域，特别设计一种物体在虚拟场景中的坐标获取方法、系统及电子设备。

背景技术

随着计算机技术的进步，数字孪生概念与技术经历被提出，被具化，被实现，进入当下高速发展的阶段。数字孪生最早由密歇根大学的Michael Grieves提出，在2012年由NASA定义：数字孪生是指充分利用物理模型、传感器、运行历史等数据，集成多学科、多尺度的仿真过程，它作为虚拟空间中对实体产品的镜像，反映了相对应物理实体产品的全生命周期过程。数字孪生的意义在于将现实世界数字化，以达到储存、分析、仿真、数据积累、数据挖掘等目的。基于图像的数字孪生技术链可概括为：静态场景建模，图像采集，图像分析，动态物体位置映射，虚拟场景智能分析等。

动态物体位置映射算法的研究从未间断。该算法的内容是给定静态虚拟场景，采集的图像和图像中动态物体的矩形包围框，要求计算该动态物体在静态虚拟场景中的对应三维坐标。

现有技术路线大体包括：

1、基于相机内外参及相关参数的算法。给定目标的像素坐标，基于已知的相机内外参和相关参数，计算相机与目标连线方程，即将目标位置限定于该直线上，再结合其他已知约束，例如目标物体深度，或目标物位于地面等，即可联立方程，求解目标的三维坐标。

2、基于深度学习的算法。数据集的输入为图像和相机的内参，标签为目标在相机坐标系中的坐标，再结合已知的相机外参，可计算目标的三维坐标。

3、基于采样和拟合的算法。代表算法包括直接线性变换(DLT),PnP(Perspective-n-Point)等。DLT是待定像素坐标与空间坐标的变换矩阵中的11个独立参数，通过采样和最小二乘法进行参数优化。PnP是基于物点和像点间的几何约束，结合已知的相机内参，以较少的采样点计算像素坐标与空间坐标间的转换矩阵。

显然的，上述的现有技术方案基本都依赖于精确的相机内参和外参数据(DLT除外)。对于相机的内参标定，已有较为成熟的技术方案，主要是基于棋盘格的张正友标定法，具有较高的精确度。但在路侧探头等环境下，由于环境限制，棋盘格离相机较远，很难进行识别和定位，且难以在视域中充分采样，则无法执行内参标定流程；对于相机的外参标定，一般要求多相机系统间有足够的公共视域，基于特征点匹配的算法能确定多相机系统的外参。但在路侧探头等环境下，相机间间隔较远且没有公共视域，几乎不可能经由标定得到相机间的外参。此外，上述现有方案虽然在实验室环境下误差可控，但在室外等真实环境下易受地形、天气等不可控因素影响，稳定性较差。

而对于DLT算法，虽然可以绕过相机内参，通过较多采样点，计算像素坐标与空间坐标的变换矩阵，但在本算法的应用场景下，虚拟环境的建模不可避免的存在系统性误差，使得虚拟场景与真实场景存在不一致。图1和图2分别为真实场景与虚拟场景的俯视示意图，实心圆点为采样点，空心圆点为根据DLT算法计算而得的对应点。明显的，在高精确采样下，仍然会出现算法最优点在视觉下位置不正确的问题。将上述问题定义为视觉正确点与算法最优点不一致。

综上所述，一方面，在路侧探头等极端环境下，很难得到相机的内参和外参；另一方面，DLT算法存在虚实不一致问题。即无法基于现有的动态物体位置映射算法，由二维图像像素坐标计算虚拟场景中对应的三维坐标。

发明内容