[发明专利]一种基于Wasserstein距离的物体包络体多视图重建与优化方法

说明书

本发明公开了一种基于Wasserstein距离的物体包络体多视图重建与优化方法，基于几何代价函数的定义上利用了2D矩形/椭圆与高斯分布的一一对应性质，对图像提取的2D矩形/椭圆特征和包络体在视图的投影轮廓分别进行参数提取，并构建与之对应的二维高斯分布，接着将几何图像的相似性度量问题转化成概率分布函数的相似性度量问题，引入Wasserstein距离用以度量分布相似性，更近一步将Wasserstein度量转化为优化问题的代价函数，从而提升原优化问题的收敛性和精确性。另外，本发明提出的代价函数作为封闭几何轮廓相似性度量具有通用性，如在深度学习物体识别中预测框与数据集真实检测框的度量上亦适用。

技术领域

本发明涉及机器视觉的多视图几何三维重建的技术领域，尤其涉及到一种基于Wasserstein距离的物体包络体多视图重建与优化方法。

背景技术

基于多个视图中的检测出的几何图元(二维空间中的点、直线段、曲线等)，重构出与这些视图投影轮廓相对应的三维空间中的几何图元(三维空间中的点、线、平面、曲面等)是计算机视觉的一个重要研究领域和技术应用。

在计算机视觉的多视图几何理论体系中，多个视图中的投影轮廓及其三维空间中的几何本体在射影几何中有着严格的数学定义及约束，结合相机成像模型、对极几何约束，多视图三维重建问题在理论上存在着解析解/精确解。然而在实际应用中，由于相机模型的精度欠缺、传感器天然存在的噪声、图像处理不到位和2D图元提取精度不足等问题，使得建立的过约束方程无法得到精确解。而且，目前工业上的三维重建应用，无论涉及的是哪一类三维图元的重建，普遍都是通过多视图冗余数据建立过约束方程，通过优化的方式寻求一个多视图一致性最高的数值解，效率较为低下。

发明内容

本发明的目的在于克服现有技术的不足，提供一种重建效率高、精度高、通用性强的基于Wasserstein距离的物体包络体多视图重建与优化方法。

为实现上述目的，本发明所提供的技术方案为：

一种基于Wasserstein距离的物体包络体多视图重建与优化方法，包括如下步骤：

S1、提取RGB图像流中矩形或椭圆特征；

S2、构造与步骤S1提取到的特征对应的二维高斯分布；

S3、初始化三维图形；

S4、进行多视图融合优化；

S5、输出优化构建结果。

进一步地，所述步骤S1采用基于深度神经网络的物体检测算法YOLO-v4进行物体特征的提取，算法的检测结果输出图像中物体检测框信息，包括物体语义标签，检测框位置的像素坐标和尺寸信息；

记一物体检测框左上角坐标为(x₁,y₁)，检测框右下角坐标为(x₂，y₂)，记检测框中心点坐标为(t_x，t_y)；由于物体检测框与像素坐标系对齐，易得该检测框的内切椭圆的参数为：长半轴短板轴中心点x坐标中心点y坐标则其内切椭圆的对偶二次型C^*表示为：

进一步地，所述步骤S2的具体过程如下：

对于高斯分布，其均值视为椭圆的中心，而协方差矩阵视为椭圆的姿态及半轴长，椭圆表达式与高斯分布一一对应，概率分布的相似性度量即为几何图形的相似性度量；

对于经过归一化的对偶形式的椭圆表达式：

其椭圆中心位置令

有：