[发明专利]多个彼此相对运动的刚性对象的检测、三维重建和跟踪

权利要求书

1.一种用于从至少一台摄像机的图像序列中检测、三维重建以及跟踪多个彼此相对运动的刚性对象(11、13、15、16、17；19)的方法，所述方法包括下列步骤：

a)从所述至少一台摄像机的图像序列中选择出特定的拍摄时间点(＝关键循环)的图像，

b)基于关键循环中稀疏选择的像素，根据关键循环的图像，对用于描述刚性对象(11、13、15、16、17；19)的模型的所有参数进行联合优化，其中，模型包括用于描述关键循环中刚性对象(11、13、15、16、17；19)的姿势、数量、三维结构的参数，以及用于描述所选像素与刚性对象(11、13、15、16、17；19)的对应关系的参数，为此

c)使误差函数最小化(S20)，其中，误差函数包括与多个关键循环的图像的强度相关的光度测量误差E_photo，以及与刚性对象(11、13、15、16、17；19)的数量相关的第一先验能量项E_comp，以及

d)输出从图像序列中检测到的刚性对象(11、13、15、16、17；19)的数量、三维结构和轨迹。

2.根据权利要求1所述的方法，其特征在于，误差函数包括第二先验能量项E_geo，所述第二先验能量项与刚性对象(11、13、15、16、17；19)的三维结构相关。

3.根据权利要求1或2所述的方法，其特征在于，所述误差函数包括下列模型参数：

每单个运动模型中每个所选像素的反深度；

运动模型的数量，其中，为每个当前假设的刚性对象(11、13、15、16、17；19)都分配有运动模型；

每单个运动模型和激活的关键循环的姿势；以及

每个所选像素与每个运动模型的对应关系概率。

4.根据权利要求3所述的方法，其特征在于，所述误差函数还包括下列模型参数：

每幅图像的传感器特征曲线，和

每台摄像机的焦距和主点，从而所有参数的联合优化促成所述至少一台摄像机的自动校准。

5.根据上述权利要求中任一项所述的方法，其特征在于，利用一个或多个图像金字塔层级执行直接图像对齐，以跟踪各个对象(11、13、15、16、17；19)。

6.根据上述权利要求中任一项所述的方法，其特征在于，为优化误差函数，使借助光度测量的光束法平差根据对象特定的关键循环对轨迹参数和结构参数的优化(S203)、以及对像素与运动模型的对应关系的优化交替地进行(S205)。

7.根据权利要求6所述的方法，其特征在于，随后对运动模型数量进行优化(S207)，其中，在将运动模型添加到误差函数或从误差函数中去除运动模型情况下，重新将所选像素分配给运动模型，并重新开始误差函数的优化。

8.根据上述权利要求中任一项所述的方法，其特征在于，所述至少一台摄像机相对于与静止的刚性的背景相对应的对象(11、13、15、16、17)进行运动。

9.根据上述权利要求中任一项所述的方法，其特征在于，借助包括多台同步的摄像机的摄像机系统拍摄多个图像序列，其中，模型参数包括每个对象(11、13、15、16、17；19)相对于摄像机系统的姿势，其中，能够从所有摄像机中选择出像素，其中，从至少一台摄像机的关键循环的图像中选择出像素，其中，针对所选像素，将在至少一台摄像机和至少一个关键循环中的观测结果作为光度测量误差的能量项，执行所有参数的联合优化以使所产生的误差函数最小化。

10.根据权利要求9所述的方法，其特征在于，为跟踪各个对象(11、13、15、16、17；19)，利用一个或多个图像金字塔层级实施多摄像机的直接图像对齐，其中，实施所有模型参数的联合优化以使所产生的误差函数最小化，其中，模型参数包括每个对象(11、13、15、16、17；19)相对于摄像机系统的姿势，其中，针对所选像素，将在要优化的循环的至少一台摄像机中的观测结果作为光度测量误差的能量项。