[发明专利]基于光线投影原理的运动视角下动态物体检测方法及系统

权利要求书

1.基于光线投影原理的运动视角下动态物体检测方法，其特征在于，包括以下步骤：

步骤1：采用上一时刻的深度图像D_t-1结合位姿信息T_t,t-1进行投影变换，得到本时刻的深度投影预测图D′_t，将D′_t与本时刻的深度图像观测D_t相减求绝对值，得到深度投影误差图

步骤2：中包含了物体的运动信息，还包含着噪声信号；结合实验中噪声的特点，对依次进行二值化、腐蚀膨胀、高斯滤波，得到动态目标对应的二维区域，将动态物体对应彩色点云进行输出；

步骤3：对动态物体进行建模，使用卡尔曼滤波器对动态物体中心进行滤波操作，预测到动态物体的速度信息，将动态物体中心坐标x以及动态物体的速度进行输出；

所述步骤1还包括：

接收到来自视觉传感器发送的三种消息，包括位姿信息、深度图像和彩色图像；三种消息的时间不同步，对三种消息在时间上进行匹配；

匹配成功后，构建新的消息结构M_t，M_t包括结构时刻t、位姿变换矩阵T_t、深度图像D_t、彩色图像F_t；将消息结构M_t＝(t,T_t,D_t,F_t)储存在更新队列；

所述对三种消息在时间上进行匹配，具体为：

为三种消息构建各自的匹配队列，分别为位姿匹配队列、深度图像匹配队列以及彩色图像匹配队列；

将新接收到的三种消息存入各自的匹配队列中，每当新的深度图像到来都在三种匹配队列中进行一轮搜索，以深度图像匹配队列中深度图像的时间为参考时间，分别与彩色图像匹配队列和位置信息匹配队列中进行匹配；若匹配队列中各时间差均小于阈值时认为匹配成功，构造新的消息结构M_t；在匹配成功的匹配队列中删除匹配成功的消息防止重复匹配，并且每次匹配过程结束后，根据时间区间判断出没有匹配结果的信息并删除，防止重复查询；

所述步骤1，具体包括以下步骤：

取更新队列相邻的两消息取出本时刻深度图像D_t和上一时刻深度图像D_t-1，由T_t-1和T_t-1计算得到两帧之间相对位姿变换T_t，t-1：

其中P为三维空间一点，在t-1时刻P被深度图D_t-1观测到，对应的像素为p_t-1＝[u_t-1v_t-1]^T，u_t-1为t-1时刻在深度图像中的像素坐标，v_t-1为t-1时刻在深度图像中的像素坐标，t-1时刻点的深度为Z_t-1，在T_t-1对应的位姿坐标系下空间点P对应空间坐标P_t-1＝[X_t-1 Y_t-1Z_t-1]^T；在t时刻P被深度图D_t观测到，对应的像素为p_t＝[u_t v_t]^T，u_t为t时刻在深度图像中的像素坐标，v_t为t时刻在深度图像中的像素坐标，点的深度为Z_t，在T_t对应的坐标系下空间点P对应空间坐标P_t＝[X_t Y_t Z_t]^T；

空间点坐标和像素坐标之间有如下关系，

其中u、v分别是像素横坐标与像素纵坐标，u的取值包括u_t、u_t-1，v的取值包括v_t-1、v_t，X、Y、Z分别是空间三个轴向坐标，X的取值包括X_t-1、X_t，Y的取值包括Y_t-1、Y_t，Z的取值包括Z_t-1、Z_t，下标t代表其在t时刻的取值，下标t-1代表在t-1时刻的取值；f_x、f_y、c_x和c_y为相机内参，f_x、f_y分别为相机图像二维坐标系两个方向上的相机焦距、c_x、c_y分别为相机图像二维坐标系两个方向上的相机偏移量；K是相机的内参矩阵：

因此，在两个时刻分别有：

并且同一空间点在两个坐标系下的空间坐标有以下关系：

联立以上式子求解，即使用t-1时刻深度图的每一个像素以及其深度测量值，结合相机内参矩阵K与T_t，t-1去预测该空间点在t时刻对应的像素坐标p′_t＝[u′_t v′_t]^T以及点的深度预测值Z′_t；其中p′_t、u′_t、v′_t、Z′_t增加了上标表示对p_t、u_t、v_t、Z_t的预测值；

对深度图像中每一个点进行上述操作就可以得到一张完整的t时刻的深度投影预测图D′_t；对每一点上t时刻的深度预测和t时刻的深度观测做差求绝对值，就得到了深度投影误差图至此得到了一张t时刻的深度投影预测图D′_t以及深度投影误差图