[发明专利]用于处理视频数据的方法和装置

权利要求书

1.一种用于处理视频数据的方法，其特征在于，包括：

获取相机输出的视频流数据以及IMU输出的IMU测量数据，其中，所述IMU与所述相机处于相同或相近的位置，所述IMU测量数据包括IMU三轴角度数据；

在相机发生偏转的情况下，根据所述视频流数据中的目标帧图像，获取目标对象的像素位置，所述目标帧图像为所述视频流数据中的任一帧图像；

根据所述IMU测量数据和视频流数据，获取所述相机在偏转情况下的像素坐标系与世界坐标系之间的投影矩阵H'；

根据所述目标对象的像素位置以及所述投影矩阵H'，获取所述目标对象在世界坐标系的定位信息。

2.如权利要求1所述的方法，其特征在于，所述根据所述IMU测量数据和视频流数据，获取所述相机在偏转情况下的像素坐标系与世界坐标系之间的投影矩阵H'，包括：

根据所述IMU三轴角度数据，获取旋转矩阵R，所述旋转矩阵R为从IMU坐标系转换至相机坐标系的旋转矩阵；

根据所述旋转矩阵R，获取所述投影矩阵H'，所述投影矩阵H'符合以下条件：

H'＝HKRK^-1；

其中，H是所述相机在未发生偏转的情况下的像素坐标系与世界坐标系之间的单应矩阵，K表示从相机坐标系转换到像素坐标系的内参矩阵。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

确定与所述目标帧图像的时间戳对齐的IMU测量数据；

根据所述对齐的IMU测量数据，确定所述目标帧图像对应的IMU三轴角度数据。

4.如权利要求1或2所述的方法，其特征在于，所述IMU测量数据还包括：IMU三轴加速度数据、IMU三轴角速度数据，所述方法还包括：

根据所述三轴加速度数据与三轴角速度数据判断相机是否存在抖动；

在所述相机存在抖动的情况下，输出相机抖动报警信息。

5.一种用于处理视频数据的装置，其特征在于，包括：

通信模块，用于获取相机输出的视频流数据以及IMU输出的IMU测量数据，其中，所述IMU与所述相机处于相同或相近的位置，所述IMU测量数据包括IMU三轴角度数据；

处理模块，用于在相机发生偏转的情况下，根据所述视频流数据中的目标帧图像，获取目标对象的像素位置，所述目标帧图像为所述视频流数据中的任一帧图像；

所述处理模块还用于根据所述IMU测量数据和视频流数据，获取所述相机在偏转情况下的像素坐标系与世界坐标系之间的投影矩阵H'；

所述处理模块还用于根据所述目标对象的像素位置以及所述投影矩阵H'，获取所述目标对象在世界坐标系的定位信息。

6.如权利要求5所述的装置，其特征在于，在所述根据所述IMU测量数据和视频流数据，获取所述相机在偏转情况下的像素坐标系与世界坐标系之间的投影矩阵H'方面，所述处理模块具体用于：根据所述IMU三轴角度数据，获取旋转矩阵R，所述旋转矩阵R为从IMU坐标系转换至相机坐标系的旋转矩阵；根据所述旋转矩阵R，获取所述投影矩阵H'，所述投影矩阵H'符合以下条件：H'＝HKRK^-1；

其中，H是所述相机在未发生偏转的情况下的像素坐标系与世界坐标系之间的单应矩阵，K表示从相机坐标系转换到像素坐标系的内参矩阵。

7.如权利要求5或6所述的装置，其特征在于，所述处理模块还用于：确定与所述目标帧图像的时间戳对齐的IMU测量数据；根据所述对齐的IMU测量数据，确定所述目标帧图像对应的IMU三轴角度数据。

8.如权利要求5或6所述的装置，其特征在于，所述IMU测量数据还包括：IMU三轴加速度数据、IMU三轴角速度数据，所述处理模块还用于：根据所述三轴加速度数据与三轴角速度数据判断相机是否存在抖动；在所述相机存在抖动的情况下，输出相机抖动报警信息。