[发明专利]面向互补视角多目标协同跟踪的虚拟视频生成方法

权利要求书

1.一种面向互补视角多目标协同跟踪的虚拟视频生成方法，其特征在于，所述方法包括：

1)加载人物模型和场景建模，创建数据存储路径，随机初始并存储行人和多视角相机的初始位置；

2)设置行人和相机的初始位置，按帧控制行人和相机的运动，并存储各视角相机下拍摄的包含行人和拍摄者的视频数据；

3)删除场景建模，并将各视角相机的渲染背景设置为纯黑色，设置行人和相机的初始位置与步骤2)相同，每次只显示一人，按帧控制行人和相机的运动，并存储各视角相机下拍摄的该人纯黑背景视频数据；

4)重复步骤3)，直至所有行人和拍摄者的单人纯黑背景视频数据存储完毕；

5)根据步骤4)中得到的所有单人纯黑背景视频计算得到步骤2)中得到的各视角视频中每帧所有人的矩形标注框位置及其ID；

6)去除步骤5)中得到的各视角视频中每帧中被遮挡严重人物的标注框，输出剩余的标注框。

2.根据权利要求1所述的一种面向互补视角多目标协同跟踪的虚拟视频生成方法，其特征在于，所述多视角相机为顶视视角相机和水平视角相机，水平视角相机包括4种类型；

其中，所述4种类型为：

(1)拍摄者站在人群外部，向人群中心拍摄，拍摄者不移动，同时相机视野也不移动；

(2)拍摄者站在人群外部，向人群中心拍摄，相机左右摆动镜头，拍摄者跟随镜头转动；

(3)拍摄者站在人群外部，向人群中心拍摄，拍摄者会围绕人群进行圆周运动，在移动过程中相机左右摆动，拍摄者跟随镜头转动；

(4)拍摄者站在人群内部，向背离人群中心的位置拍摄，拍摄者不移动，但随着相机摆动。

3.根据权利要求1所述的一种面向互补视角多目标协同跟踪的虚拟视频生成方法，其特征在于，所述行人的移动速度为：

n为场景中人物总数

赋予人物模型一个基准旋转速度ω＝5°/帧和最大偏移旋转速度Δω＝10°/帧，并约定每个人的旋转速度为：

n为场景中总人数。

4.根据权利要求1所述的一种面向互补视角多目标协同跟踪的虚拟视频生成方法，其特征在于，所述各视角视频中每帧所有人的矩形标注框位置及其ID的生成方法具体为：

在第一遍生成完虚拟场景视频后，会再运行(行人总数+拍摄者总数)遍，ID从0到(行人总数+拍摄者总数-1)，每一遍都是第一遍运行过程的完全复现；

在第一遍运行时对随机生成的人物的位置、动作，相机的位置数据进行存储，保证之后的运行与第一遍完全相同；从第二遍开始，每遍只显示一个人，通过一遍的运行得到各视角下只包含该人物的虚拟视频；

第一遍运行结束后，移除场景文件，将所有拍摄相机的渲染背景设置为纯黑色，得到每个人物在所有相机下只包含单个人物且其它背景全为黑色的虚拟视频；

对于背景全黑只有人物不是黑色的图片，直接遍历图片中的所有像素，找到最小非黑像素横坐标xmin、最小非黑像素纵坐标ymin、最大非黑像素横坐标xmax、最大非黑像素纵坐标ymax，则(xmin,ymin)和(xmax,ymax)即为该人物标注框的左上和右下坐标。

5.根据权利要求1所述的一种面向互补视角多目标协同跟踪的虚拟视频生成方法，其特征在于，所述去除步骤5)中得到的各视角视频中每帧中被遮挡严重人物的标注框具体为：

将本帧中所有的标注框按面积大小由大到小排序，从左到右遍历所有未删除的标注框，在遍历过程中再遍历当前选中标注框所有右侧未删除的标注框，若两者标注框的交叠面积超过面积较小标注框面积的1/2，则删除较小面积的标注框。