[发明专利]一种虚拟的多摄像机目标跟踪视频素材产生方法

说明书

技术领域

本发明属于虚拟场景的视频素材产生领域，具体涉及一种虚拟的多摄像机目标跟踪视频素材产生方法。

背景技术

随着视频运动目标检测和跟踪技术的发展，单摄像机视域有限的情况不能满足长时间、大范围跟踪运动目标的要求，多摄像机多目标跟踪在广域监控场景中得到了很多关注。目前多摄像机目标跟踪的研究和算法验证很大程度上受限于视频源素材，研究者由于多摄像机运动、目标匹配等原因无法简易实现视频的录制过程，获取到验证算法的视频素材较为困难，一些特定的场景诸如阴影、目标遮挡、目标形变和特征变化等无法很好的实现。同时多摄像机标定、协同运作、同步校准等受诸多环境因素的影响，视频源素材也局限于目标为人和交通车辆，一些高空多目标跟踪诸如多无人机协同目标跟踪等军事素材稀缺。

计算机图形学的发展使得三维视景有了逼真的应用呈现，视景仿真引擎产生的场景也更加接近现实，这也得益于硬件软件的向上发展，光照、材质、阴影和着色器等技术也日趋完善。因此，基于虚拟现实技术的视频生成提供了一种较好的多摄像机目标跟踪的视频素材产生方法。可以产生目标遮挡、阴影、光照变化以及目标运动、形变、纹理改变和目标在视野里的产生与消失等目标跟踪中的复杂环境问题，以供目标跟踪算法的研究与验证。

发明内容

本发明的目的是提供一种虚拟的多摄像机目标跟踪视频素材产生方法。

为实现上述目的，本发明采用的技术方案是：一种虚拟的多摄像机目标跟踪视频素材产生方法，其特征是：根据目标跟踪算法研究和验证的需求，从场景数据库中选取三维模型来模块化定制场景，所定制的场景可以实现目标环境、目标行为、摄像机行为的设置和多摄像机网络的布局，以产生多摄像机目标跟踪算法研究所需的复杂环境；通过制定摄像机通道完成摄像机同步地获取画面，并输出为视频文件。

上述目标环境包括遮挡、阴影和光照的变化。所述遮挡包括树木、建筑、云层、扬尘以及其他物体对目标的遮挡；所述阴影是通过设置光源位置、角度来实现建筑、树木、广告牌和其他物体的影子投影在目标附近；所述光照变化是指通过设置光源的位置、角度、强度来实现光照的由强到弱、由弱到强的变化。

上述目标行为包括目标运动、目标形变、目标纹理变化和目标的产生与消失；所述目标运动，包括目标的平移、旋转以及目标的停止和重新运动；所述目标形变，指目标形态发生大的变化，包括坦克炮塔旋转、导弹运输车发射架升起、目标被摧毁以及其它变化；所述目标纹理变化，是指目标表面纹理特征发生显著变化，包括军事车辆加上迷彩伪装；所述目标的产生与消失，是指目标进入和离开摄像机视野范围的过程。

上述摄像机行为包括摄像机运动、摄像机姿态调整、摄像机焦距调节和摄像机干扰；所述摄像机运动，是指摄像机沿不同方位的平移移动；所述摄像机姿态调整，是指对摄像机的姿态角进行设定，包括俯仰角和方位角的设定；所述摄像机焦距调节，是指对摄像机视野的拉近拉远调节，焦距与摄像机参数矩阵成对应关系，通过这种对应关系可以完成摄像机的标定；所述摄像机干扰，是指摄像机运动过程中环境对镜头的干扰，包括镜头抖动、镜头上雾、镜头染尘。

上述多摄像机网络的布局为设定五个摄像机，分别位于距离目标高度可控的上方和前方、后方、左方、右方的90度角度范围，并适当调整各个摄像机的行为，从各个方位同步拍摄目标画面。

上述摄像机通道和视频输出是将虚拟摄像机的视野画面，通过管道把各个虚拟摄像机的每帧数据同步实时传输给图形渲染硬件并在显示器端显示，并将帧数据存储在缓冲区，设定分辨率大小、帧率、视频编码以及压缩方式，将数据转成主流格式的视频流，随摄像机参数和目标模型样本一同提供给研究人员作算法研究。

上述目标以及摄像机的属性设置过程具体以两种方法实现：一种是预先定义，即通过代码或指定方式预先设置跟踪目标将要产生的目标环境改变、目标行为变化、摄像机行为变化和多摄像机网络布局调整；另一种是实时控制，即在场景渲染后通过键盘鼠标等输入设备实时控制和改变目标环境、目标行为、摄像机行为和多摄像机网络布局；两种方案都可在场景主画面的辅助观察下实现设置的过程。

上述目标跟踪的虚拟视频产生方法不仅仅适用于单目标跟踪，同样适用于多目标跟踪。

上述多摄像机的虚拟视频产生方法为：输出各路摄像机视频，从中选取不同方位的摄像机视频进行目标跟踪的算法研究和验证，不仅仅适用于多摄像机目标跟踪，同样适用于单摄像机目标跟踪。

本发明的有益效果是：