[发明专利]面向大场景的全景视频监控的方法及装置

摘要

本发明提供一种面向大场景的全景视频监控的方法及装置。所述装置包括前端视频采集编码设备和数据传输设备，大场景监控系统包括数据接收、视频解码、视频处理和输出编码等软硬件，所述方法完成视频数据接收、视频解码、视频配准、GPU实时拼接和色彩融合。拼接融合得到的全景监控图像序列通过HDMI/DVI连续输出到显示设备进行显示，同时支持对全景监控图像实时编码，并通过网络进行传输和存储。所述方法及装置能够保证全景视频的拼接效果和拼接质量，提高视频拼接的效率，达到实时性的需求，得到的全景视频更为自然、真实。在实际应用中，既能很好的保证后续全景视频拼接的要求，又能简化现场设备的安装布置，可实施性强。 1

主权项

1.一种面向大场景的全景视频监控的方法，其特征在于，所述方法包含以下步骤：

步骤1，视频采集；

步骤2，对步骤1采集得到的原始视频数据进行编码，分别对编码后的视频流合入时间同步信号，通过网络发送；

步骤3，接收视频数据，将编码的视频帧进行实时解码；

步骤4，将待拼接的监控视频按照左右相邻顺序进行配准，计算得到其自动配准参数并保持到数据库中；

步骤5，手动调节拼接参数，优化自动配准的参数，并用优化结果更新步骤4中的数据库；

步骤6，读取视频拼接数据库中的配准参数，对待拼接的监控视频进行拼接；

步骤7，将拼接标准化为大小两种码流进行输出；

其中，所述步骤3中将编码的视频帧进行实时解码的步骤包括：对步骤2中发送的PS流进行逐层解析，最后得到ES流及同步时间戳；使用ffmpeg解码器对ES流进行解码，得到YUV420格式视频帧；建立视频缓冲池，对每一路视频流缓冲25帧，将YUV420格式视频帧和该帧对应的同步时间戳一并存入缓冲中，提交视频时，分别读取每一路视频的当前同步时间戳，以第一路视频的同步时间戳T₁为基准，T_i(i＝2，3…)为第i路视频的同步时间戳，视频帧的提交规则定义如下：

1)取第一路视频的当前YUV420视频帧并提交；

2)For i＝2，3...如果T_i‑T₁＞20ms，则读取第i路视频上一个YUV420视频帧提交；如果‑20ms≤MT_i‑T₁≤20ms，则读取第i路视频当前YUV420视频帧提交；否则，读取第i路视频下一个YUV420视频帧提交；

3)第一路视频读取位置下移一帧，重复1)，2)操作。

2.根据权利要求1所述的面向大场景的全景视频监控的方法，其特征在于，所述步骤2中编码并分别对编码后的视频流合入时间同步信号的步骤包括：

编码得到ES视频流，经过PES打包器之后，被转换成PES包，再次经过PS打包后，通过RTP协议进行传输；

系统时钟定期向远程基准时钟进行同步，并作为唯一的时钟信息(同步时间戳)嵌入视频流中用于视频解码及多个视频流之间的时间同步；

其中，在PES头信息中嵌入显示时间标签和解码时间标签，在PS头信息中嵌入系统时钟基准。

3.根据权利要求1或2所述的面向大场景的全景视频监控的方法，其特征在于，所述步骤4中将待拼接的监控视频按照左右相邻顺序进行配准，计算得到其自动配准参数的步骤包括拼接参数计算，具体步骤为：

从步骤3获取视频帧后，采用Sift特征匹配的方式进行图像自动配准，采用基于欧式距离的最近邻向量匹配法，对于低分辨率图像中的特征点，利用K‑D树搜索法在参考图像中找到与低分辨率图像特征点欧式距离最近的前两个特征点，设最近距离为d₁，次近距离为d₂，阈值为w如果则该对特征点为候选特征点，否则予以剔除；

得到参考图像与待配准图像之间的特征点对以后，需要估算出两幅图像之间的透视系数，进而对待配准图像利用插值算法进行重采样，实现图像之间的配准，设(u₁，v₁，1)，(u₂，v₂，1)为特征点对的齐次坐标，根据透视矩阵H可得：

4.根据权利要求3所述的面向大场景的全景视频监控的方法，其特征在于，还包括采用基于经典随机抽样一致性算法进行候选特征点对的进一步筛选：

首先，从候选特征点对中随机抽取3个特征点对建立方程组，求解出H的6个参数；

计算特征点经过H转换后与候选特征点的距离，若距离小于设定阈值，则为内点，否则为外点，予以剔除，同时统计内点个数；

接下来再次取3个特征点对，重复上述步骤，经过若干次以后，选取包含内点最多的一个点对集最后，利用最小二乘法对该点对集求解仿射矩阵H。

5.根据权利要求1或2所述的面向大场景的全景视频监控的方法，其特征在于，所述步骤5中优化自动配准的参数的步骤包括：

对步骤4计算得到的单应矩阵H，通过对H中的元素h_ij进行修改，实现图像平移、缩放和旋转；修改后的单应矩阵H’替换步骤4得到的原始单应矩阵H。

6.根据权利要求1所述的面向大场景的全景视频监控的方法，其特征在于，所述步骤6中对待拼接的监控视频进行拼接的步骤包括：

通过CUDA，先将每帧图像分为16*16大小的块进行双线性插值映射；

将该视频对应的Mask图，Mask_frame进行映射，Mask_frame′＝Warp(H_frame，Mask_frame)，截取单帧有效视频内容：I′_pano‑frame＝Mask′_frameand I_pano‑frame，其中I_pano‑frame表示单帧图像映射到全景图中的内容，I_frame，H_frame分别为单帧图像以及该图像对应的单应矩阵；

计算图像重叠区域(T_l，T_r，T_t，T_b)，其中T_l，T_r表示水平方向重叠区域的左右边界，T_t，T_b表示垂直方向重叠区域的下上边界；

在重叠区域内执行三层金字塔分解并还原，实现拼接线融合。

7.一种面向大场景的全景视频监控的装置，包括大场景监控装置和大场景监控系统，其特征在于：

所述大场景监控装置包括前端视频采集模块、视频编码模块和数据发送模块，其中所述数据发送模块包括时钟模块和发送模块，时钟模块用于多路视频间的时间同步，输出的时间信号以时间戳的形式加入到每个视频码流中，数据发送模块根据时间信号先后顺序依次发送视频帧；

所述大场景监控系统包括数据接收模块、视频解码模块、视频配准模块、数据库模块、GPU实时拼接融合模块和输出编码模块，其中GPU实时拼接融合模块采用硬件并行加速设计实现对视频逐帧实时拼接