[发明专利]一种基于光场的高清视频监控系统及方法

权利要求书

1.一种基于光场的高清视频监控系统，其特征在于，包括：监控视频采集模块、分辨率增强模块、显示模块、数据存储模块和系统管理模块；

监控视频采集模块，实现角分辨率为3×3的720P光场监控视频的采集；

分辨率增强模块，实现光场视频中心视角分辨率增强，采用一种光场中心视角超分辨卷积神经网络，在充分发掘光场监控视频中心视角自身信息的同时将采集到的光场监控视频周围视角信息补充至光场监控视频中心视角，对中心视角进行超分辨处理，准实时生成4K高分辨率场景监控视频；

显示模块，包括两块4K高分辨率显示器，其中一块显示监控视频采集模块采集得到的角分辨率为3×3的720P光场监控视频，另外一块同步显示分辨率增强至4K的高分辨率场景监控视频；

数据存储模块，连接视频数据库，自动存储监控视频采集模块采集得到的角分辨率为3×3的720P光场监控视频与分辨率增强模块生成的4K高分辨率场景监控视频，提供数据的添加、删除、查询接口；

系统管理模块，与数据存储模块连接后，对视频数据库中存储的全部监控视频进行查询与删除；系统管理模块连接用户数据库，将用户分为系统管理员与普通用户，系统管理员查询与删除监控数据，普通用户仅查询监控数据；

所述光场中心视角超分辨卷积神经网络实现如下：

(1)光场中心视角超分辨卷积神经网络，采用多路网络结构分别从各输入视角提取图像信息，其中，中心视角为高分辨率监控视频的基础视角，采用全局残差结构与局部残差结构，全局残差结构完整保留中心视角低频信息，局部残差结构提取中心视角高频信息，周围8个视角为辅助视角，均只采用局部残差结构，分别提取来自周围各视角的高频补充信息；局部残差结构由残差模块实现；9条分路的输出经由拼接形成一组特征图，经过另外两层卷积，得到最终的超分辨中心视角；

(2)残差模块输入经过两层卷积运算的结果与输入相加得到输出；

(3)光场中心视角超分辨卷积神经网络全部卷积层的卷积核大小均为3×3，步长为1，特征图边缘填充0以保证卷积过后特征图尺寸不发生变化；网络的全部卷积层均搭配整流线性单位函数ReLU(Rectified Linear Unit,ReLU)，除最后一个卷积层卷积核数为3外，其他层卷积核数均为128；

(4)各网络分支的输入分别为对应视角720P监控视频经过双三次插值得到的4K分辨率图像；

所述监控视频采集模块包括分布在均匀规则3×3网格上的9个光轴平行的720P分辨率监控摄像头，相邻视角图像保证最大视差小于15像素，以完成光场监控视频的采集。

2.一种基于光场的高清视频监控方法，其特征在于：监控视频采集模块通过分布在均匀规则3×3网格上的9个光轴平行的720P分辨率监控摄像头采集光场监控视频数据，相邻视角图像保证最大视差小于15像素，采集得到的光场监控视频数据发送至数据存储模块、分辨率增强模块与显示模块；分辨率增强模块根据输入的角分辨率为3×3的720P光场监控视频，使用一种光场中心视角超分辨卷积神经网络，准实时生成4K高分辨率场景监控视频，并将其发送至数据存储模块与显示模块；显示模块，在一块4K显示器上显示角分辨率为3×3的720P光场监控视频，在另外一块4K显示器上同步显示分辨率增强至4K的高分辨率场景监控视频，在实时监控模式下，显示来自监控视频采集模块的角分辨率为3×3的720P光场监控视频与来自分辨率增强模块的分辨率增强至4K的高分辨率场景监控视频，在数据查询模式下，接收来自系统管理模块的角分辨率为3×3的720P光场监控视频与分辨率增强至4K的高分辨率场景监控视频；数据存储模块接收并自动保存来自监控视频采集模块的角分辨率为3×3的720P光场监控视频与分辨率增强模块生成的4K高分辨率场景监控视频，根据系统管理模块请求将监控视频发送至系统管理模块，根据系统管理模块请求将监控视频删除；系统管理模块根据用户指令从数据存储模块中提取监控视频并发送至显示模块，根据用户指令从数据存储模块中删除指定监控视频，根据用户指令控制显示模块的显示模式，分别为实时监控模式与数据查询模式，系统管理模块将用户分为系统管理员与普通用户，系统管理员查询与删除监控数据，普通用户仅查询监控数据；

所述光场中心视角超分辨卷积神经网络实现如下：

(1)光场中心视角超分辨卷积神经网络，采用多路网络结构分别从各输入视角提取图像信息，其中，中心视角为高分辨率监控视频的基础视角，采用全局残差结构与局部残差结构，全局残差结构完整保留中心视角低频信息，局部残差结构提取中心视角高频信息，周围8个视角为辅助视角，均只采用局部残差结构，分别提取来自周围各视角的高频补充信息；局部残差结构由残差模块实现；9条分路的输出经由拼接形成一组特征图，经过另外两层卷积，得到最终的超分辨中心视角；

(2)残差模块，输入经过两层卷积运算的结果与输入相加得到输出；

(3)光场中心视角超分辨卷积神经网络全部卷积层的卷积核大小均为3×3，步长为1，特征图边缘填充0以保证卷积过后特征图尺寸不发生变化；网络的全部卷积层均搭配整流线性单位函数ReLU(Rectified Linear Unit,ReLU)，除最后一个卷积层卷积核数为3外，其他层卷积核数均为128；

(4)各网络分支的输入分别为对应视角720P监控视频经过双三次插值得到的4K分辨率图像。