[发明专利]一种基于深度学习的光场视频时间-角度超分辨率网络

说明书

本发明公开了一种基于深度学习的光场视频时间‑角度超分辨率网络。本发明步骤如下：1、假设输入为低角度分辨率宏像素形式的光场图像以合成中间帧低角度分辨率的宏像素形式的光场图像为目标，设计时间超分辨率模块；2、对时间超分辨率模块的输出结果进行角度超分辨率运算，最终得到角度超分辨率运算后的宏像素形式的光场图像本发明设计了一种角度独立的通道注意力机制代替光流预测模块来更好地完成前后帧像素的过滤与融合。

技术领域

本发明是关于深度学习与计算机视觉领域，特别涉及了一种基于深度学习的光场视频时间-角度超分辨率网络。

背景技术

近几年来随着摄影设备的发展，相机所具有的功能也越来越新颖，通过在主透镜和相机传感器之间插入一个微透镜阵列，一次拍摄便能得到一幅含有多个视点的光场图像，它同时记录了光线的角度信息和空间信息，免去了更换多个视角和重复拍摄等大量工作。

光场相机最具有应用价值的一个方面就是其多视点结构的图像具有很好的几何性质，这使得光场图像能捕捉到不同视点的信息，在一些视觉任务上如深度估计、语义分割、图像修补等，表现得比单目、双目相机更为出色。比如Lytro Illum型号的光场相机，它能一次拍摄得到9×9的稠密视点光场图像，但是其内部光场计算的复杂性和硬件性能限制，导致其连续拍摄的时间间隔较长，得到的视频帧数较低。另外如Raytrix R8相机能支持较高帧率的录像模式，但其视点个数却只有稀疏的5×5，这导致了目前光场相机拍摄到的内容无法同时记录丰富的时间和角度信息，且非工业级的光场相机由于本身的设计和硬件成本，存在角度和空间的分辨率平衡问题。

为此，有不少人提出了光场的视点合成(角度超分辨率)和光场的空间超分辨率方法来克服上述缺陷。其中基于深度估计的视点合成方法利用卷积网络估计出光场图像的稠密视差图，然后将视差视作一种特殊的光流，利用已知的视点图像和对应的视差图作为输入，经过图像warp得到合成的新视点图像，其重建结果的质量主要取决于视差估计模块的精度，然而目前光场图像视差估计网络在遮挡区域、无纹理或弱纹理区域的性能并不好，如果用错误估计出的视差会使得合成的结果不准确。

其后有人将2D的卷积操作扩展到了更高维度的数据结构上，提出了一种利用2D卷积提取特征，3D卷积来恢复角度细节信息的伪4D视点合成方法，具体地，它通过在水平、垂直角度上连续地进行视点合成来完成最终的视点重建，并利用与角度相关的损失比例系数使得网络能更好地被合成难度更高的视点所优化。还有人提出了直接利用4D卷积直接提取光场的角度和空间特征来直接学习稀疏光场到稠密光场的方法，其利用4D卷积同时提取整幅光场图像的空间与角度信息，再经过上采样，进行视点合成和空间超分辨率。该方法真正地将卷积神经网络从2维图像扩展到了4维光场上，充分利用了卷积网络能有效提取局部特征的优势，增强了对光场图像的角度、空间特征表示能力，同时这种方法也不需要以往视点合成方法中的视差估计和warp这两步操作，可以说是提出了一种新的视点合成和空间超分辨率的范式。但由于光场图像本身数据量非常大，尽管作者使用了空间、角度共享权值的方法来减少4D卷积网络的参数量，但其运算量和显存占用也非常可观，预测速度很慢。

上述方法都主要集中于光场空间超分辨率和视点合成，而解决光场相机帧率低的方法少之又少，光场视频插帧(时间超分辨率)计算成本比光场的空间超分辨率和视点合成更大，一定程度上限制了光场视频插帧方法的发展。

光场作为近年来多视点成像的一种先进技术，能够捕获到场景在不同视点的光线反射情况，基于CNN和transformer的工作通过充分利用不同视点之间的互补信息来对已有的稀疏光场进行空间超分辨率与视点合成。而目前还没有针对光场视频这种动态场景同时进行插帧与视点合成的方法，因此本发明围绕光场视频的插帧与视点合成开展研究，提出了一种基于宏像素结构的光场视频插帧与视点合成模型LFATSRNet。