[发明专利]基于编码的双路视频压缩装置及压缩视频重建方法

说明书

本发明公开了一种基于编码的双路视频压缩装置及压缩视频重建方法。基于编码的双路视频压缩装置包括场景压缩模块、编码调制模块、压缩采集模块、压缩视频重建模块。通过双光路实现边信息和编码信息的采集，其中视频重建模块采用基于梭形网络结构的压缩视频重建方法。将边信息、编码信息和编码模板序列进行拼接操作后，经过梭形网络中的通道注意力，空间注意力和残差机制等深层特征提取，快速重建得到高质量的视频图像序列。本发明提高重建视频的图像质量；采用梭形网络结构，通过双注意力残差机制提取深层的空间特征和时间特征，提高了视频重建的速度和质量。

技术领域

本发明涉及视频压缩和重建领域，尤其是涉及了一种基于编码的双路视频压缩装置及压缩视频重建方法。

背景技术

伴随视频信息量的增长、需求增大，终端处理水平也有所提升，但便携式无线视频采集等设备的储存和处理面临着诸多困难和挑战。视频存储设施工具体积容量不能从根本上解决海量数据量的问题，视频信号仍然存在着时间、空间和视觉等多种冗余之间矛盾仍然存在。

以传统的采样策略同时获取和存储动态场景的空间时间信息内容是一项非常具有挑战性的工作。现代相机在较低的帧频下具有足够的带宽来捕捉百万像素的空间分辨率，然而对于高帧频的动态场景，传统的成像方式对数据的获取和传输带来了困难。由于传统的成像方式忽略了视频数据立方体沿空间和时间维度的高度相关性，而压缩感知可以利用这一特性，通过空间的多路复用将高维视频数据投影到低维空间上。相较于传统的采样方式遵循奈奎斯特采样定理，压缩感知框架能够将高维数据映射到低维测量中，使得数据的获取和存储更加方便。最终通过视频重建算法从压缩测量中恢复出原始的视频数据。因此通过编码压缩技术来去除数据冗余的方式成为了当前解决视频信息中海量数据量的最有效途径之一。

发明内容

本发明针对现有技术中的不足，提供一种基于编码的双路视频压缩装置及压缩视频重建方法。

为实现上述目的，本发明采用以下技术方案：

基于编码的双路视频压缩装置，包括场景压缩模块、编码调制模块、压缩采集模块及压缩视频重建模块；

所述场景压缩模块，用于通过前置镜头将视频场景信息收集后经过分光器进行分光，第一路信息成像到反射式空间光调制器的靶面上；第二路信息直接由面阵CCD延时曝光进行成像作为边信息；

所述编码调制模块，用于通过反射式空间光调制器加载二值随机编码模板序列，对成像到反射式空间光调制器的靶面上的第一路信息进行空间编码调制；

所述压缩采集模块，用于通过面阵CCD延时曝光采集经过编码调制模块调制后的第一路信息压缩图像；

所述压缩视频重建模块，用于通过空间-光谱注意力机制的压缩视频重建方法将采集到的第一路信息压缩图像信息与直接由面阵CCD延时曝光进行成像的第二路信息融合恢复得到多帧视频图像序列。

为优化上述技术方案，采取的具体措施还包括：

进一步地，所述编码调制模块采用的反射式空间光调制器为数字微镜阵列(DMD)，其分辨率为M×N，M为行微镜个数，N为列微镜个数；编码模板序列显示的帧频等于视频场景帧频f Hz，即每个编码模板对应于视频场景的每一帧进行空间编码。

进一步地，所述压缩采集模块采用的面阵CCD的空间分辨率为

其中，T为任意实数。

进一步地，面阵CCD帧频和反射式空间光调制器显示编码模板帧频的关系为

f_d＝1/f Hz

其中，f_d为面阵CCD帧频；通过这种方式采集的压缩视频信号为空间混叠的二维图像。

本发明还采用以下技术方案：