[发明专利]基于编码的双路视频压缩装置及压缩视频重建方法

权利要求书

1.基于编码的双路视频压缩装置，其特征在于，包括场景压缩模块、编码调制模块、压缩采集模块及压缩视频重建模块；

所述场景压缩模块，用于通过前置镜头将视频场景信息收集后经过分光器进行分光，第一路信息成像到反射式空间光调制器的靶面上；第二路信息直接由第一面阵CCD D1延时曝光进行成像作为边信息；

所述编码调制模块，用于通过反射式空间光调制器加载二值随机编码模板序列，对成像到反射式空间光调制器的靶面上的第一路信息进行空间编码调制；

所述压缩采集模块，用于通过第二面阵CCD D2延时曝光采集经过编码调制模块调制后的第一路信息压缩图像；

所述压缩视频重建模块，用于通过空间和通道的双注意力机制的压缩视频重建方法将采集到的第一路压缩图像信息与直接由第一面阵CCD D1延时曝光进行成像的第二路边信息融合恢复得到多帧视频图像序列。

2.根据权利要求1所述的双路视频压缩装置，其特征在于，所述编码调制模块采用的反射式空间光调制器为数字微镜阵列，其分辨率为M×N，M为行微镜个数，N为列微镜个数；编码模板序列显示的帧频等于视频场景帧频f Hz，即每个编码模板对应于视频场景的每一帧进行空间编码。

3.根据权利要求2所述的双路视频压缩装置，其特征在于，所述压缩采集模块采用的面阵CCD的空间分辨率为

其中，T为任意实数。

4.根据权利要求3所述的双路视频压缩装置，其特征在于，面阵CCD帧频和反射式空间光调制器显示编码模板帧频的关系为

f_d＝1/f Hz

其中，f_d为第二面阵CCD D2帧频；通过这种方式采集的压缩视频信号为空间混叠的二维图像。

5.一种根据权利要求1-4任意一项所述的基于编码的双路视频压缩装置的压缩视频重建方法，其特征在于，包括如下步骤：

步骤一、将基于编码的双路视频压缩装置采集的经过编码调制模块调制后的第一路压缩图像、直接由面阵CCD延时曝光进行成像的第二路边信息及所用编码模板序列进行拼接操作；

步骤二、将拼接的数据经过3个双注意力残差块DARB组成的主干网络完成初步特征提取；DARB由空间注意力残差模块和通道注意力残差模块级联组成；初步特征提取过程可由下式所示：

式中，F₀为经过步骤一拼接得到的数据立方体，H_DARB1为经过第一个双注意力残差块DARB的特征提取操作，H_DARB2为经过第二个双注意力残差块DARB的特征提取操作，H_DARB3为经过第三个双注意力残差块DARB的特征提取操作，F_G为经过三个双注意力残差块DARB进行特征提取后得到的特征图；

步骤三、再将经过主干网络进行初步特征提取结果进行分组，表示为S＝1,...11；再通过双注意力残差块DARB组成的分组网络进行深层特征提取；各组网络采用权值共享的方式来减少训练参数量；该步骤的特征提取过程可表示为：

F_B^(S)＝H_Branch(F_G^(S)),S＝1,...11

式中，S为分组网络所分组数；F_G^(S)为第S组特征图，H_Branch为经过分组网络的特征提取操作；F_B^(S)为经过分组网络进行特征提取后得到的第S组特征图；

步骤四、将分组网络得到的多组特征进行通道数拼接，表示为F_BG＝{F_B⁽¹⁾,F_B⁽²⁾,...,F_B⁽¹¹⁾}，然后通过DARB组成的主干网络获得最终的视频重建结果；该步骤的重建过程可表示为：

式中，H_DARB1为经过第一个双注意力残差块DARB的特征提取操作，H_DARB2为经过第二个双注意力残差块DARB的特征提取操作，H_DARB3为经过第三个双注意力残差块DARB的特征提取操作，F_rec为经过三个双注意力残差块DARB进行特征提取后得到的特征图。