[发明专利]一种基于动态重建的多分支视频超分辨率方法及系统

权利要求书

1.一种基于动态重建的多分支视频超分辨率方法，其特征在于，包括以下步骤：

S1、将从目标视频中提取的帧序列以7个帧为单位作为一个输入数据；

S2、将输入数据的全部7个帧输入到第一分支，将输入数据的中间5个帧输入第二分支，将输入数据的中间3个帧输入第三分支，分别通过第一分支、第二分支和第三分支得到一个特征图；其中第一分支包括5个依次相连的MREB模块，第二分支包括4个依次相连的MREB模块，第三分支包括3个依次相连的MREB模块；第一分支的第n+1个MREB模块与第二分支的第n个MREB模块相连，第二分支的第m+1个MREB模块与第三分支的第m个MREB模块相连，n＝1,2,3,4；m＝1,2,3；每个分支的通道数均为64；

S3、将三个分支生成的特征图直接相加后，通过二元自适应均值池化层将相加后的数据的高和宽均调整为1，得到大小调整后的数据；

S4、通过第一全连接层将大小调整后的数据的维度调整为8，得到维度调整后的数据；

S5、将维度调整后的数据分别输入第二全连接层、第三全连接层和第四全连接层，得到三个64维不同大小的特征描述变量，并将三个64维不同大小的特征描述变量分别作为三个分支对应的权重；

S6、将每个分支生成的特征图和对应的权重相乘，并将三个相乘结果之和作为目标特征图；

S7、将目标特征图进行子像素卷积上采样，完成视频超分辨率；

步骤S2中第一分支的大小为7×7，第二分支的大小为5×5，第三分支的大小为3×3；

步骤S2中每个MREB模块均包括依次相连的第一E3DB单元、第二E3DB单元、第一相加单元和第二相加单元，依次相连的第一下采样单元、第三E3DB单元、第三相加单元和第一上采样单元，以及依次相连接的第二下采样单元、通道洗牌单元和第二上采样单元；所述第一E3DB单元、第一下采样单元和第二相加单元的另一个输入端共同作为MREB模块的输入端；所述第二下采样单元的输入端与第一下采样单元的输出端相连，所述第二上采样单元的输出端与第三相加单元的另一个输入端相连，所述第一上采样单元与第一相加单元的另一个输入端相连；所述第二相加单元的输出端为MREB模块的输出端；

第一E3DB单元、第二E3DB单元和第三E3DB单元均包括一个通道维度分离子单元，通道维度分离子单元的输入端为其所在E3DB单元的输入端，通道维度分离子单元的两个输出端分别连接第一子分支和第二子分支的输入端，所述第一子分支和第二子分支的输出端分别连接连接子单元的两个输入端；连接子单元的输出端依次连接第一K×1×1的卷积核和第一PReLU激活层，第一PReLU激活层的输出端为其所在E3DB单元的输出端；

第一子分支包括依次连接的第一1×K×1卷积核、第一1×1×K卷积核和第二PReLU激活层；第二子分支包括依次连接的第二1×1×K卷积核、第二1×K×1卷积核和第三PReLU激活层；其中第一分支中E3DB单元的K值为7，第二分支中的E3DB单元的K值为5，第三分支中的E3DB单元的K值为3。

2.一种基于动态重建的多分支视频超分辨率系统，其特征在于，包括依次连接的取帧模块、特征图生成模块、大小调整模块、维度调整模块、权重获取模块、目标特征图获取模块和超分辨率模块；

所述取帧模块，用于将从目标视频中提取的帧序列以7个帧为单位作为一个输入数据；

所述特征图生成模块，包括第一分支、第二分支和第三分支，其中第一分支包括5个依次相连的MREB模块，第二分支包括4个依次相连的MREB模块，第三分支包括3个依次相连的MREB模块；第一分支的第n+1个MREB模块与第二分支的第n个MREB模块相连，第二分支的第m+1个MREB模块与第三分支的第m个MREB模块相连，n＝1,2,3,4；m＝1,2,3；每个分支的通道数均为64；用于将输入数据的全部7个帧输入到第一分支，将输入数据的中间5个帧输入第二分支，将输入数据的中间3个帧输入第三分支，分别通过第一分支、第二分支和第三分支得到一个特征图；

所述大小调整模块，用于将三个分支生成的特征图直接相加后，通过二元自适应均值池化层将相加后的数据的高和宽均调整为1，获取大小调整后的数据；

所述维度调整模块，用于通过第一全连接层将大小调整后的数据的维度调整为8，获取维度调整后的数据；

所述权重获取模块，用于将维度调整后的数据分别输入第二全连接层、第三全连接层和第四全连接层，得到三个64维不同大小的特征描述变量，并将三个64维不同大小的特征描述变量分别作为三个分支对应的权重；

所述目标特征图获取模块，用于将每个分支生成的特征图和对应的权重相乘，并将三个相乘结果之和作为目标特征图；

所述超分辨率模块，用于将目标特征图进行子像素卷积上采样，完成视频超分辨率；

第一分支的大小为7×7，第二分支的大小为5×5，第三分支的大小为3×3；

每个MREB模块均包括依次相连的第一E3DB单元、第二E3DB单元、第一相加单元和第二相加单元，依次相连的第一下采样单元、第三E3DB单元、第三相加单元和第一上采样单元，以及依次相连接的第二下采样单元、通道洗牌单元和第二上采样单元；所述第一E3DB单元、第一下采样单元和第二相加单元的另一个输入端共同作为MREB模块的输入端；所述第二下采样单元的输入端与第一下采样单元的输出端相连，所述第二上采样单元的输出端与第三相加单元的另一个输入端相连，所述第一上采样单元与第一相加单元的另一个输入端相连；所述第二相加单元的输出端为MREB模块的输出端；

第一E3DB单元、第二E3DB单元和第三E3DB单元均包括一个通道维度分离子单元，通道维度分离子单元的输入端为其所在E3DB单元的输入端，通道维度分离子单元的两个输出端分别连接第一子分支和第二子分支的输入端，所述第一子分支和第二子分支的输出端分别连接连接子单元的两个输入端；连接子单元的输出端依次连接第一K×1×1的卷积核和第一PReLU激活层，第一PReLU激活层的输出端为其所在E3DB单元的输出端；

第一子分支包括依次连接的第一1×K×1卷积核、第一1×1×K卷积核和第二PReLU激活层；第二子分支包括依次连接的第二1×1×K卷积核、第二1×K×1卷积核和第三PReLU激活层；其中第一分支中E3DB单元的K值为7，第二分支中的E3DB单元的K值为5，第三分支中的E3DB单元的K值为3。