[发明专利]一种基于轻量化网络的超分辨率图像重建方法

权利要求书

1.一种基于轻量化网络的超分辨率图像重建方法，其特征在于，包含以下步骤：

步骤1，用设计的ShuffleNet unit代替EDSR超分辨率重建模型的ResBlock(残差块)中两个的卷积核，得到改进后的网络模型，其中，ShuffleNet unit由1×1GConv(逐点组卷积)、通道混洗、3×3DWConv(深度分离卷积)、1×1GConv四个部分组成；

步骤2，对步骤1中改进后的网络模型进行权值参数压缩训练，包括以下子步骤；

步骤2.1，将权值矩阵中权值绝对值小于阈值的连接进行剪枝，得到剪枝后的稀疏矩阵；

步骤2.2，对步骤2.1得到的稀疏矩阵中的权值进行量化，完成所有权值的数值共享；

步骤2.3，采用霍夫曼编码方式对权值数据进行编码；

步骤3，将所需要超分辨率重建的图像通过上述训练好的网络模型进行计算，得到重建后放大的图像。

2.根据权利要求书1所述的一种基于轻量化网络的超分辨率图像重建方法，其特征在于：步骤1中ShuffleNet unit的具体处理过程如下，

先用1×1GConv进行卷积，假设上一层的输出特征图有N个，即通道数＝N，将通道数分成3份，再将1×1Gconv分为3组，每一个组对应N/3个通道，进行卷积操作；然后各个组卷积完成后将输出叠在一起，作为这一层的输出通道，得到新的特征图之后，进行批量归一化和激活函数ReLU处理；

再作通道混洗，把得到的新的特征图分为g组，则有g×n个输出通道，利用reshape将其转换为(g,n)的大小，再转置为(n,g)，最后平均分组,再分回g组作为下一层的输入；

然后利用3×3DWConv进行卷积运算，即用in_channels个3×3的卷积核和输入的对应通道特征图谱卷积，再用out_channels个1×1的卷积核进行卷积得到out_channels个特征图谱并进行融合、批量归一化处理；

最后，为了适配和恒等映射做通道融合，再用1×1GConv进行卷积并做批量归一化处理。

3.根据权利要求1所述的一种基于轻量化网络的超分辨率图像重建方法，其特征在于：步骤2.1中剪枝的过程为，使用阈值为a进行剪枝，权值绝对值小于a的连接将被剪掉，然后再训练网络模型，假如所得的新网络模型不会使图像质量下降，即调整阈值为10*a，如果此时质量大幅度下降，便进行阈值的格点扫描，扫描的范围从10*a到a，步长为a，直到找到保证图像质量不变，阈值最高的值，并对此时的阈值进行微调。

4.根据权利要求3所述的一种基于轻量化网络的超分辨率图像重建方法，其特征在于：步骤2.1中剪枝后的稀疏矩阵，其中权值的索引变更为存储跟上一个有效权值的相对位置，即后面的元素依次存储的是与前一个非零元素的索引差值(跨度阈值)，同时采用固定bit来存储索引差值，其中跨度阈值在卷积层设置为8，全连接层为5。

5.根据权利要求1或2或3或4所述的一种基于轻量化网络的超分辨率图像重建方法，其特征在于：步骤2.2的具体实现方式如下，

步骤2.2.1，先在权值的最大值和最小值之间间隔均匀的去量化输出，从而得到初始化k-means质心，公式如下所示，其中n为量化的位数：

其中，w_min为稀疏矩阵中最小的权值，w_max为稀疏矩阵中最大的权值，k为第k个质心，k∈[0,2ⁿ)，为计算获得的初始化的第k个质心的值；

然后利用k-means函数确定量化阈值，即确定对于每一个权值使用哪个量化输出代替值，一个簇内的权值均共享一个值(质心值)；

步骤2.2.2，首先进行正常的前向传播和反向传播，等pytorch框架自动生成梯度矩阵后，对k-means类聚质心进行微调，微调的方式是对属于同一簇的所有权值对应的梯度进行求和，乘以学习率，再从质心中减去，公式如下：

其中为第n次微调后的结果，lr为学习率，C_k为类聚属于k簇的所有权值构成的集合，grad(w)表示权值w对应的梯度，i,j为稀疏矩阵的索引，w_ij为稀疏矩阵的第i行第j列，微调过程的初值为k-means输出的类聚质心。