[发明专利]一种基于网络二值化推理加速的图像超分辨率重建方法

说明书

本发明涉及一种基于网络二值化推理加速的图像超分辨率重建方法，包括：获取待重建的低分辨率图像；将所述待重建的低分辨率图像输入至训练好的图像超分辨率重建模型中，得到最终的高分辨图像，其中，所述图像超分辨率重建模型包括依次连接的第一层卷积层、多个堆叠的二值残差块以及第二层卷积层，所述二值残差块为由权值和激活均进行二值量化处理的残差块得到。本发明首先采用多个矫正的阈值获取多视角下的二值激活表征，可以获取更准确的二值激活表达，显著降低由于二值化过程带来的量化误差。随后，模拟多bit网络的卷积操作，利用1‑bit网络去模拟多bit网络，提高二值网络的信息承载能力，进而提高二值超分网络对于高频细节信息的恢复。

技术领域

本发明属于人工智能和图像处理技术领域，涉及一种基于网络二值化推理加速的图像超分辨率重建方法。

背景技术

图像超分辨率重建旨在通过一张低分辨率图像重建一张高分辨率图像，在视频监控、医学影像等多个领域享有非常广阔的应用空间。近年来，得益于卷积神经网络的飞速发展，基于深度学习的图像超分辨重建算法取得了巨大成功。然而，随着网络性能的不断提升，网络结构也趋于复杂，因而带来了极高的存储代价和计算需求。尽管现有的超分模型性能优异，但很难实现实时处理，且依赖于高性能的计算设备如图像处理单元(GraphicsProcessing Unit，GPU)或张量处理单元(Tensor Processing Unit，TPU)，严重限制了其在便携式移动设备中的应用与推广。因此，图像超分辨重建模型需要有效降低存储和计算的资源消耗，满足现有资源有限设备的需求。

二值神经网络通过将网络中的权值和激活限制为-1和+1，同时将网络中的乘法运算转换为位运算，享有极高的模型压缩比和速度增益比，可满足手机等便携式移动设备对于超分过程的计算需求。因此，基于二值神经网络的图像超分辨率重建网络的研究具有重要意义。

然而，现有方法通常采用标准的量化过程获取二值激活，当特征分布呈显著不均匀时，会导致较大的量化误差。此外，超分辨率任务中的网络激活包含丰富图像信息(颜色、纹理等等)，而二值神经网络的信息承载能力有限，严重影响重建图像的高频细节信息恢复。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于网络二值化推理加速的图像超分辨率重建方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于局部均值二值量化的图像超分辨率方法，所述图像超分辨率重建方法包括：

获取待重建的低分辨率图像；

将所述待重建的低分辨率图像输入至训练好的图像超分辨率重建模型中，得到最终的高分辨图像，其中，所述图像超分辨率重建模型包括依次连接的第一层卷积层、多个堆叠的二值残差块以及第二层卷积层，所述二值残差块为由权值和激活均进行二值量化处理的残差块得到。

在本发明的一个实施例中，所述第一层卷积层和所述第二层卷积层均为3×3卷积层，所述二值残差块的总数量为9个。

在本发明的一个实施例中，所述二值残差模块的权值的二值量化过程表示为：

其中，W^b表示二值权值，Sign表示量化函数，W表示实值权值，τ表示权值尺度因子，n表示权值的通道数目，||·||_l1表示l1正则。

在本发明的一个实施例中，所述二值残差模块的激活的二值量化过程包括：

S1.1、沿通道方向将所述残差块的激活a分解为第一子集a₁和第二子集a₂；