[发明专利]基于深度学习的感兴趣区域图像编码、解码系统及方法

权利要求书

1.一种基于深度学习的感兴趣区域图像编码系统，其特征在于，包括：

感兴趣区域编码网络模块，该模块基于深度卷积神经网络，将输入原始图像分解为多个尺度的图像特征并进行量化，同时对所述原始图像进行图像分析得到感兴趣区域掩模矩阵，将量化的所述多个尺度的图像特征以及所述感兴趣区域掩模矩阵发送至码率分配模块；

码率分配模块，根据所述感兴趣区域编码网络模块得到的所述感兴趣区域掩模矩阵和所述多个尺度的图像特征进行码率分配，并将分配后的整数图像特征作为编码结果发送至熵编码模块；

熵编码模块，将所述码率分配模块分配后的整数图像特征编码为二进制码流并输出；

所述基于深度学习的感兴趣区域图像编码系统还包括参数离线训练过程，步骤如下：

A1：在高清自然训练图像中随机裁剪256×256的图像块组成训练集，并对所述图像块进行随机翻转以扩充训练数据，同时对人工标注好的感兴趣区域真值掩模图像进行同样的操作，并将两次操作的结果组成数据标签对以供训练；

A2：对网络中的量化操作使用加均匀分布的随机噪声来近似，对生成感兴趣区域掩模时的硬判决操作使用软判决来近似；

A3：利用随机梯度下降算法对整个系统的参数进行联合优化，直到率失真损失收敛；

在所述随机梯度下降算法中，损失函数是码率、感兴趣区域的失真和整张图的平均失真的加权和；其中感兴趣区域的失真由像素级失真衡量，整张图的平均失真由全局性结构失真衡量。

2.如权利要求1所述的基于深度学习的感兴趣区域图像编码系统，其特征在于，所述感兴趣区域编码网络模块基于深度卷积神经网络构建而成，其中：卷积层采用标准的卷积神经网络层；归一化层和采用广义归一化层；通道连接操作将多个尺度的图像特征在通道维度上连接在一起，输出完整的特征图。

3.如权利要求1所述的基于深度学习的感兴趣区域图像编码系统，其特征在于，所述码率分配模块基于高效的元素过滤或元素乘法操作。

4.一种感兴趣区域图像解码系统，其特征在于，用于解码权利要求1所述系统形成的编码，包括：

熵解码模块，对经过熵编码后输出的二进制码流进行熵解码，得到图像特征并输出至感兴趣区域解码网络模块；

感兴趣区域解码网络模块，基于深度卷积神经网络将熵解码得到的图像特征重构为解码图像并输出。

5.如权利要求4所述的感兴趣区域图像解码系统，其特征在于，所述感兴趣区域解码网络模块基于深度卷积神经网络构建而成，其中：反卷积层采用标准的卷积神经网络层；反归一化层采用广义反归一化层；通道分离操作将图像特征在通道维度上平均分成多组特征图输出。

6.一种基于深度学习的感兴趣区域图像编码方法，其特征在于，包括：

S101：将原始图像输入感兴趣区域编码网络模块，输出得到多尺度图像特征以及感兴趣区域掩模矩阵；

S102：对S101中得到的多尺度图像特征量化为整数；

S103：根据感兴趣区域掩模矩阵对S102中得到的量化成整数的多尺度图像特征进行码率分配；

S104：对S103中得到的分配后的图像特征进行熵编码，得到二进制码流并输出；

所述基于深度学习的感兴趣区域图像编码方法还包括参数离线训练过程，步骤如下：

A1：在高清自然训练图像中随机裁剪256×256的图像块组成训练集，并对所述图像块进行随机翻转以扩充训练数据，同时对人工标注好的感兴趣区域真值掩模图像进行同样的操作，并将两次操作的结果组成数据标签对以供训练；

A2：对网络中的量化操作使用加均匀分布的随机噪声来近似，对生成感兴趣区域掩模时的硬判决操作使用软判决来近似；

A3：利用随机梯度下降算法对整个系统的参数进行联合优化，直到率失真损失收敛；

在所述随机梯度下降算法中，损失函数是码率、感兴趣区域的失真和整张图的平均失真的加权和；其中感兴趣区域的失真由像素级失真衡量，整张图的平均失真由全局性结构失真衡量。