[发明专利]一种极低码率人机协同图像编码训练方法及编解码方法

权利要求书

1.一种极低码率人机协同图像编码器训练方法，其步骤包括：

1)生成或收集一批图像作为训练集，利用该训练集训练得到一个生成模型；构建一神经网络，包括特征提取与映射网络、超先验模型、所述生成模型；

2)利用所述特征提取与映射网络对该训练集中的每一图像I_j进行特征提取，并将提取的图像特征通过多层次逆向放大加和，获得多层次特征，然后将每一层次特征进行流形映射，得到图像I_j的流形特征；其中，获得多层次特征的方法为：首先通过多层卷积网络f_i(·)抽取尺度逐渐变小的多层深度特征F_i：F₁＝f₁(I_j)，F_i+1＝f_i+1(F_i),i＝1,…,8；然后使用多层深度网络g_i(·)将最小尺度的特征F₉，映射为尺度逐渐放大的多层深度特征G_i；G₉＝F₉，G_i-1＝g_i(G_i)+F_i-1,i＝2,…,9；

3)使用所述超先验模型对所述流形特征构建码率约束，并对所述流形特征进行编解码，得到二进制码流和重建后的流形特征；

4)根据码率约束对图像I_j进行紧致损失函数计算；

5)对重建后的流形特征进行人眼视觉映射，将映射后的特征输入到所述生成模型中，得到人眼视觉重建结果，根据所述人眼视觉重建结果与图像I_j进行损失函数计算；

6)将重建后的流形特征输入到机器视觉模型中，得到机器视觉预测结果；根据所述机器视觉预测结果与机器视觉任务的标签进行损失函数计算；

7)将步骤4)、5)、6)中计算得到的损失值进行加权求和，反向传播到所述神经网络各层，以更新权值；

8)重复步骤2)-7)直到所述神经网络的损失收敛，得到训练后的所述神经网络，即极低码率人机协同图像编码器。

2.如权利要求1所述的方法，其特征在于，随机采样高斯噪音，输入到生成模型中，生成模型生成预测图像，并使用对抗生成学习引导生成模型的训练，最终学习得到一个生成模型。

3.如权利要求1所述的方法，其特征在于，步骤2)中，特征提取与映射网络通过n层卷积网络对图像I_j进行特征提取，得到尺度逐渐变小的n层深度特征；然后使用n层深度网络将最小尺度的特征映射为尺度逐渐放大的n层深度特征；流形映射单元对放大后的每一层深度特征进行映射为流形特征。

4.如权利要求1或2或3所述的方法，其特征在于，所述超先验模型包括分析模型、合成模型、概率预测模型、算术编码器和算术解码器；得到重建的流形特征的方法为：分析模型将流形特征W映射为超先验特征h；然后根据设定的概率分布，使用算术编码器C_e将超先验特征h映射为超先验码流b_h；然后算术解码器根据所述概率分布将超先验码流b_h重新映射为超先验特征h并发送给合成模型；然后合成模型将收到的超先验特征h映射为h′；然后概率预测模型基于h′预测流形特征W的概率分布；算术编码器C_e′根据预测的流形特征的概率分布，将流形特征W映射为码流b_w；然后使用算术解码器C_d′根据预测的流形特征的概率分布将b_w反向映射为解码后的流形特征

5.如权利要求1或2或3所述的方法，其特征在于，步骤5)中，将重建的流形特征输入到人眼视觉映射与生成网络，得到映射后的特征经过生成模型的仿射映射，得到人眼视觉重建结果之后经由生成模型，得到重建图像然后计算和I_j之间的距离作为人眼视觉重建损失函数L_h。

6.如权利要求5所述的方法，其特征在于，所述人眼视觉映射与生成网络为四层卷积层构成的卷积网络。