[发明专利]基于强化学习的VVC的快速帧内编码方法

权利要求书

1.一种基于强化学习的VVC的快速帧内编码方法，其特征在于，包括如下步骤：

步骤S1、基于强化学习理论和Q学习的深度强化学习模型，即DQN模型，确定模型参数，目标神经网络的价值反馈函数、损失函数；

步骤S2、采用离线训练方法，训练强化学习模型；

步骤S3、利用步骤S2中训练好的强化学习模型，对编码单元CU的划分模式进行预测，并选择最优CU划分模式，以跳过未被选择的CU划分模式，从而节省帧内编码的编码时间。

2.根据权利要求1所述的基于强化学习的VVC的快速帧内编码方法，其特征在于，所述步骤S1具体实现如下：

步骤S11、根据DNQ模型，以及结合帧内编码的实际情况，由于CU进行划分后会有多个子CU，因此将目标神经网络的价值反馈函数定义如下：

其中，N表示采用划分模式后得到的子CU个数；S表示在不同的划分模式下所对应的CU状态；A表示在状态S下可执行的划分动作，在VVC快速帧内编码中，每个CU对应着四叉树划分、二叉树水平划分、二叉树垂直划分、三叉树水平划分、三叉树垂直划分五种划分动作模式；Q(S，A)表示在状态S下，执行动作A之后的价值反馈函数；S′_n表示第n个CU在状态S执行划分动作A之后的下一个状态，即CU划分之后的状态；A′_n表示状态为第n个CU在状态S′_n下，可继续执行的划分动作；Q′(S′_n，A′_n)表示在S′_n状态下，执行A′_n动作后的价值反馈函数，该函数的引入，使得对当前状态S进行价值估计时，可以考虑到未来的状态价值对当前的影响；γ是一个衰减因子，范围为0到1，且γ越大，表示下一个CU的状态对当前CU状态的影响越大；R为状态S下执行动作A所获得的即时反馈值，R定义如下：

R＝R_intra-R_A

其中，R_intra表示CU帧内预测时的率失真代价值，即RD cost值；R_A表示CU帧内预测时，采用划分模式A时的RD cost值；

对于强化学习来说，损失函数用于衡量经过学习所得到的模型性能的好坏，损失函数L的定义如下：

L＝(Q′(S，A)-Q(S，A))²

其中，Q′(S，A)为目标函数；损失函数的引入，希望DQN网络在训练中所取得的价值反馈函数不断逼近目标函数；

步骤S12、基于步骤S11确定的价值反馈函数，选取3个与编码划分模式相关的编码参数(s₁-s₃)以及8个与视频残差图像相关的参数(s₄-s₁₁)，作为状态S中的状态特征，s₁-s₁₁的具体定义分别为：当前CU的帧内预测RD cost值、量化参数Qp、CU大小、CU亮度预测残差图的像素值方差、CU采取四叉划分后4个子CU块像素值方差的均值、CU亮度预测残差图采取二叉树水平划分后4个子CU块像素值方差的均值、CU亮度预测残差图采取二叉树垂直划分后，4个子CU块像素值方差的均值、CU亮度预测残差图采取三叉树水平划分后4个子CU块像素值方差的均值、CU亮度预测残差图采取三叉树垂直划分后4个子CU块像素值方差的均值、CU亮度预测残差图的Sobel水平梯度均值、CU亮度预测残差图的Sobel垂直梯度均值；其中s₁₀及s₁₁的计算公式分别如下：

其中，W和H分别表示CU的长和宽；G_x及G_y分别表示Sobel算子水平及垂直边缘检测的图像，其定义如下：

其中，M代表CU的亮度预测残差图矩阵；

步骤S13、基于步骤S12，采用简单的3层全连接神经网络层作为DQN的动作价值Q及Q′的预测网络结构，该3层神经网络包括1个输入层、1个隐含层、1个输出层，每层对应的神经元数目分别为11、16、5，预测网络输入为步骤S12中定义的11个状态值，输出为5种划分模式对应的实际动作价值反馈，即Q值。