[发明专利]基于强化学习的VVC的快速帧内编码方法

说明书

本发明涉及一种基于强化学习的VVC的快速帧内编码方法。首先，离线训练强化学习模型。然后，在编码过程中使用训练好的模型对编码单元（CU）的划分模式进行预测。最后，跳过未被选择的CU划分模式以节省编码时间。在不影响编码器编码性能的情况下，本发明所提出的算法相比于原始编码器能够节省较多的编码器编码时间。

技术领域

本发明涉及视频编码技术领域，特别是一种基于强化学习的VVC的快速帧内编码方法。

背景技术

近年来，随着视频技术的高速发展，以及人们对高质量视频的需求，各种高质量、高分辨率视频已经和我们的生活密切联系，不可分割。同时，4K、8K超高清、全景视频等先进视频应用也在进一步发展与普及。但是，有限的带宽一直是制约视频技术发展的重要因素。因此，对更加有效的视频编码的研究迫在眉睫。联合视频专家小组(Joint Video ExpertsGroup，JVET) 于2018年4月10日美国圣地亚哥会议上，为新一代视频编码标准定名为多功能视频编码 (Versatile Video Coding，VVC)，主要目标是改进现有高效视频编码(HighEfficiency Video Coding， HEVC)，提供更高的压缩性能，同时针对新兴应用如360°全景视频和高动态范围成像(High Dynamic Range Imaging，HDR)进行优化。

相比较HEVC而言，VVC的编码性能提升一倍。但是，与HEVC对CU的划分仅采用四叉树划分模式不同的是，VVC对CU的划分采用了更为复杂的划分模式，每个CU有5种划分模式：四叉树划分、二叉树水平划分、二叉树垂直划分、三叉树水平划分、三叉树垂直划分。CU 在编码过程中需要遍历所有的划分模式，以寻找RDcost最小的划分模式。这也是造成VVC编码计算复杂度急剧增加的主要原因。为了解决这个问题，本发明从VVC帧内编码划分模式着手，将强化学习与VVC划分模式结合，提出一种基于强化学习的VVC快速帧内编码算法，通过快速寻找最佳CU划分模式，跳过不必要的划分模式的计算，以解决VVC编码的计算复杂度高的问题。

发明内容

本发明的目的在于提供一种基于强化学习的VVC的快速帧内编码方法，该方法相比于已有优化算法可在基本不损失编码质量的前提下降低更多的编码复杂度。

为实现上述目的，本发明的技术方案是：一种基于强化学习的VVC的快速帧内编码方法，包括如下步骤：

步骤S1、基于强化学习理论和Q学习的深度强化学习模型，即DQN模型，确定模型参数，目标神经网络的价值反馈函数、损失函数；

步骤S2、采用离线训练方法，训练强化学习模型；

步骤S3、利用步骤S2中训练好的强化学习模型，对编码单元CU的划分模式进行预测，并选择最优CU划分模式，以跳过未被选择的CU划分模式，从而节省帧内编码的编码时间。

在本发明一实施例中，所述步骤S1具体实现如下：

步骤S11、根据DNQ模型，以及结合帧内编码的实际情况，由于CU进行划分后会有多个子CU，因此将目标神经网络的价值反馈函数定义如下：