[发明专利]一种视频编码方法、装置、终端设备及存储介质

说明书

本发明公开一种视频编码方法、装置、终端设备及存储介质，方法包括：当待编码图像属于帧内编码时，通过预先以机器智能任务为目标训练的视频编码模型进行图像编码、量化和熵编码，获得二进制码流；当待编码图像属于帧间编码时，通过视频编码模型，首先进行运动估计，然后进行运动矢量编码、量化和熵编码，对待编码运动矢量信号进行运动矢量解码和运动补偿，然后根据待编码图像获得预测残差；根据隐向量和运动矢量隐向量获取显著图像以对预测残差进行滤波，然后进行残差编码、量化和熵编码获得预测残差码流，结合运动矢量码流获得整合码流；根据各待编码图像的二进制码流/整合码流，获得目标压缩视频。本发明能够满足机器智能任务的视频编码需求。

技术领域

本发明涉及视频处理技术领域，尤其是涉及一种视频编码方法、装置、终端设备及计算机可读存储介质。

背景技术

视频编码，也称视频压缩，其目的是消除视频信号间存在的冗余信息。在现有技术中，通常采用基于神经网络的视频编码模型以实现端到端的视频编码，然而其目的是为了人类视觉观赏，以像素保真作为视频编码的目标，当面临如图像分类、目标检测、目标分割等机器智能任务时，通过该视频编码方式所输出的压缩视频不具备面向机器智能任务的显著性信息，因此现有技术中的该视频编码方式无法有效地满足机器智能任务的视频编码需求。

发明内容

本发明提供一种视频编码方法、装置、终端设备及存储介质，通过预先以机器智能任务为目标训练的视频编码模型对待编码视频进行编码，并在编码过程中引入面向机器智能任务的显著图像，能够有效分配待编码视频中不同区域的信息保持程度，减少了对机器智能任务不敏感的信息的编码和传输，从而有效地满足机器智能任务的视频编码需求。

为了解决上述技术问题，本发明实施例第一方面提供一种视频编码方法，包括如下步骤：

基于待编码视频中的若干视频帧，获取若干待编码图像；

当当前的待编码图像的编码方式为帧内编码方式时，将所述待编码图像输入至预设的视频编码模型，依次对所述待编码图像进行图像编码处理、量化处理和熵编码处理，获得所述待编码图像的二进制码流；

当当前的待编码图像的编码方式为帧间编码方式时，将所述待编码图像输入至所述视频编码模型，利用预设的参考图像对所述待编码图像进行运动估计，获得运动矢量；依次对所述运动矢量进行运动矢量编码处理、量化处理和熵编码处理，分别获得运动矢量隐向量、待编码运动矢量信号和运动矢量码流；基于所述参考图像，依次对所述待编码运动矢量信号进行运动矢量解码处理和运动补偿，获得预测图像，并根据所述待编码图像和所述预测图像，获得预测残差；对所述待编码图像进行图像编码处理，获得隐向量，并根据所述隐向量和所述运动矢量隐向量，通过预设的显著图生成模块获取显著图像；根据所述显著图像，对所述预测残差进行滤波，并依次对滤波后的预测残差进行残差编码处理、量化处理和熵编码处理，获得预测残差码流；根据所述运动矢量码流和所述预测残差码流，获得所述待编码图像的整合码流；

根据各待编码图像的所述二进制码流/所述整合码流，获得目标压缩视频；

其中，所述视频编码模型包括图像压缩子模型、视频压缩子模型和所述显著图生成模块；所述图像压缩子模型至少包括图像编码器、量化器和熵编码器；所述视频压缩子模型至少包括运动估计网络、运动矢量编码器、若干量化器、若干熵编码器、运动矢量解码器、运动补偿网络、滤波器和残差编码器；所述显著图生成模块包括若干卷积层和反卷积层；所述图像编码器和所述显著图生成模块均预先以预设机器智能任务为目标进行训练。

作为优选方案，所述依次对所述待编码图像进行图像编码处理、量化处理和熵编码处理，获得所述待编码图像的二进制码流，具体包括如下步骤：

基于所述图像压缩子模型，对所述待编码图像进行图像编码处理，获得包含所述预设机器智能任务所对应的显著性信息的隐向量；

对所述隐向量进行量化处理，获得待编码信号；

对所述待编码信号进行熵编码处理，获得所述待编码图像的二进制码流。