[发明专利]多项式运动建模的帧间编码方法、系统、设备与存储介质

说明书

本发明公开了一种多项式运动建模的帧间编码方法、系统、设备与存储介质，相关方法包括：对于当前视频帧的每一参考帧，使用k阶多项式进行建模，获得每一参考帧的像素的光流，并结合流向变换技术，获得当前视频帧的像素的光流；利用当前视频帧的像素的光流进行运动预测，获得预测帧；利用所述预测帧对当前视频帧进行帧间编码。本发明公开的方案能灵活适用于不同预测模式，并且能准确建模非线性运动以提高帧间压缩性能。

技术领域

本发明涉及视频压缩编码技术领域，尤其涉及一种多项式运动建模的帧间编码方法、系统、设备与存储介质。

背景技术

视频的压缩编码是电子信息时代的重要技术，有助于减小视频的传输带宽与存储消耗。视频编码的主要目标是去除视频帧之间的时域相关性，从而获得更高的率失真性能。

有损视频压缩编码技术可以分为传统编码方法和基于深度学习的编码方法。传统视频编码是一种发展了几十年的成熟方案，采用混合编解码框架，代表算法有H.264/AVC,H.265/HEVC和H.266/VVC。而深度视频编解码结合了神经网络训练，是近几年提出的一种端到端优化的新框架。

目前主流视频压缩编码方法是先通过运动补偿利用参考帧来预测当前需要编码的视频帧，然后编码预测帧和当前帧的残差，从而去除时域冗余。在这个过程中，根据已有参考帧灵活准确地建模运动信息扮演着非常重要的角色。一个高效的运动模型可以在编解码双方提供准确的运动预测，减少当前帧需要编码的运动信息的码率，提高帧间预测效果。现有方法通常使用线性运动模型或者用固定输入参考帧数量的神经网络进行运动建模，存在以下缺点：1)只适用于固定预测模式，不能灵活调整输入参考帧数量和参考帧结构，2)线性运动模型不能准确预测真实世界复杂的非线性运动。

发明内容

本发明的目的是提供一种多项式运动建模的帧间编码方法、系统、设备与存储介质，能灵活适用于不同预测模式，并且能准确建模非线性运动以提高帧间压缩性能。

本发明的目的是通过以下技术方案实现的：

一种多项式运动建模的帧间编码方法，包括：

对于当前视频帧的每一参考帧，使用k阶多项式进行建模，获得每一参考帧的像素的光流，并结合流向变换技术，获得当前视频帧的像素的光流；

利用当前视频帧的像素的光流进行运动预测，获得预测帧；

利用所述预测帧对当前视频帧进行帧间编码。

一种多项式运动建模的帧间编码系统，其特征在于，用于实现前述的方法，该系统包括：

光流预测模块，用于对当前视频帧的每一参考帧，使用k阶多项式进行建模，获得每一参考帧的像素的光流，并结合流向变换技术，获得当前视频帧的像素的光流；

运动预测模块，用于利用当前视频帧的像素的光流进行运动预测，获得预测帧；

帧间编码模块，用于利用所述预测帧对当前视频帧进行帧间编码。

一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现前述的方法。

由上述本发明提供的技术方案可以看出：1)能够灵活适用于不同预测模式，比如不同的参考帧数量，不同的参考结构；能够以一套模型处理多种模式，相比多套模型处理多套模式更高效；2)能够准确建模非线性运动，相比线性运动模型更适用于自然场景视频压缩；3)具有广泛的适用性，在多码率点、多种模型、多数据集上均有良好的性能提升效果。

附图说明