[发明专利]基于双向帧预测的极低码率人脸视频混合压缩方法及系统

说明书

本发明公开了一种针对人脸视频的双向帧预测方法，包括：在时域上采样人脸视频的三帧图像；获得所述三帧图像各自对应的关键点热力图；结合所述三帧图像和所述关键点热力图，重建出中间帧图像。本发明有助于合成时域上光滑流畅的视频，提升观者的主观体验；本发明还公开了基于上述方法的一种极低码率的人脸视频混合压缩方法，将传统编码技术能够进行像素级精确恢复的优势与深度学习技术能够基于简略信息进行高质量重建的优势相结合，达到了在极低码率下合成高质量人脸视频的目的。

技术领域

本发明涉及人脸视频压缩领域，特别涉及一种基于双向帧预测的极低码率人脸视频混合压缩方法及系统。

背景技术

视频通话是人们日常交流的常见途径，视频通话的使用场景日益增多。在网络质量较差的情况下，视频通话往往会被迫中断，严重影响使用者的通话体验。因此，如何在网络质量较差的情况下，实现稳定的超低码率视频通话是一个研究热点，对人脸视频压缩技术的研究变得日益重要。现有的人脸视频压缩方法可分为两大类:传统的编码方法和基于深度学习的方法。

传统的视频编码方法具有像素级精确恢复的优势，其中VVC是最先进的标准。与HEVC相比，VVC在保持相同视觉质量的同时节省了约50％的比特率。然而，以VVC为代表的这些传统方法并没有对视频内容进行区分，而是对所有视频进行了相同方式的压缩，尽管实际上人脸视频的压缩应该有更大的潜力。

深度学习具有基于简略信息的生成能力，因此在人脸视频压缩中具有很大的潜力。研究人员提出了一些基于深度学习的方法来实现人脸视频压缩。这些方法往往传输部分视频帧作为参考帧，再结合传输的人脸简略表征，采用深度学习的方法来合成完整的人脸视频帧，从而在大幅降低视频码流的同时，保证了视频画面的高质量重建。这些方法有的采用静态参考帧，导致在场景切换或大的姿态变换情况下难以保证良好的性能，无法实现高保真恢复；有的将合成帧加入参考帧池中，这容易造成错误积累，无法进行像素级的精确恢复，而这恰好是传统编码方法的强项。此外，现有的基于深度学习的人脸视频压缩方法大多难以实现比特率的动态调整，限制了其实用性。

发明内容

本发明提供一种针对人脸视频的双向帧预测方法及一种极低码率的人脸视频混合压缩方法及系统。

根据本发明的第一方面，本发明提供一种针对人脸视频的双向帧预测方法，包括：

在时域上采样人脸视频的三帧图像；

获得所述三帧图像各自对应的关键点热力图；

结合所述三帧图像和所述关键点热力图，重建出中间帧图像。

优选地，所述在时域上采集人脸视频的三帧图像，包括：

采集头尾两帧为关键帧图像，表示为Fk1、Fk2；

用Fk1和Fk2预测间隔在两帧之间的中间帧，即非关键帧图像Ft；

所述获得所述三帧图像各自对应的关键点热力图，包括：

对于在两帧关键帧之间的非关键帧图像Ft，利用基于卷积神经网络的关键点提取器提取到的关键点坐标，生成关键点热力图Ht；

对于所述关键帧图像Fk1、Fk2，使用基于卷积神经网络的关键点提取器得到关键点热力图Hk1、Hk2；

结合所述三帧图像和所述关键点热力图，重建出中间帧图像，包括：

所述关键帧图像Fk1、所述关键帧图像Fk1的关键点热力图Hk1以及所述非关键帧图像Ft的关键点热力图Ht输入到基于卷积神经网络的稠密运动网络中，得到稠密光流 Tk1和遮挡图Ok1；

将所述关键帧图像Fk1、所述稠密光流Tk1和所述遮挡图Ok1输入到基于卷积神经网络的生成器中得到利用关键帧图像Fk1重建的非关键帧图像Ft1’；