[发明专利]基于双向帧预测的极低码率人脸视频混合压缩方法及系统

权利要求书

1.一种针对人脸视频的双向帧预测方法，其特征在于，包括：

在时域上采样人脸视频的三帧图像；

获得所述三帧图像各自对应的关键点热力图；

结合所述三帧图像和所述关键点热力图，重建出中间帧图像。

2.根据权利要求1所述的一种针对人脸视频的双向帧预测方法，其特征在于，

所述在时域上采集人脸视频的三帧图像，包括：

采集头尾两帧为关键帧图像，表示为F_k1、F_k2；

用F_k1和F_k2预测间隔在两帧之间的中间帧，即非关键帧图像F_t；

所述获得所述三帧图像各自对应的关键点热力图，包括：

对于在两帧关键帧之间的非关键帧图像F_t，利用基于卷积神经网络的关键点提取器提取到的关键点坐标，生成关键点热力图H_t；

对于所述关键帧图像F_k1、F_k2，使用基于卷积神经网络的关键点提取器得到关键点热力图H_k1、H_k2；

结合所述三帧图像和所述关键点热力图，重建出中间帧图像，包括：

所述关键帧图像F_k1、所述关键帧图像F_k1的关键点热力图H_k1以及所述非关键帧图像F_t的关键点热力图H_t输入到基于卷积神经网络的稠密运动网络中，得到稠密光流T_k1和遮挡图O_k1；

将所述关键帧图像F_k1、所述稠密光流T_k1和所述遮挡图O_k1输入到基于卷积神经网络的生成器中得到利用关键帧图像F_k1重建的非关键帧图像F_t1’；

所述关键帧图像F_k2、所述关键帧图像F_k2的关键点热力图H_k2以及所述非关键帧图像F_t的关键点热力图H_t输入到基于卷积神经网络的稠密运动网络中，得到稠密光流T_k2和遮挡图O_k2；

将所述关键帧图像F_k2、所述稠密光流T_k2和所述遮挡图O_k2输入到基于卷积神经网络的生成器中得到利用关键帧图像F_k2重建的非关键帧图像F_t2’；

将非关键帧图像F_t的关键点热力图H_t、关键帧图像F_k1的关键点热力图H_k1和关键帧图像F_k2的关键点热力图H_k2输入到基于卷积神经网络的掩膜预测器得到人脸掩膜M_t；

将人脸掩膜M_t加权作用于所述非关键帧重建图像F_t1’、F_t2’上，得到最终重建的的非关键帧重建图像F_t’。

3.根据权利要求2所述的一种针对人脸视频的双向帧预测方法，其特征在于，所述将关键帧图像F_k1、所述稠密光流T_k1和所述遮挡图O_k1输入到基于卷积神经网络的生成器中得到利用关键帧图像F_k1重建的非关键帧图像F_t1’，

或，

将关键帧图像F_k2、稠密光流T_k2和遮挡图O_k2输入到基于卷积神经网络的生成器中得到利用关键帧图像F_k2重建的非关键帧图像F_t2’；

包括：

生成器网络提取关键帧图像的特征；

利用稠密光流T_k1扭曲关键帧图像的特征；

将扭曲后的特征与遮挡图相乘；

解码经扭曲和遮挡处理后的特征得到最终的非关键帧图像。