[发明专利]基于特征建模的极低码率下人脸视频编解码方法

摘要

本发明提供了一种基于特征建模的极低码率下人脸视频编解码方法，包括接收方接收发送方视频聊天时传输来的第一帧全部视频信息，确定人脸主体的位置；发送方提取特征点及确定眼睛和嘴巴的位置，并传输至接收方客户端；发送方提取特征点及确定眼睛和嘴巴的位置并传送，与第一帧视频信息匹配合成第二帧视频图像；与第二帧视频图像合成类似，发送方传送之后每一帧视频图像特征点及眼睛和嘴巴的位置信息，与其前一帧视频信息匹配合成该帧视频图像，直至传输第i*n帧视频图像，进入下一步；i＝1,2,3…；n≥3，i和n均为正整数；传送第i*n帧视频图像时，传输该帧全部视频信息，提取特征点及确定眼睛和嘴巴的位置并传输；接收方接收后返回上一步。

主权项

一种基于特征建模的极低码率下人脸视频编解码方法，其特征在于，包括以下步骤：步骤1：接收方接收发送方视频聊天时传输来的第一帧全部视频信息，发送方对第一帧视频图像进行显著性区域检测，确定人脸主体的位置；步骤2：发送方对确定的人脸主体的位置进行人脸建模和提取特征点，以及确定眼睛和嘴巴的位置，并将特征点及眼睛和嘴巴的位置信息传输至接收方的客户端；步骤3：发送方利用第一帧已经提取出的特征点进行运动估计，对第二帧视频图像进行确定人脸主体的位置；步骤4：利用第一帧已经提取出的特征点的运动估计进行人脸模型匹配，确定第二帧视频图像的特征点以及眼睛和嘴巴的位置，传送特征点及眼睛和嘴巴的位置信息，在接收方与第一帧视频信息进行匹配，合成第二帧视频图像；步骤5：与第二帧视频图像合成方法类似，发送方传送之后的每一帧视频图像特征点及眼睛和嘴巴的位置信息，在接收方与其前一帧视频信息进行匹配，合成该帧视频图像，直至传输第i*n帧视频图像时，进入步骤6；其中，i=1,2,3……，i为正整数，n为正整数；步骤6：当传送第i*n帧视频图像时，传输该帧全部视频信息，并对该帧视频图像进行显著性区域检测，确定人脸主体的位置和建立人脸模型，确定特征点以及眼睛和嘴巴的位置，并传输至接收方的客户端；当接收方接收后，返回至步骤5；所述步骤4的具体过程为：步骤4.1：利用第一帧已经提取出的特征点的运动估计进行人脸模型匹配，确定第二帧视频信息中的各特征点的坐标及幅值，确定眼睛和嘴巴的位置，对眼睛和嘴巴的区域进行DPCM差分编码；步骤4.2：接收方收到第二帧的特征点的编码信息后，与第一帧视频信息进行匹配，来确定第二帧视频图像中人脸区域的位置与姿态，以及更新第二帧视频图像中的人脸表情；步骤4.3：修补和填充第二帧视频图像中的背景区域，合成第二帧视频图像；所述步骤4.2的具体过程为：利用第二帧中的模型特征点及眼睛和嘴巴区域的信息，与第一帧中的特征点及眼睛和嘴巴区域进行匹配，计算得到映射矩阵，将第一帧图像中的人脸区域映射到新一帧的图像中；利用接收到的眼睛和嘴巴的编码信息解码出第二帧图像中的眼睛和嘴巴，并对第一帧图像中人脸区域中的眼睛与嘴巴区域进行更新；所述步骤4.2中第二帧信息与第一帧信息匹配的过程为：利用汉明距离计算特征点数据间的相似性，以近邻距离与次近邻距离的比值T来确定可能正确的匹配，判定当T<0.8时，最近邻距离对应的特征点为匹配点；所述步骤4.3的具体过程为：除了人脸区域外，第二帧视频图像中的背景区域的像素值完全利用第一帧视频图像中的像素值，对于第二帧视频图像中由于人脸区域的位移而产生的背景空洞，利用基于块的纹理合成图像修补算法对其进行背景估计并填充，填充和修补之后显示第二帧视频图像；所述步骤2中建立人脸模型的算法为主动外观模型算法。