[发明专利]基于特征建模的极低码率下人脸视频编解码方法

说明书

技术领域

本发明涉及计算机视觉和图像处理技术领域，具体涉及一种基于特征建模的极低码率下人脸视频编解码方法。

背景技术

随着社会经济的发展和人们日常生活水平的提高，使用手机、平板电脑等便携式通讯工具来进行视频聊天的方式正越来越被人们所青睐。然而，虽然无线互联网蓬勃发展，用户量与日俱增，但是由于目前的移动通讯网络速度较慢，影响了视频聊天业务的用户体验，也限制了用户实时视频聊天应用的发展。

现有的移动终端即时通讯软件，一般都是将视频数据压缩同步处理，然后通过网络传输后在另一客户端播放视频画面。但由于传输的数据始终是视频数据，数据传输流量较大，在移动通讯网络这种低码流网络下，视频易发生顿卡、跳帧，甚至无法实时显示，或者牺牲视频质量，造成视频聊天时糟糕的用户体验。目前，提出的技术方案非常少，大都是从改进移动通讯网络入手，升级3G、4G，但费用又相对昂贵，且不能从根本上解决低码率下视频聊天中出现的顿卡、无法实时显示和视频质量差等问题。

发明内容

为解决上述问题，本发明提供了一种基于特征建模的极低码率下人脸视频编解码方法，该方法能在极低码率的条件下，保证视频聊天的流畅，提高视频聊天业务的用户体验，同时为用户实时视频聊天应用提供新的应用前景。

为实现上述目的，本发明采用如下技术方案：

一种基于特征建模的极低码率下人脸视频编解码方法，包括以下步骤：

步骤1：接收方接收发送方视频聊天时传输来的第一帧全部视频信息，并对第一帧视频图像进行显著性区域检测，确定人脸主体的位置；

步骤2：发送方对确定的人脸主体的位置进行人脸建模和提取特征点，确定眼睛和嘴巴的位置，并将特征点及眼睛和嘴巴的位置信息传输至接收方的客户端；

步骤3：发送方利用第一帧已经提取出的特征点进行运动估计，对第二帧视频图像进行确定人脸主体的位置；

步骤4：利用第一帧已经提取出的特征点的运动估计进行人脸模型匹配，确定第二帧视频图像的特征点以及眼睛和嘴巴的位置，传送特征点及眼睛和嘴巴的位置信息，与第一帧视频信息进行匹配，合成第二帧视频图像；

步骤5：与第二帧视频图像合成方法类似，发送方传送之后的每一帧视频图像特征点及眼睛和嘴巴的位置信息，与其前一帧视频信息进行匹配，合成该帧视频图像，直至传输第i*n帧视频图像时，进入步骤6；其中，i＝1,2,3……，i为正整数；n≥3，n为正整数；

步骤6：当传送第i*n帧视频图像时，传输该帧全部视频信息，并对该帧视频图像进行显著性区域检测，确定人脸主体的位置和建立人脸模型，确定特征点以及眼睛和嘴巴的位置，并传输至接收方的客户端；当接收方接收后，返回至步骤5。

所述步骤3中确定人脸主体的位置的过程为：

选取不易被表情所影响的特征点进行估计，并估计其平移分量及旋转分量，得到头部的刚体运动参数，确定人脸的位置。

所述步骤4的具体过程为：

步骤4.1：利用第一帧已经提取出的特征点的运动估计进行人脸模型匹配，确定第二帧视频信息中的各特征点的坐标及幅值，确定眼睛和嘴巴的位置，对眼睛和嘴巴的区域进行DPCM差分编码；

步骤4.2：接收方收到第二帧的特征点的编码信息后，与第一帧视频信息进行匹配，来确定第二帧视频图像中人脸区域的位置与姿态，以及更新第二帧视频图像中的人脸表情；

步骤4.3：修补和填充第二帧视频图像中的背景区域，合成第二帧视频图像；

所述步骤1中的显著性区域检测算法采用基于布尔图的显著性检测模型，利用全局拓扑测度快速检测出视频聊天中最显著区域为人脸部分。

所述步骤2中建立人脸模型的算法为主动外观模型算法。

所述步骤4.2的具体过程为：

利用第二帧中的模型特征点及眼睛和嘴巴区域的信息，与第一帧中的特征点及眼睛和嘴巴区域进行匹配，计算得到映射矩阵，将第一帧图像中的人脸区域映射到新一帧的图像中；

利用接收到的眼睛和嘴巴的编码信息解码出第二帧图像中的眼睛和嘴巴，并对第一帧图像中人脸区域中的眼睛与嘴巴区域进行更新。

所述步骤4.2中第二帧信息与第一帧信息匹配的过程为：

利用汉明距离计算特征点数据间的相似性，以近邻距离与次近邻距离的比值T来确定可能正确的匹配，判定当T<0.8时，最近邻距离对应的特征点为匹配点。

所述映射矩阵为：针对匹配特征点数据，使用随机抽样一致性算法计算得到映射矩阵，将第一帧图像中的人脸区域映射到新一帧的图像中。