[发明专利]低比特率视频通话中基于模型和对象的头肩图像重建方法

摘要

低比特率视频通话中基于模型和对象的头肩图像重建方法，其特征在于，结合基于对象编码和基于模型编码二者的优点，提出的一种同时基于对象和模型的低比特率混合编码方法，这种方法对人脸区域进行2D可变形模型自动训练，然后编码，对头肩的区域采用一个基于Delaunay算法形成的2D网格，并使用网格迭代使其与头部图像匹配较好，然后对图像进行JPEG2000压缩得到对象纹理，将对象网格和对象纹理经信道传输到接收端共享然后编码。这种方法经过网格分割和纹理压缩具有很高的编码效率，同时具有较好的用户体验。它实现了头肩视频在低比特率中的传输，重建视频图像后仍有很好地体验效果，从而提高了通信资源的利用率。

主权项

低比特率视频通话中基于模型和对象的头肩图像重建方法，其特征在于，是在由通信各方的移动设备借助基站构成的、供低比特率视频通话用的移动视频通信系统中依次按以下步骤实现的：视频图像发送端，以下简称发送端，依次执行以下步骤：步骤(1)，获取发送方的第一帧人脸视频图像，用Regularized Landmark Mean‑Shift，简称RLMS的正则化的人脸关键坐标点定位方法进行人脸定位，得到估计的人脸关键坐标点位置hi＝(xi，yi)的最小边缘，称为脸矩形，x，y为人脸视频图像中关键坐标点的位置，i为关键坐标点的序号，总数共68个，h为坐标点，步骤(2)，根据步骤(1)得到的脸矩形估计涵盖头部的头矩形和涵盖肩部的肩矩形：步骤(2.1)，估计头矩形：将所述脸矩形的上缘向上提高一个脸矩形的高度，并将所述脸矩形的左缘和右缘各向左、右扩展一个所述脸矩形的宽度的一半，得到所述头矩形，步骤(2.2)，估计肩矩形：以所述脸矩形的下缘为上缘，以所述第一帧人脸视频图像的下缘为下缘，并将所述头矩形的左缘和右缘各自向左、右两个方向扩展所述脸矩形宽度的一半，得到肩矩形，所述头矩形和肩矩形视为头肩可能存在的区域，步骤(3)，利用基于L0梯度最小化的图像平滑方法对所述第一帧视频图像，简称图像，进行平滑滤波，步骤(4)，以所述头肩可能存在的区域为初始区域，用Grabcut图像分割算法找到头肩区域的边界，同时，对所述图像进行JPEG2000压缩，得到对象纹理；步骤(5)，构建步骤(4)得到的所述头肩区域的三角形密集网格：步骤(5.1)，以步骤(4)得到的所述头肩区域中的每一个像素点作为一个三角形网格的顶点，使用Delaunay算法对所述头肩区域进行三角剖分，生成密集的三角网格，步骤(5.2)，用一个矩阵TN×3表示所述的三角形密集网格，简称网格，其中：N为顶点数，用顶点的坐标位置向量m＝{(x1，y1)，...，(xn，yn)，...，(xN，yN)}表示，在数值上N等于所述矩阵TN×3的行数，每一行n的三个整数{a，b，c}代表序号为a，b，c的三个顶点在所述网格中组成一个子三角形，n＝1，2，..，N，步骤(6)，对所述网格进行网格迭代简化，使最终的网格顶点数少于100个：步骤(6.1)，将所述网格中所有顶点标记为可以删除的顶点，步骤(6.2)，网格边界上的顶点的简化：步骤(6.2.1)，对于所述网格边界上相邻的任意三个点，按下式求得从中间点(xi，yi)到其余两点(xi‑1，yi‑1)和(xi+1，yi+1)连成的直线y＝kx+b的垂直距离d：d=|yi-kxi-1-b|1+k2,k=yi+1-yi-1xi+1-xi-1,b=yi+1-kxi+1,]]>步骤(6.2.2)，判断d是否≥1：若：d≥1，且所述点(xi，yi)标记为可以删除的顶点，则从所述网格中把所述点(xi，yi)删去，并将在所述网格中所有与所述点(xi，yi)相连的其它所述网格顶点标记为不允许删除的点，若：d＜1，则保留，步骤(6.2.3)，从网格边界上任选一点作为所述中间点开始，沿着所选网格边界依次执行步骤(6.2.1)～步骤(6.2.2)，一直到网格边界上的每一点全部执行完为止，得到顶点较少的初始网格，步骤(6.3)，所述网格内部的简化，是指简化不在网格边界上的内部网格顶点：步骤(6.3.1)，按下式计算所有所述内部网格顶点的显著性值Cn′，表示为：Cn′＝|Ix(pn′)|2+|Iy(pn′)|2+Γ(pn′)，n′＝1，2，...，N′，N′＜N，其中：pn′＝(xn′，yn′)，pn′是所述内部网格顶点n的坐标位置，Ix(pn′)、Iy(pn′)为用“I”标志的所述图像在所述内部网格顶点pn′处的水平、垂直两个方向的偏导，Γ(pn′)是pn′处已知的Harris角探测响应，步骤(6.3.2)，按步骤(6.3.1)得到的各所述内部网格顶点的显著性值Cn′由小到大的顺序逐个检查各所述内部网格顶点：删除所连接的其它所述内部网格顶点数少于七个、而且所述显著性值的排序达不到相应设定的显著性质取值范围的要求、且标定为可以删除的那些所述的内部网格顶点，同时标定：与所删除的所述网格顶点相连的其它所述内部网格顶点为不允许删除点，步骤(6.3.3)，计算经过步骤(6.3.1)、步骤(6.3.2)简化后的网格顶点总数：若：网格顶点总数大于100个，则，将当前剩余的所有网格顶点标为可以删除的顶点，重复步骤(6.3.1)～(6.3.3)，一直到最终的网格顶点总数少于或等于100个为止，最终得到网格顶点总数较少的对象网格；步骤(7)，依次按以下步骤计算基于低比特率编码的人脸模型参数向量c和网格顶点运动向量Δmf：步骤(7.1)，利用步骤(1)得到的第一帧中的人脸视频图像内68个所述关键坐标点pn(xi，yi)使用人脸主动外观模型AAM方法估计出一组表征了目标人脸的形状、运动、外表特征的人脸模型参数向量c，步骤(7.2)，对于非人脸部分而言，对步骤(6.2.3)所得到的所述对象网格，从第二帧开始，把跟踪得到的网格顶点的位置坐标与上一帧中同一个所述网格顶点的位置坐标相减，得到每一个所述网格顶点的运动向量，用Δmf＝mf‑mf‑1表示，mf是第f帧的网格顶点的位置参数向量，f＝1，2，...，f，...，F，F为总帧数，经过熵编码后，实现数据压缩；步骤(8)，步骤(7)得到的目标人脸模型参数向量c、对象网格顶点运动向量Δmf、和对象网格和对象纹理之间进行比特分配后再经信道传输到接收端：步骤(8.1)，设定：头肩视频编码用的总比特数为u，其中：对象网格比特数为um＝3000比特，网格顶点运动向量比特数为uv，在设定运动向量的量化水平后是已知的，对象纹理比特数ut和人脸主动外观模型AAM的参数比特数up，均为未知值，解下列二元一次联合方程，得出ut和up的值：其中：A为所述人脸主动外观模型AAM参数和网格顶点运动向量经比特分配后形成的序列持续的时间，单位为秒，是已知值，γ为调整系数，代表人脸部分和非人脸部分之间的相对重要度，0＜γ＜1；接收端依次按以下步骤进行图像重建：步骤(I)，通信各方在通话前预置：根据本方训练视频图像按步骤(1)～步骤(7)得到的人脸模型参数向量c和网格顶点的位置参数向量mf，步骤(II)，接收端从信道接收到所述视频通话时的各帧人脸模型参数向量c后，使用所述的主动外观模型AAM方法重建人脸图像步骤(III)，接收端收到通话视频的对象网格后，用分片仿射拉伸方法把得到的经过JPEG2000压缩的对象纹理g从所述网格顶点的位置参数向量mf拉伸至当前帧的网格形状向量mf+Δmf，Δmf＝mf‑mf‑1，形成重建的网格图形，经插值后得到重建的对象网格步骤(IV)，根据重建后的对象网格和经JPEG2000压缩的对象纹理形成重建后的各帧图像。