[发明专利]图像处理方法、装置和系统

说明书

本发明提供了一种图像处理方法、装置和系统，涉及图像处理技术领域，其中，该方法包括：获取目标对象的脸部图像；从该脸部图像中检测目标对象的人脸特征点；根据人脸特征点生成目标对象的脸部的三维空间信息；将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。本发明通过检测到的人脸特征点进行三维重建，再融合脸部纹理特征数据得到人脸三维重建模型，相对于二维平面的处理方式，本实施例构建的三维重建模型可以更加真实地还原脸部细节，纹理清晰且立体感强，从而提高了用户的体验度。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置和系统。

背景技术

随着智能终端功能的日趋丰富，人们可以使用智能终端进行拍照，并对拍摄图像进行加工处理，例如，换脸、美颜等；这些处理方式中，大多基于二维图像数据实现，具体可以从二维图像数据中提取特征点，根据提取到的特征点对图像数据进行变换、合成等处理，进而得到最终的处理结果。由于从二维图像数据提取到的特征点有限，使得处理结果面片感太强、人脸的纹理效果和立体效果欠佳，导致用户的体验度较低。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置和系统，通过构建三维重建模型真实地还原脸部细节，提高纹理和立体效果，从而提高用户的体验度。

第一方面，本发明实施例提供了一种图像处理方法，方法包括：获取目标对象的脸部图像；从脸部图像中检测目标对象的人脸特征点；根据人脸特征点生成目标对象的脸部的三维空间信息；将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，上述获取目标对象的脸部图像的步骤，包括：采集预览帧图像；对预览帧图像进行人脸检测；如果检测到预览帧图像中存在人脸，通过深度摄像头采集人脸的预设角度范围内的视频帧，得到脸部图像。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，上述根据人脸特征点生成目标对象的脸部的三维空间信息的步骤之前，方法包括：建立设定数量的基础三维模型；其中，每个基础三维模型包括指定种类的基础特征点；每个基础三维模型的基础特征点用于表征至少一种基础形状或至少一种基础表情；基础形状包括基础脸部形状和基础五官形状；将基础特征点和预设的标准三维模型中的标准特征点进行差值运算，得到基础特征点对应的差向量，将基础特征点对应的差向量作为基础三维模型的基础参数；每个基础三维模型的基础参数包括至少一种基础形状的基础形状参数或至少一种基础表情的基础表情参数；其中，进行差值运算的基础特征点和标准特征点相对应；差向量包括位移差向量和转角差向量。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，上述根据人脸特征点生成目标对象的脸部的三维空间信息的步骤，包括：将人脸特征点和标准三维模型中的标准特征点进行差值运算，得到人脸特征点对应的差向量，将人脸特征点对应的差向量作为目标对象的当前参数；其中，进行差值运算人脸特征点和标准特征点相对应；根据每个基础三维模型对应的基础形状参数或基础表情参数，分解目标对象的当前参数，得到当前参数相对于各个基础三维模型的权重系数；根据权重系数将基础三维模型进行加权融合，得到目标对象的脸部的三维空间信息。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，上述将预设的脸部纹理数据与三维空间信息相融合，得到与目标对象相关联的人脸三维重建模型的步骤，包括：根据预设的剖分精度和剖分形状，对三维空间信息进行网格剖分，得到三维空间信息对应的三维网格剖分集合；从预设的脸部纹理数据中提取坐标信息；根据坐标信息，将脸部纹理数据贴图至三维网格剖分集合，得到与目标对象相关联的人脸三维重建模型。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，上述得到三维空间信息对应的三维网格剖分集合的步骤之后，方法还包括：接收用户的变换指令；根据变换指令对人脸三维重建模型对应的三维网格剖分集合进行差分矩阵变换，得到变换后的三维网格剖分集合。