[发明专利]用于可穿戴产品虚拟佩戴的图像处理方法及装置

说明书

本发明公开了一种用于可穿戴产品虚拟佩戴的图像处理方法及装置，该方法包括：提取模特和用户的面部特征点；通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；利用偏转角度将模特的面部替换为用户的面部。上述技术方案，通过用户的面部特征点计算出旋转向量进而得到用户面部的偏转角度，利用偏转角度将模特的面部替换为用户的面部。能够使人脸定位更加准确，佩戴效果更加真实、理想。

技术领域

本发明涉及一种用于可穿戴产品虚拟佩戴的图像处理方法及图像处理装置。

背景技术

珠宝虚拟试戴技术可以把虚拟的3D珠宝叠加到真人影像上，通过人脸识别，实时追踪，实现首饰和人体影像的合成，人体动作和3D产品同步交互，呈现逼真的珠宝试戴效果。大部分珠宝虚拟试戴使用增强现实技术模拟珠宝在人体上的穿戴效果。早期的珠宝虚拟试戴使用2D图像追踪技术，需要使用标记物或手动定标来计算。近些年来微软和Intel开发的3D图像传感器，提升了速度和精度，但仍存在人脸定位不准确，佩戴效果不真实，操作起来较为繁琐等问题。

目前的技术普遍缺少脸部对应的角度分析,在模特和用户人脸偏转角度过大时，试戴效果效果不理想。而且现在的技术普遍采用GAN的训练方案,这其中数据收集需要高额的费用,可能还涉及版权问题等。

发明内容

针对相关技术中的上述问题，本发明提出一种用于可穿戴产品虚拟佩戴的图像处理方法及图像处理装置。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种用于可穿戴产品虚拟佩戴的图像处理方法，包括：

提取模特和用户的面部特征点；

通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；

利用偏转角度将模特的面部替换为用户的面部。

根据本申请的实施例，提取模特和用户的面部特征点包括：通过人脸检测器提取模特的面部特征点和用户的面部特征点。

根据本申请的实施例，在提取模特和用户的面部特征点之后还包括：当模特和用户的肤色差异超过预定值时，则对颜色信息进行相应的调整。

根据本申请的实施例，利用偏转角度将模特的面部替换为用户的面部包括：对用户的面部进行普氏变换和仿射变换使得用户的面部与模特的面部对齐。

根据本申请的实施例，进行普氏变换包括：利用最小化公式来最小化所有形状到平均形状的距离和，其中，最小化公式为：

其中，X表示形状，是由点集组成的矢量。

根据本申请的实施例，进行仿射变换包括：找到第一形状和第一变换；第一变换利用第一形状将每个数据对齐，其中，通过变换形状间的最小二乘距离来判断是否达到对齐。

根据本发明的另一方面，提供了一种用于可穿戴产品虚拟佩戴的图像处理装置，包括：

特征提取模块，用于提取模特和用户的面部特征点；

计算模块，用于通过用户的面部特征点计算出旋转向量，并根据旋转向量得到用户面部的偏转角度；

替换模块，利用偏转角度将模特的面部替换为用户的面部。

根据本申请的实施例，特征提取模块包括：人脸检测器，用于提取模特的面部特征点和用户的面部特征点。

根据本申请的实施例，计算模块用于对用户的面部进行普氏变换和仿射变换使得用户的面部与模特的面部对齐。

根据本申请的实施例，计算模块利用最小化公式来最小化所有形状到平均形状的距离和，其中，最小化公式为：

其中，X表示形状，是由点集组成的矢量；