[发明专利]一种基于移动终端的眼镜虚拟试戴方法和系统

说明书

技术领域

本发明涉及计算机视觉与虚拟穿戴相结合的技术领域，尤其涉及一种基于移动终端的虚拟眼镜试戴方法和系统。

背景技术

随着移动互联网的深入发展，越来越多的用户开始使用手机、平板电脑等移动终端进行网络购物。与传统店铺购物相比，基于移动终端的网络购物有不受时间地点约束、种类齐全、价格低廉等优点，但是网络购物最大的缺点是对商品的观察不如传统店铺全面直观。网上商城通常只能通过图片或视频对商品进行展示，顾客难以利用这种方式精确选择适合自己的个性化商品。

眼镜是一种典型的个性化商品，受到网上展示不直观的影响，用户难以在网络购物的过程中体验到真实的试戴感觉，从而难以选择适合自己的个性化眼镜。

为了解决上述问题，一些方案提出了自己的解决办法，但目前已知的解决方案在精度、速度和硬件依赖上都有短板，难以有效地应用到手机、平板电脑等移动终端上。

基于人脸识别技术的混合显示眼镜交互展示方法（公开号：CN1034000119A）利用主动外观模型对人脸图像进行标定，而后利用标定结果进行头部姿态估计，最后根据头部姿态估计的结果，将虚拟眼镜显示到原始图像上。该方法的主要问题在于主动外观模型的计算量大，且精度不高，不能较好的运用在手机、平板电脑等移动终端的嵌入式系统中，另外该方法也无法准确获得人脸的尺寸信息，因此无法得到人脸和眼镜大小合适程度的判断，即无法解决眼镜虚拟试戴合不合适的问题；虚拟试穿试戴系统和虚拟试穿试戴方法（公开号：CN104021590A）利用多组摄像头和深度信息传感器共同捕获人体姿态信息，再通过虚拟现实技术将眼镜等虚拟物体展示到原始图像上，得益于多视角视觉信息和深度信息，该方法理论上能达到的精度较高，缺点是计算量大，且需要多组摄像头和额外的深度信息传感器，移动终端的硬件条件不符合要求。眼镜虚拟试戴方法、装置及系统（公开号：CN104408764A）根据获得的人脸图像建立三维坐标系，将选取的预建立的三维眼镜模型定位于预建立的三维人脸模型上，再将三维人脸模型定位于三维坐标系中的人脸图像模型上，并缩放三维人脸模型使得三维人脸模型与三维坐标系中的人脸图像模型相匹配，显示三维眼镜模型及人脸图像模型。该方法缺点明显，首先大量工作需要消费者人工干预，且不支持人侧脸大角度情况下的眼镜佩戴。通常的眼镜试戴解决方案当摆头和侧头时，眼镜会消失或者所戴位置完全错误，导致试戴失败。我们能很好解决这个问题，是因为我们采用了CLM人脸模型并通过机器学习得到的人脸训练库，能确保在侧脸和摆头是仍然可获取人脸的特征点坐标。通常的眼镜试戴解决方案没有脸部尺度计算，无法判断眼镜合不合适。虚拟试戴方法及装置（公开号：CN104299143A）从实景视频中检测出人眼瞳孔，再将眼镜模型和人眼瞳孔位置相融合，完成眼镜虚拟试戴。该方法仅仅靠左右瞳孔两个点确定三维眼镜的6个自由度，坐标一一融合的原理就不通，实际的佩戴效果可以想象。眼镜虚拟试戴互动服务系统与方法（公开号：CN102867321A）先透过画面内的框架来定位人脸，取得相应的人脸影像中的某些特征点位置，后续每一张都和第一张图像特征点进行对比判断人脸的位置、移动状态与缩放比例，再将预设的眼镜模型合成于该位置。这个方法相当于虚拟眼镜是靠消费者自己调整脸而凑上去的，不是通过算法添加上去的，所有试戴的效果只和第一张图像凑的结果有关，这个方法试戴效果难以保证。实现虚拟试戴的方法和装置（公开号：CN104217350A）对于人脸特征的提取速度慢，满足不了实时试戴的要求，且没有人脸尺寸，无法判断试戴合不合适。

发明内容

针对现有技术中的眼镜虚拟试戴方法计算量大，无法在移动终端上实现的技术问题，本发明公开了一种基于移动终端的眼镜虚拟试戴方法，本发明还公开了一种基于移动终端的眼镜虚拟试戴系统。

本发明的具体实现方式如下：

一种基于移动终端的眼镜虚拟试戴方法，其具体包括以下的步骤：步骤一、用户将已知尺寸的识别物贴合于脸部的固定位置，移动终端上的摄像头获取此时用户的脸部图像，并采用脸部识别算法得到用户的脸部轮廓，再从该脸部图像中提取出识别物的边缘图像，根据已知的识别物的尺寸计算出用户的脸部尺寸；步骤二、用户取下识别物，将脸部面对摄像头，摄像头获取实时的脸部图像，采用快速脸部识别算法对实时的脸部图像中的人脸特征点进行标注，根据标注的结果估计出头部的姿态信息和脸型信息，并结合步骤一得到的脸部尺寸确定虚拟眼镜的位置坐标；步骤三、获取选中的眼镜的信息，得到眼镜的图像，并将该图像叠加到步骤二确定的坐标上，然后将该叠加了眼镜的人脸图像实时显示在移动终端的显示屏上。