[发明专利]一种人体模型图像的融合处理方法、设备和存储介质

说明书

本发明公开了一种人体模型图像的融合处理方法，包括：制作基础人台；获取三维服装模型；将三维服装模型贴合到基础人台；根据目标人体二维图像获取人体模型的二级信息；回归预测获取目标人体模型的姿态和体型参数；获得目标姿态和目标体型；驱动人体模型从初始姿态向目标姿态移动；获得完成换装的目标人体模型；把图片头像与目标人体模型图像进行融合；对人体裸露部分的肤色进行还原；得到换衣后的2D图片。本发明利用插帧生成动画序列，使得整个拟合和驱动过程效果更好，并对模型生成后的图像效果进行了优化，使得成片效果提升。

技术领域

本发明属于虚拟换装领域，具体涉及一种人体模型和服装模型的匹配完成后的图像融合处理方法，尤其是对拼接部位和裸露皮肤肤色进行融合的方法、设备和存储介质。

背景技术

随着互联网技术的发展，网上购物方式越来越普及。相比于实体店购物，网上在线购物具有商品种类多、购物方便等优势。但是，在网上购买商品，也存在一些不易解决的问题，最主要的就是无法实地查看要买的商品。在所有的商品种类中，服装商品这个问题最为突出。相比于实体店购物中可以实时地换装查看服装效果，在线服装购物无法提供针对消费者本身的效果图，只能提供模特试衣的图片，有的甚至根本没有试衣图片，消费者无法实时直观地获取服装和自身体型形象的匹配程度。造成了大量的退换货。

针对这一问题，经营者尝试利用虚拟试衣技术为消费者提供模拟试衣效果解决这一问题。当然，现实中还存在其他可以使用虚拟换衣试衣技术的场合，比如网络游戏中。因此，这一技术得到了较快的发展。

虚拟试衣是指用户不用实际换上想要观看穿着效果的衣服，也能在终端屏幕上实时查看“换装”效果的一种技术应用。现有的换装技术应用主要包括平面试衣和三维虚拟试衣技术。前者基本上是采集用户的图片，采集衣服的图片，然后进行裁剪和拼接，形成“穿衣”后的图像，但这类图像由于简单粗暴的图像处理方式而造成真实度较差，完全没有考虑到用户的实际体型，只是把服装生搬硬套到用户照片上，不能满足用户的需求。后者通常通过三维采集设备采集人的三维信息并结合服装的特征进行合成，或者通过手动输入用户提供的身体数据信息，并按照一定的规则虚拟生成一个人体三维模型，然后与服装贴图进行结合。整体上来说，这类三维虚拟试衣需要进行大量的数据采集或者三维数据计算，硬件成本高，在普通用户中不易推广。

随着云计算技术、人工智能技术和智能终端处理能力的发展，产生了从二维人体虚拟图像，生成三维人体模型，换装三维衣物模型后实现虚拟试衣的技术。此类技术主要包括几大步骤：(1)对用户提供的个人身体信息进行处理，得到目标人体模型；(2)对服装信息进行处理得到服装模型；(3)将人体模型和服装模型匹配在一起；(4)将生成的人穿着该服装的图像与原始图像融合在一起。

这其中，前三步主要完成换装过程，但是由于换装原理的限制，其生成的换装后人体模型并不具备换装者的头部和面部特征，所以，在生成换装模型后，还要将换装模型的二维图片叠加到原始二维图片上，这样，才能在合成后的图片上显示出换装者的头像以及穿着虚拟衣物的身体。所以，一旦叠加出现缺陷，就会很直观地在图片上显示出失真和不合理，尤其是容易产生人体模型与试衣者原始图片头部没有对齐、皮肤纹理丢失或者肤色不一致、身体部位丢失、背景丢失等问题，进而影响最终的生成的换衣图片的效果。

在一般的计算机视觉领域中，人体建模的初始步骤有很多种，通常包括使用3D扫描设备对真实人体进行全方位扫描，基于多视角景深照相的三维重建方法，以及给定单张或者多张图像结合神经网络模型和标准人体模型的方法实现三维重建这三大类。

现有技术中，通过二维图像构造人体模型的方法通常有几类：(1)基于回归的方法，通过卷积神经网络重建出体素表示的人体模型；(2)基于单张图片的人体重建，该方法首先在图像上对简单的人体骨骼关键点进行了粗略的标注，然后根据这些粗关键点进行人体模型的初始匹配和拟合，得到人体大致形状。(3)基于CNN模型来预测图像上的关键点，然后采用SMPL模型进行拟合，得到初始的人体模型，最后，结合初始模型和回归得到的包围盒从而得到三维人体重建。