[发明专利]表情生成方法、装置及电子设备、存储介质及程序产品

说明书

本公开提供了一种表情生成方法、装置、电子设备、计算机可读存储介质及程序产品，涉及图像处理技术领域。该方法包括：获取人脸图像，确定人脸图像对应的第一表情参数与第二表情参数；第一表情参数与第二表情参数分别基于不同的表情提取方式得到，表情提取方式具有对应的表情基；获取预先构建的状态评价函数；状态评价函数基于各表情基关联的表情状态构建得到，表情状态为所对应的表情系数的语义描述；基于状态评价函数对第一表情参数与第二表情参数进行融合处理，得到融合表情参数，以根据融合表情参数驱动表情生成。本公开可以将不同表情提取方式得到的表情参数进行融合，使得确定出的表情参数同时具备鲁棒性与灵活性。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种表情生成方法、表情生成装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

表情识别是虚拟对象驱动的重要组成部分，所识别出的表情参数的灵活性、稳定性是虚拟对象表现的重要考虑因素。目前，业界通常采用基于三维(3-dimension，3d)结构光摄像头的方法来进行头部3d的恢复，进而进行表情的采集，例如手机摄像头，或者更专业表情捕捉设备。然而，这类设备的缺点是价格相对昂贵，且离人物头部的距离不能太远。采用单目摄像头进行表情采集时，由于单目摄像头的价格更为低廉，更易于普及，而且能适配更远的距离。但是，单目摄像头的驱动效果往往在灵活性、稳定性等方面，都差于结构光的方案。

发明内容

本公开提供一种表情生成方法、表情生成装置、电子设备、计算机可读存储介质及计算机程序产品，以至少解决单独采用网络方式或3DMM方法进行表情预测时，得到的表情结果鲁棒性较差或灵活性较差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种表情生成方法，包括：获取人脸图像，确定所述人脸图像对应的第一表情参数与第二表情参数；所述第一表情参数与所述第二表情参数分别基于不同的表情提取方式得到，所述表情提取方式具有对应的表情基；获取预先构建的状态评价函数；所述状态评价函数基于各所述表情基关联的表情状态构建得到，所述表情状态为所对应的表情系数的语义描述；基于所述状态评价函数对所述第一表情参数与所述第二表情参数进行融合处理，得到融合表情参数，以根据所述融合表情参数驱动表情生成。

在本公开的一种示例性实施例中，确定所述人脸图像对应的第一表情参数与第二表情参数，包括：将所述人脸图像输入至表情提取网络，由所述表情提取网络对所述人脸图像进行表情提取处理，以得到所述第一表情参数；将所述人脸图像输入至人脸形变模型，由所述人脸形变模型对所述人脸图像进行表情提取处理，以得到所述第二表情参数。

在本公开的一种示例性实施例中，所述状态评价函数包括第一评价函数与第二评价函数，基于所述状态评价函数对所述第一表情参数与所述第二表情参数进行融合处理，包括：获取所述第一表情参数对应的第一表情基，确定所述第一表情基关联的第一表情状态，以确定各所述第一表情状态对应的第一评价函数；获取所述第二表情参数对应的第二表情基，确定所述第二表情基关联的第二表情状态，以确定各所述第二表情状态对应的第二评价函数；根据所述第一评价函数与所述第二评价函数确定插值函数，以根据所述插值函数确定表情融合系数；根据所述表情融合系数对所述第一表情参数与所述第二表情参数进行融合处理。

在本公开的一种示例性实施例中，所述第一表情状态包含于第一状态集合，确定各所述第一表情状态对应的第一评价函数，包括：确定所述第一表情状态在所述第一状态集合中对应的第一概率分布；确定所述第一表情状态对应的第一稳定函数、第一灵活函数与第一关注因素；根据所述第一概率分布、所述第一稳定函数、第一灵活函数与所述第一关注因素确定所述第一评价函数。

在本公开的一种示例性实施例中，所述第二表情状态包含于第二状态集合，确定各所述第二表情状态对应的第二评价函数，包括：确定所述第二表情状态在所述第二状态集合中对应的第二概率分布；确定所述第二表情状态对应的第二稳定函数、第二灵活函数与第二关注因素；根据所述第二概率分布、所述第二稳定函数、第二灵活函数与所述第二关注因素确定所述第二评价函数。