[发明专利]直播处理方法、装置、电子设备及存储介质

说明书

本公开关于一种直播处理方法、装置、电子设备及存储介质，该方法通过在第一窗口中展示至少一个目标对象对应的第一直播画面；目标对象包括第一直播账号对应的主播、和与主播连线互动的连线对象中的任一个；获取至少一个目标对象分别对应的目标虚拟形象；在第二窗口中渲染生成第二直播画面；第二直播画面包括混合虚拟形象，混合虚拟形象是通过将目标虚拟形象的第二脸部区域替换为相应的目标对象的第一脸部区域而得，各混合虚拟形象的脸部表情与所属的目标对象的脸部表情同步，第二直播画面用于展示在第一直播账号对应的预设直播间的直播界面。如此，减少了直播呈现的虚拟形象的表情与主播的表情之间的偏差，也提高了表情传递的准确性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种直播处理方法、装置、电子设备及存储介质。

背景技术

随着直播行业的快速发展，出现了虚拟形象直播的直播形式。虚拟形象直播主要是通过主播自选的虚拟形象来替代主播真实形象进行直播。

然而，在主播的表情变化较快、表情幅度较大等情况下，基于常规的表情驱动模型，仍无法较好地通过主播的表情来驱动虚拟形象的表情变化，使得直播呈现的虚拟形象的表情与主播的表情之间存在一定的偏差，降低了表情传递的准确性。

发明内容

本公开提供一种直播处理方法、装置、电子设备及存储介质，以至少解决相关技术中至少一种技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种直播处理方法，应用于第一客户端，包括：

响应于第一直播账号触发的形象操作指令，在第一窗口中展示至少一个目标对象对应的第一直播画面；所述目标对象包括所述第一直播账号对应的主播、和与所述主播连线互动的连线对象中的任一个，所述第一直播画面包括所述至少一个目标对象分别对应的第一脸部区域；

响应于对至少一个虚拟形象的选择操作指令，获取所述至少一个目标对象分别对应的目标虚拟形象；

在第二窗口中渲染生成第二直播画面；所述第二直播画面包括与所述至少一个目标对象的对象数量相同的混合虚拟形象，所述混合虚拟形象是通过将所述目标虚拟形象的第二脸部区域替换为相应的目标对象的第一脸部区域而得，各所述混合虚拟形象的脸部表情与所属的目标对象的脸部表情同步，所述第二直播画面用于展示在所述第一直播账号对应的预设直播间的直播界面中。

在一可选实施方式中，所述第二直播画面中展示的各所述混合虚拟形象的目标姿态动作分别与各所述混合虚拟形象中脸部区域所属的目标对象的目标姿态动作相匹配；

其中，所述目标姿态动作包括头部姿态动作、肢体姿态动作中的一种或多种。

在一可选实施方式中，所述在第二窗口中渲染生成第二直播画面包括：

基于预设检测频率，对所述第一直播画面进行目标部位的关键点检测，并根据关键点检测结果，从所述第一直播画面中实时提取目标检测区域和所述目标检测区域对应的部位关键点数据，所述目标部位包括脸部、肢体部位中一种或多种，所述目标检测区域包括所述目标对象的第一脸部区域、所述目标对象的第一肢体部位区域中一种或多种；

基于提取的各目标检测区域，生成所述第一直播画面对应的检测图像序列帧；所述检测图像序列帧用于展示在所述第一窗口中；

基于所述部位关键点数据，确定所述检测图像序列帧的每一帧中所述目标对象的姿态动作数据；所述姿态动作数据用于同步调整所述目标虚拟形象的姿态动作；

基于所述目标检测区域、所述姿态动作数据和所述目标虚拟形象的形象模型数据，在所述第二窗口中渲染生成第二直播画面。

在一可选实施方式中，在所述目标检测区域包括所述目标对象的第一脸部区域，所述姿态动作数据包括头部动作数据的情况下，所述基于所述目标检测区域、所述姿态动作数据和所述目标虚拟形象的形象模型数据，在所述第二窗口中渲染生成第二直播画面包括：

将所述目标虚拟形象中的第二脸部区域替换为相应的目标对象的第一脸部区域，得到所述目标虚拟形象的调整后脸部区域；