[发明专利]直播中实时换脸的方法、装置、设备及存储介质

说明书

本申请实施例提供直播中实时换脸的方法、装置、设备及存储介质，涉及视频处理技术领域，通过向多个客户端发送视频素材录制的向导信息，基于向导信息引导各个用户录制符合设定条件的个人视频素材，接收各个客户端上传的个人视频素材，并将个人视频素材输入预先训练好的神经网络模型进行识别得到相应的脸部信息；根据脸部信息对视频中的需要进行换脸的目标用户进行实时换脸。本实施例基于视频形式采集用户的各种表情和动作，覆盖用户在直播过程中可能表现的多个脸部动作，能够进行实时换脸且换脸效果显得更加真实。

技术领域

本申请涉及视频处理技术领域，具体而言，本申请涉及直播中实时换脸的方法、装置、设备及存储介质。

背景技术

随着计算机视觉和图像处理技术的不断发展，通过深度学习的方法在视频中生成极其逼真的人脸已经成为可能。基于深度学习的换脸技术(即AI换脸技术)是指通过将上百张人物的样图输入到深度学习算法中进行训练，从而实现在图像或视频中把一张脸替换成另一张脸，完成人脸交换，制作出非常逼真的视频效果。

例如，在直播换脸技术中，为了达到较好的换脸效果，对人脸素材有一定的要求，比如：需要进行交换的人脸大小相当，需要包含喜怒哀乐等多种表情，需要抬头、低头、侧脸等各种姿态下的人脸视角。然而，目前大多数的人脸素材多是来自互联网的特定人物的视频或图像，这些人脸素材中的人脸大多是正脸，人脸角度比较单一，难以在不同的姿态中切换，且时长较短，无法满足直播场景中用户长时间换脸做节目的需求。

发明内容

本申请的目的旨在至少解决上述技术缺陷之一，特别是素材单一无法满足直播换脸需求的问题。

第一方面，本申请实施例提供一种直播中实时换脸的方法，包括以下步骤：

向多个客户端发送视频素材录制的向导信息，基于所述向导信息引导各个用户录制符合设定条件的个人视频素材；

接收各个客户端上传的个人视频素材，并将所述个人视频素材输入预先训练好的神经网络模型进行识别得到相应的脸部信息；

根据所述脸部信息对直播视频中的需要进行换脸的目标用户进行换脸。

在一实施例中，所述基于所述向导信息引导各个用户录制符合设定条件的个人视频素材的步骤包括：

向所述客户端按顺序发送所述向导信息；

接收所述客户端上传的基于所述向导信息录制的动态视频；

在确定各所述动态视频中的用户人脸姿态与其对应的所述向导信息的设定条件相符合，整合各所述动态视频得到个人视频素材。

在一实施例中，所述确定各所述动态视频中的用户动作与其对应的所述向导信息的设定条件相符合的步骤包括：

识别当前动态视频中的用户人脸姿态；

在确定所述用户人脸姿态与当前向导信息对应的设定条件相符合时，向所述客户端发送下一向导信息；

将所述下一向导信息作为新的当前向导信息，接收基于所述新的当前向导信息的动态视频作为新的当前动态视频，重复执行识别当前动态视频中的用户人脸姿态的操作，直到所有的动态视频的用户人脸姿态与其对应的向导信息的设定条件均相符合。

在一实施例中，所述向导信息包括头部动作向导信息、表情动作向导信息以及语音读取向导信息。

在一实施例中，所述接收各个客户端上传的个人视频素材的步骤包括：

获取所述客户端对应的用户身份标识；

将所述用户身份标识与所述客户端上传的个人视频素材进行关联。

在一实施例中，所述将所述个人视频素材输入预先训练好的神经网络模型进行识别得到相应的脸部信息的步骤包括：