[发明专利]基于人工智能的直播方法、装置、设备及存储介质

说明书

本发明提供了一种基于人工智能的直播方法、装置、设备及存储介质；方法包括：接收用于供虚拟主播表演的给定文本；对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；向客户端发送所述推流数据包，通过本发明，能够将文本数据自动实时合成为视频推送到客户端，从而有效提高直播的实时性、并降低直播劳动力成本。

技术领域

本发明涉及人工智能技术，尤其涉及一种基于人工智能的直播方法、装置、设备及存储介质。

背景技术

人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。

随着通信技术的发展，网络通信带宽得到很大的提高，视频直播技术也日趋成熟，在各个方面得到应用，同时随着人工智能技术的发展，文本转语音技术与图像合成技术也成为研究热点，视频直播技术与人工智能技术的结合可以在许多地方发挥作用，比如代替真人进行新闻虚拟播报、代替游戏主播进行游戏虚拟解说等，具有广阔的应用前景，但是，在虚拟视频直播技术中，音频与图像的生成需要耗费大量的计算时间，难以保证虚拟视频直播的实时性。

发明内容

本发明实施例提供一种基于人工智能的直播方法、装置、设备及存储介质，能够将文本数据自动实时合成为视频推送到客户端，从而有效提高视频播放的实时性、并降低直播劳动力成本。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于人工智能的直播方法，包括：

接收用于供虚拟主播表演的给定文本；

对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；

对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；

基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；

向客户端发送所述推流数据包。

本发明实施例提供一种基于人工智能的直播装置，包括：

文本转语音请求模块，用于接收用于供虚拟主播表演的给定文本；

渲染模块，用于对所述给定文本对应的脸部特征进行特效渲染处理，得到包括所述脸部特征的脸部图像；对所述脸部图像和背景图像进行合成处理，得到对应所述虚拟主播的图像帧；基于所述虚拟主播的图像帧和对应所述给定文本的音频数据，合成对应所述给定文本的推流数据包；

视频推流模块，用于向客户端发送所述推流数据包。

在上述方案中，所述文本转语音请求模块，还用于：所述接收用于供虚拟主播表演的给定文本之后，对所述给定文本进行划分处理，得到对应所述给定文本的多个语段；生成对应任意一个所述语段的媒体数据包，并继续实时处理下一个语段，以生成对应所述下一个语段的媒体数据包；其中，所述媒体数据包包括根据所述语段获取的音频数据和脸部特征，且所述音频数据和所述脸部特征与所述虚拟主播对应。

在上述方案中，所述文本转语音请求模块，还用于：所述接收用于供虚拟主播表演的给定文本之后，根据所述给定文本实时获取对应所述虚拟主播的音频数据和脸部特征；基于所述虚拟主播的音频数据和脸部特征，形成至少一个媒体数据包，并继续处理下一个所述给定文本。

在上述方案中，所述文本转语音请求模块，还用于：

当接收到所述给定文本时，实时将所述给定文本转化为对应所述给定文本的词向量；