[发明专利]虚拟主播的直播方法、装置及系统

说明书

本公开提供了一种虚拟主播的直播方法、装置及系统，该方法包括：实时捕捉现实主播的面部动作数据和语音数据；对所述面部动作数据进行分析，得到所述现实主播的口型数据；对所述语音数据进行分析，得到与所述语音数据对应的文字内容以及语音特征，对所述文字内容进行处理，将处理后的所述文字内容转换为音素序列；基于所述音素序列和所述语音特征，对所述口型数据进行调整，并基于调整后的所述口型数据来生成用于直播的直播视频流，然后将所述直播视频流推流至终端设备。本公开解决了虚拟主播口型对不准的问题。

技术领域

本公开涉及直播技术领域，具体而言，涉及一种虚拟主播的直播方法、装置及系统。

背景技术

虚拟主播是一种由人工智能（Artificial Intelligence，AI）技术生成的虚拟人物，可以在现实主播的控制下进行直播，也可以在AI算法的控制下进行直播，还可以在现实主播和AI算法的共同控制下进行直播。

在现实主播控制下进行直播时，传感器、摄像头、麦克风等设备会获取现实主播的动作信息和语音信息，然后实时应用到虚拟主播身上，从而使虚拟主播的动作和语音与现实主播保持一致。

虚拟主播的口型的对准通常是通过实时语音识别技术来实现的。该技术可以将现实主播的语音实时转换为文字，并根据文字的内容生成相应的口型动作，使虚拟主播看起来像在准确地模仿现实主播的说话动作。

尽管现有的语音识别技术已经相当成熟，但仍然难以完全准确地识别所有语音内容。此外，现有的口型动作生成算法也无法完全准确地捕捉到现实主播的口型特征。因此，虚拟主播的口型对准技术仍需进一步的改进和发展，以提高口型动作的准确度。

发明内容

本公开实施例提供了一种虚拟主播的直播方法、装置及系统，以至少解决虚拟主播口型对不准的技术问题。

根据本公开实施例的一个方面，提供了一种虚拟主播的直播方法，包括：实时捕捉现实主播的面部动作数据和语音数据，对所述面部动作数据进行分析，得到所述现实主播的口型数据；对所述语音数据进行分析，得到与所述语音数据对应的文字内容以及语音特征，并对所述文字内容进行处理，将处理后的所述文字内容转换为音素序列；基于所述音素序列和所述语音特征，对所述口型数据进行调整；基于调整后的所述口型数据来生成用于直播的直播视频流，并将所述直播视频流推流至终端设备。

根据本公开实施例的另一个方面，提供了一种虚拟主播的直播装置，包括：获取模块，被配置为实时获取现实主播的面部动作数据和语音数据；面部分析模块，被配置为对所述面部动作数据进行分析，得到所述现实主播的口型数据；语音分析模块，被配置为对所述语音数据进行分析，得到与所述语音数据对应的文字内容以及语音特征，并对所述文字内容进行处理，将处理后的所述文字内容转换为音素序列；调整模块，被配置为基于所述音素序列和所述语音特征，对所述口型数据进行调整；推流模块，被配置为基于调整后的所述口型数据来生成用于直播的直播视频流，并将所述直播视频流推流至终端设备。

根据本公开实施例的另一个方面，提供了一种虚拟主播的直播系统，包括：如上所述的虚拟主播的直播装置；终端设备，用于播放所述虚拟主播的直播装置推流的直播视频流。

在本公开实施例中，基于音素序列和语音特征，对口型数据进行调整，并基于调整后的口型数据来生成用于直播的直播视频流，从而解决了虚拟主播口型对不准的问题，具有提高虚拟主播的逼真度的有益效果。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1是根据本申请实施例的一种虚拟主播的直播系统的架构示意图；

图2是根据本申请实施例的一种虚拟主播的直播方法的流程示意图；

图3是根据本申请实施例的另一种虚拟主播的直播方法的流程示意图；