[发明专利]虚拟主播的直播方法、装置及系统

权利要求书

1.一种虚拟主播的直播方法，其特征在于，包括：

实时捕捉现实主播的面部动作数据和语音数据，对所述面部动作数据进行分析，得到所述现实主播的口型数据；

对所述语音数据进行分析，得到与所述语音数据对应的文字内容以及语音特征，对所述文字内容进行处理，将处理后的所述文字内容转换为音素序列；

基于所述音素序列和所述语音特征，对所述口型数据进行调整；

基于调整后的所述口型数据来生成用于直播的直播视频流，并将所述直播视频流推流至终端设备;

其中，基于所述音素序列和所述语音特征，对所述口型数据进行调整，包括：将所述音素序列中的每个音素与所述语音特征进行配对，得到所述每个音素对应的语音特征；基于所述每个音素对应的语音特征，计算所述每个音素对应的口型参数，其中，所述口型参数包括以下至少之一：嘴唇的形状、嘴唇的张合程度、舌头的位置、喉咙的位置、和嘴唇的运动速度；基于所述口型参数，对所述口型数据进行调整；

其中，所述口型数据是采用以下公式计算得到的：

；

其中，F(t)表示在时间t时刻生成的基于语音的口型数据，N表示参与计算的音素个数；A_i表示第i个音素的幅值；t_i表示第i个音素的起始时间；σ表示第i个音素的标准差；D(t-t_i)表示第i个音素的时长；K_i(t-t_i)表示第i个音素的口型调整系数，用于模拟不同的口型调整方式；C_i表示发音者个体差异系数；P_i(t)表示第i个音素的谐波峰频率；G_i表示第i个音素的喉咙和口腔形态学特征系数，用于模拟不同的口腔和喉咙的形态的调整方式。

2.根据权利要求1所述的方法，其特征在于，对所述语音数据进行分析，得到与所述语音数据对应的文字内容以及语音特征，包括：

对所述语音数据进行预处理，通过数字信号处理技术来分析预处理后的所述语音数据，以从预处理后的所述语音数据中提取出所述语音特征，其中，所述语音特征包括所述语音数据的频谱信息、频率信息和语速信息；

通过语音识别技术来分析预处理后的所述语音数据，以从预处理后的所述语音数据中提取出对应的所述文字内容。

3.根据权利要求2所述的方法，其特征在于，对所述语音数据进行预处理，通过数字信号处理技术来分析预处理后的所述语音数据，包括：

对所述语音数据进行去噪处理，并对去噪处理后的所述语音数据进行分帧，得到多帧语音数据片；

通过所述数字信号处理技术，对每帧语音数据片进行频域分析，得到所述每帧语音数据片的频谱信息和频率信息，并对所述每帧语音数据片进行时域分析，得到所述每帧语音数据片的语速信息。

4.根据权利要求3所述的方法，其特征在于，在对所述口型数据进行调整之前，所述方法还包括：

针对所述每帧语音数据片，将所述每帧语音数据片的音素序列和所述每帧语音数据片的语音特征对应，计算所述每帧语音数据片的音素序列和所述每帧语音数据片的语音特征之间的距离，得到帧对齐误差；

基于所述帧对齐误差，使用动态规划算法将所述每帧语音数据片的语音特征对齐到所述每帧语音数据片的音素序列中。

5.根据权利要求1所述的方法，其特征在于，基于所述每个音素对应的语音特征，计算所述每个音素对应的口型参数，包括：

基于所述每个音素对应的语音特征中的频率信息，计算音高，并基于所述音高来确定所述嘴唇的张合程度，其中，所述音高越大，嘴唇张开的程度越大；

基于所述每个音素对应的语音特征中的频谱信息，计算出所述频谱信息中的两个或多个峰值频率之间的能量分布，以确定所述舌头的位置；

基于所述每个音素对应的语音特征中的频谱信息，计算出所述频谱信息中的共振峰的位置，并根据所述共振峰的位置计算出所述喉咙的位置；

基于所述每个音素对应的语音特征中的语速信息，计算出所述嘴唇的运动速度；

基于所述每个音素的发音特点，确定所述嘴唇的形状。