[发明专利]数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

采集与目标用户相关联的音视频帧数据，其中，所述音视频帧数据中包括待处理语音信息和待处理面部图像；

基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像；

基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句；

将所述目标语句和所述目标面部图像分别或同时显示在与所述目标用户相关联的客户端上；

所述音频内容跟随方法中包括音频特征提取算法以及与所述目标文本相对应的解码器，所述基于音频内容跟随方法对所述待处理语音信息跟随处理，确定所述待处理语音信息在目标文本中所关联的目标语句，包括：

基于所述音频特征提取算法对所述待处理语音信息进行特征提取，得到待处理声学特征；

基于声学模型对所述待处理声学特征进行处理，得到与所述待处理声学特征相对应的声学后验概率；

基于所述声学后验概率和所述解码器，确定第一待确定语句，以及与所述第一待确定语句相对应的第一置信度；其中，所述解码器是根据与所述目标文本相对应的插值语言模型确定，所述插值语言模型是根据与所述目标文本相对应的目标语言模型和普通语言模型确定的；

在所述第一置信度满足预设置信度阈值的条件下，将所述第一待确定语句作为待匹配语句，并根据所述待匹配语句确定所述目标语句。

2.根据权利要求1所述的方法，其特征在于，在所述采集与目标用户相关联的音视频帧数据之前，还包括：

接收上传的所述目标文本，以使所述目标用户基于所述目标文本进行互动。

3.根据权利要求1所述的方法，其特征在于，所述采集与目标用户相关联的音视频帧数据，包括：

当检测到触发预设事件时，基于语音收集装置采集所述目标用户的待处理语音信息，以及基于摄像装置采集所述目标用户的待处理面部图像。

4.根据权利要求1所述的方法，其特征在于，所述基于目标视线角度调整模型对所述待处理面部图像进行处理，得到与所述待处理面部图像相对应的目标面部图像，包括：

将所述待处理面部图像输入至所述目标视线角度调整模型中，得到所述目标面部图像；其中，所述目标面部图像中目标用户的视线角度与目标视线角度相一致。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取训练样本集；其中，所述训练样本集中包括多个训练样本，每个训练样本中包括目标视线角度图像和非目标视线角度图像，所述训练样本是基于预先训练得到的目标样本生成模型确定的；

针对各训练样本，将当前训练样本中的非目标视线角度图像输入至待训练视线角度调整模型中，得到与所述当前训练样本相对应的实际输出图像；

根据当前训练样本的实际输出图像和目标视线角度图像，确定损失值，并基于所述损失值和与所述待训练视线角度调整模型的预设损失函数，调整所述待训练视线角度调整模型的模型参数；

将所述预设损失函数收敛作为训练目标，得到所述目标视线角度调整模型。

6.根据权利要求5所述的方法，其特征在于，训练得到所述目标样本生成模型中的非目标视线角度图像生成子模型，包括：

基于所述非目标视线角度图像生成子模型中的生成器对预先采集的高斯分布向量进行处理，得到待比较图像；

基于判别器对原始非正视图像和所述待比较图像进行处理，得到误差值；其中，所述原始非正视图像为预先采集的；

基于所述误差值和与待训练非目标视线角度图像生成子模型中的损失函数，对所述待训练非目标视线角度图像生成子模型中的模型参数进行修正；

将所述损失函数收敛作为训练目标，得到所述非目标视线角度图像生成子模型，以基于所述非目标视线角度图像生成子模型生成所述训练样本中的非目标视线角度图像。