[发明专利]仿真3D数字人交互方法、装置、电子设备及存储介质

权利要求书

1.一种仿真3D数字人交互方法，其特征在于，包括：

获取采集装置采集的场景数据；

若根据所述场景数据确定场景内存在目标用户，则处理所述场景数据以获取所述目标用户与显示屏的相对位置，所述相对位置包括相对距离；

若所述目标用户与所述显示屏的相对距离小于预设数值，则所述目标用户位于预设区域内，根据所述相对位置在预设的多个参考参数中确定目标参考参数，其中，所述参考参数用于表征样本图像包含的真人模特相对于采集所述样本图像的图像采集装置的位姿；

将所述目标参考参数输入预设的仿真数字人模型，所述预设的仿真数字人模型包括特征生成模型和图像生成模型，基于所述特征生成模型获取所述目标参考参数对应的样本图像中真人模特的特征参数，基于所述图像生成模型生成所述特征参数对应的目标仿真数字人图像，其中，所述目标仿真数字人图像包括面部朝向所述目标用户的仿真数字人，所述预设的仿真数字人模型为预先根据包含真人模特的多个样本图像和每个所述样本图像对应的参考参数训练得到的深度学习模型；

在所述显示屏上显示所述目标仿真数字人图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述相对位置在预设的多个参考参数中确定目标参考参数，包括：

根据所述相对位置确定用户视角参数，所述用户视角参数用于表征所述目标用户朝向所述显示屏的预设位置的视角；

在所述预设的多个参考参数中，根据所述用户视角参数确定所述目标参考参数。

3.根据权利要求2所述的方法，其特征在于，所述根据所述相对位置确定用户视角参数，包括：

根据所述相对位置确定所述显示屏的目标显示位置，所述目标显示位置为所述目标仿真数字人图像在所述显示屏上的显示位置；

根据所述相对位置和所述目标显示位置确定所述用户视角参数。

4.根据权利要求1所述的方法，其特征在于，在所述将所述目标参考参数输入预设的仿真数字人模型之前，所述方法还包括：

获取交互信息；

处理所述交互信息以获取应答语音信息；

所述将所述目标参考参数输入预设的仿真数字人模型，包括：

将所述目标参考参数和所述应答语音信息输入所述预设的仿真数字人模型，得到输出的图像序列，所述图像序列由多帧连续的所述目标仿真数字人图像构成；

所述在所述显示屏上显示所述目标仿真数字人图像，包括：

根据所述图像序列生成并输出仿真数字人的视频，同步播放所述应答语音信息。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标参考参数和所述应答语音信息输入所述预设的仿真数字人模型，得到输出的图像序列，包括：

将所述目标参考参数输入所述特征生成模型以获取初始特征参数，所述初始特征参数用于表征所述样本图像对应的所述真人模特的形态；

根据所述应答语音信息，对所述初始特征参数的表情参数、动作参数、嘴型参数中至少一个参数进行调整以得到参数序列，所述参数序列包括多个目标特征参数；

基于所述图像生成模型，获取每个所述目标特征参数对应的目标仿真数字人图像，以得到所述参数序列对应的所述图像序列。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标仿真数字人图像中所述仿真数字人的朝向角度与所述目标参考参数对应的所述样本图像中的所述真人模特的朝向角度相同。

7.根据权利要求6所述的方法，其特征在于，所述目标仿真数字人图像中所述仿真数字人的体貌特征与所述目标参考参数对应的样本图像中的所述真人模特的体貌特征相同。