[发明专利]交互方法、装置、终端、电子设备和存储介质

权利要求书

1.一种交互方法，其特征在于，包括：

获取音视频数据；

基于所述音视频数据的声学特征、语义特征和视觉特征中的至少一种，对所述音视频数据进行意图和/或情感识别，得到所述音视频数据的意图和/或情感识别结果；

基于所述音视频数据的意图和/或情感识别结果，确定与所述意图和/或情感识别结果相匹配的图像，并基于所述图像进行交互。

2.根据权利要求1所述的交互方法，其特征在于，所述基于所述音视频数据的意图和/或情感识别结果，确定与所述意图和/或情感识别结果相匹配的图像，包括：

基于图像预测模块，对所述意图和/或情感识别结果进行图像特征预测，得到所述意图和/或情感识别结果对应的预测图像特征，所述图像预测模块是基于意图和/或情感标签，以及与所述意图和/或情感标签相匹配的样本图像训练得到的；

基于预训练图像解码模块，对所述预测图像特征进行特征解码，得到与所述意图和/或情感识别结果相匹配的图像。

3.根据权利要求2所述的交互方法，其特征在于，所述图像预测模块的获取步骤包括：

获取初始图像预测模块；

基于所述初始图像预测模块，对所述意图和/或情感标签进行图像特征预测，得到所述意图和/或情感标签对应的预测图像特征；

基于预训练图像编码模块，对所述样本图像进行特征编码，得到所述样本图像的样本图像特征；

基于所述样本图像特征和所述预测图像特征之间的相似度，对所述初始图像预测模块进行参数迭代，得到图像预测模块。

4.根据权利要求1所述的交互方法，其特征在于，所述基于所述音视频数据的声学特征、语义特征和视觉特征中的至少一种，对所述音视频数据进行意图和/或情感识别，得到所述音视频数据的意图和/或情感识别结果，包括：

对所述音视频数据的声学特征、语义特征和视觉特征进行特征融合，得到融合特征；

基于所述融合特征，对所述音视频数据进行意图和/或情感识别，得到所述音视频数据的意图和/或情感识别结果。

5.根据权利要求4所述的交互方法，其特征在于，所述基于所述融合特征，对所述音视频数据进行意图和/或情感识别，得到所述音视频数据的意图和/或情感识别结果，包括：

基于所述融合特征，分别对所述音视频数据进行意图和情感特征提取，得到第一意图特征和第一情感特征；

基于所述第一意图特征和第一情感特征之间的相关性，对所述第一意图特征和第一情感特征进行交互，得到第二意图特征和第二情感特征；

基于所述第一意图特征和所述第二情感特征，对所述音视频数据进行意图识别，得到所述音视频数据的意图识别结果；和/或，

基于所述第一情感特征和所述第二意图特征，对所述音视频数据进行情感识别，得到所述音视频数据的情感识别结果。

6.根据权利要求1所述的交互方法，其特征在于，所述音视频数据的声学特征和语义特征的确定步骤包括：

基于预训练语音识别模型中的编码器，对所述音视频数据中的音频数据进行声学特征提取，得到所述音频数据的声学特征；

基于所述预训练语音识别模型中的解码器，对所述声学特征进行特征提取，得到所述音频数据的隐层特征；

基于预训练语言模型，对所述音频数据的隐层特征进行语义特征提取，得到所述音频数据的语义特征。

7.根据权利要求1-6中任一项所述的交互方法，其特征在于，所述获取音视频数据，包括：

获取第一客户端用户在视频交流时的音视频数据；

所述基于所述图像进行交互，包括：

在检测到第一客户端开启图像交互功能的情况下，将所述图像发送至第二客户端，并在所述第二客户端显示所述图像。