[发明专利]交互方法、装置、终端设备及存储介质

说明书

本申请实施例提供了一种交互方法、装置、终端设备及存储介质。该方法包括：当终端设备的当前模式为手语识别模式时，获取待处理视频中的手语信息以及人脸图像序列；对手语信息进行识别得到文本信息，对人脸图像序列进行情绪分析获取情绪特征；基于文本信息和情绪特征，确定待处理视频的语义信息，并获取与语义信息对应的答复手语信息；基于答复手语信息生成虚拟智能客服的动作参数；基于动作参数，对虚拟智能客服的动作进行驱动，生成答复图像序列；基于答复图像序列，生成并输出针对待处理视频的答复视频。本申请通过对手语信息和用户的脸部进行识别，根据识别到的文本信息和情绪特征确定语义信息，从而提高了用户意图识别的准确性。

技术领域

本申请涉及人机交互技术领域，更具体地，涉及一种交互方法、装置、终端设备及存储介质。

背景技术

客服是企业获得用户反馈意见、解决用户产品疑问的一个主要途径。传统的客服业务主要由人工客服人员来处理，使得企业在客服方面的投入会随着客服业务量的增加而高速线性增长，成为不可忽视的支出。针对这一问题，目前比较先进的方案是引入客服机器人，以此降低人工客服量以及企业所需投入的成本。据了解，我国听力、语言残障人士超过2000万人，然而，目前客服机器人主要面向的用户为正常人，面向特殊群体提供服务的客服机器人较少，使得特殊群体的用户很难与客服机器人进行交互，降低了特殊群体的用户与客服机器人进行交互的便利性。

发明内容

本申请实施例提出了一种交互方法、装置、终端设备及存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种交互方法，应用于终端设备，该方法包括：当所述终端设备的当前模式为手语识别模式时，获取待处理视频中的手语信息以及人脸图像序列；对所述手语信息进行识别得到文本信息，对所述人脸图像序列进行情绪分析获取情绪特征；基于所述文本信息和所述情绪特征，确定所述待处理视频的语义信息，并获取与所述语义信息对应的答复手语信息；基于所述答复手语信息生成虚拟智能客服的动作参数；基于所述动作参数，对所述虚拟智能客服的动作进行驱动，生成答复图像序列，所述答复图像序列由驱动所述虚拟智能客服产生的多帧连续的行为图像构成；基于所述答复图像序列，生成并输出针对所述待处理视频的答复视频。

可选地，所述基于所述文本信息和所述情绪特征，确定所述待处理视频的语义信息，包括：将所述文本信息输入第一机器学习模型，获得与所述文本信息对应的语义信息；将所述情绪特征输入第二机器学习模型，获得与所述情绪特征对应的语义信息；基于所述文本信息对应的语义信息和所述情绪特征对应的语义信息，确定所述待处理视频的语义信息。

可选地，所述获取待处理视频中的手语信息以及人脸图像序列之后，所述方法还包括：获取待处理视频中的手语信息在预设时间段内的数量；基于所述预设时间段和所述数量计算得到所述待处理视频中的手语信息的变化速度；所述对所述人脸图像序列进行情绪分析获取情绪特征，包括：对所述人脸图像序列以及所述变化速度进行情绪分析，获取所述情绪特征。

可选地，所述获取待处理视频中的手语信息以及人脸图像序列之后，所述方法还包括：获取与所述手语信息相邻的手语信息，基于所述手语信息和所述相邻的手语信息，确定上下文语义信息；所述对所述人脸图像序列进行情绪分析获取情绪特征，包括：对所述人脸图像以及所述上下文语义信息进行情绪分析，获取所述情绪特征。

可选地，所述当所述终端设备的当前模式为手语识别模式，获取待处理视频中的手语信息之前，所述方法还包括：获取待处理视频；若所述终端设备的当前模式为非手语识别模式时，基于第一神经网络模型判断所述待处理视频是否包含手语信息；当所述待处理视频包含手语信息时，将所述终端设备的当前模式切换为手语识别模式。