[发明专利]多模态对话状态处理方法、装置、介质及计算设备

权利要求书

1.用于人机对话的多模态对话状态处理方法，所述人机对话包括用户与系统之间的多轮对话，其特征在于，所述人机对话的当前领域具有预设的多个属性类目，其中每个属性类目具有对应的多种预设属性值；所述多模态对话状态处理方法包括：

根据当前轮次的用户输入文本内容，获得当前轮次的用户文本特征；

针对当前轮次要处理的至少一个属性类目中的每一个：

对于该属性类目对应的每一种预设属性值，确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的概率分数，以获得当前轮次的用户视觉特征，以及确定当前轮次的系统输出图像内容中含有与该种预设属性值对应的内容的概率分数，以获得当前轮次的系统视觉特征，以及

获得当前轮次的用户文本特征、用户视觉特征和系统视觉特征的结合特征，以基于所述结合特征，获得该属性类目在其对应的多种预设属性值上的概率分布。

2.根据权利要求1所述的用于人机对话的多模态对话状态处理方法，其特征在于，所述获得当前轮次的用户文本特征的步骤包括：

获得当前轮次的用户输入文本内容的第一词向量，利用文本编码器对所述第一词向量进行编码，以获得对应的语义表示作为当前轮次的用户文本特征。

3.根据权利要求2所述的用于人机对话的多模态对话状态处理方法，其特征在于，所述文本编码器采用RNN、CNN或MLP神经网络编码器模型。

4.根据权利要求1所述的用于人机对话的多模态对话状态处理方法，其特征在于，所述确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的概率分数的步骤包括：

获得当前轮次的用户输入图像内容对应的多个第一子区域；

针对所述多个第一子区域中的每一个，确定该第一子区域中含有与该种预设属性值对应的内容的第一可能性分数；以及

基于所述多个第一子区域各自对应的第一可能性分数，获得当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的概率分数。

5.根据权利要求4所述的用于人机对话的多模态对话状态处理方法，其特征在于，在所述获得当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的概率分数的过程中，

将所述多个第一子区域对应的第一可能性分数中的最大值作为第一下限值，令所述当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的概率分数大于所述第一下限值、且小于1。

6.根据权利要求4所述的用于人机对话的多模态对话状态处理方法，其特征在于：

在所述多个第一子区域对应的第一可能性分数之中，当大于第一预设阈值的第一可能性分数的数量越多时，所述当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的概率分数越高。

7.根据权利要求3-6中任一项所述的用于人机对话的多模态对话状态处理方法，其特征在于，所述第一可能性分数基于利用LeNet、AlexNet、VGG或ResNet图像特征抽取算法得到的图像特征向量获得。

8.根据权利要求1-6中任一项所述的用于人机对话的多模态对话状态处理方法，其特征在于，所述确定当前轮次的用户输入图像内容中含有与该种预设属性值对应的内容的概率分数的步骤包括：

在当前轮次的用户输入图像内容包括与该属性类目相关的至少一个第一属性值标签的情况下，根据该至少一个第一属性值标签与该种预设属性值之间的匹配程度来确定当前轮次的用户输入图像内容含有与该种预设属性值对应的内容的概率分数。