[发明专利]一种情感识别的方法、装置、设备和介质

权利要求书

1.一种情感识别的方法，其特征在于，包括：

获取目标对象的多个模态分别对应的模态特征；

基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；

将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；

根据所述查询值和所述关键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；

针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；

基于每个模态的所述注意力表示获得所述目标对象的情感分类结果。

2.根据权利要求1所述的方法，其特征在于，基于所述注意力表示获得所述目标对象的情感分类结果，包括：

将每个模态对应的所述模态特征作为所述神经网络的价值；

基于所述价值和所述注意力表示，通过所述神经网络获得分别以每个模态的模态特征为主导的模态间的情感交互信息；

基于每个所述情感交互信息获得所述目标对象的情感分类结果。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对每个模态的所述核张量沿着对应模态的时间维度进行平均池化操作，得到所述核张量的池化矩阵。

4.根据权利要求2所述的方法，其特征在于，所述基于每个所述情感交互信息获得所述目标对象的情感分类结果，包括：

将所述每个所述情感交互信息的叠加结果，输入至所述神经网络的线性分类层，得到所述目标对象的情感分类结果。

5.根据权利要求2所述的方法，其特征在于，在基于每个所述情感交互信息获得所述目标对象的情感分类结果之前，所述方法还包括：

重复执行如下步骤预设次数：

针对每个模态，将所述模态的所述情感交互信息作为新的模态特征；

基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；

将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；

根据所述查询值和所述键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；

针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；

将每个模态对应的所述模态特征作为所述神经网络的价值；

基于所述价值和所述注意力表示，通过所述神经网络获得分别以每个模态的模态特征为主导的模态间的情感交互信息。

6.根据权利要求1所述的方法，其特征在于，所述第一张量包含多个分别与所述多个模态分别对应的第一低秩张量，所述第二张量包含多个分别与所述多个模态分别对应的第二低秩张量；

所述根据所述查询值和所述关键值获得每个模态分别对应的核张量，包括：

针对所述多个模态中的目标模态，根据所述目标模态对应的第一低秩张量和第二低秩张量，获得所述目标模态对应的核张量。

7.根据权利要求1所述的方法，其特征在于，所述针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示，包括：

针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行张量缩并操作，得到所述目标模态对应的注意力表示。