[发明专利]一种模型的解释方法、装置、电子设备及存储介质

权利要求书

1.一种模型的解释方法，包括：

获取第一模型输入的图像特征对应的标记token向量；

获取所述第一模型输出的模型预测结果；

根据注意力权重及梯度相结合的方式，确定所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，所述关联关系用于表征所述第一模型的可解释性。

2.根据权利要求1所述的方法，其中，所述根据注意力权重及梯度相结合的方式，确定所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，包括：

根据所述注意力权重进行模型解释的感知，得到第一解释结果；

根据所述梯度进行模型解释的决策，得到第二解释结果；

根据所述第一解释结果和所述第二解释结果，确定所述关联关系。

3.根据权利要求2所述的方法，其中，所述根据所述注意力权重进行模型解释的感知，得到第一解释结果，包括：

针对所述第一模型中的自注意力模块，将所述token向量以第一注意力权重进行加权处理，得到基于token向量的关联关系；其中，所述第一注意力权重为针对不同token向量的权重；

根据所述基于token向量的关联关系进行模型解释的感知，得到所述第一解释结果。

4.根据权利要求2所述的方法，其中，所述根据所述注意力权重进行模型解释的感知，得到第一解释结果，包括：

针对所述第一模型中的自注意力模块，将所述token向量以第二注意力权重进行加权处理，得到基于注意力头的关联关系；其中，所述第二注意力权重为针对不同注意力头的权重；

根据所述基于注意力头的关联关系进行模型解释的感知，得到所述第一解释结果。

5.根据权利要求2所述的方法，其中，所述根据所述梯度进行模型解释的决策，得到第二解释结果，包括：

对所述注意力权重求解积分梯度，得到注意力权重的梯度；

根据所述注意力权重的梯度进行模型解释的决策，得到所述第二解释结果。

6.根据权利要求1-5中任一项所述的方法，其中，所述第一模型为训练好的模型、或待训练的模型。

7.一种图像处理方法，所述方法包括：

将待处理图像特征对应的标记token向量输入第一模型，执行包括图像分类、图像识别、图像分割中的至少一种图像处理；

其中，所述第一模型根据权利要求1-6的解释方法获得所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，所述关联关系用于表征所述第一模型的可解释性；

采用所述关联关系执行如下至少之一的处理：

根据所述关联关系对所述第一模型输出的模型预测结果进行补偿处理；

根据所述关联关系对所述第一模型进行可靠性评估的处理；

根据所述关联关系对所述第一模型进行溯源的处理。

8.一种模型的解释装置，包括：

第一获取模块，用于获取第一模型输入的图像特征对应的标记token向量；

第二获取模块，用于获取所述第一模型输出的模型预测结果；

模型解释模块，用于根据注意力权重及梯度相结合的方式，确定所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，所述关联关系用于表征所述第一模型的可解释性。

9.根据权利要求8所述的装置，其中，所述模型解释模块，用于：

根据所述注意力权重进行模型解释的感知，得到第一解释结果；

根据所述梯度进行模型解释的决策，得到第二解释结果；

根据所述第一解释结果和所述第二解释结果，确定所述关联关系。