[发明专利]一种模型的解释方法、装置、电子设备及存储介质

说明书

本公开提供了一种模型的解释方法、装置、电子设备及存储介质，本公开涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：获取第一模型输入的图像特征对应的标记(token)向量，获取第一模型输出的模型预测结果，根据注意力权重及梯度相结合的方式，确定第一模型输入的token向量与第一模型输出的模型预测结果之间的关联关系，关联关系用于表征第一模型的可解释性。采用本公开，可以提高模型的可解释性。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习领域。

背景技术

随着技术的发展，可以通过人工智能改善硬件性能，所适用的应用场景多种多样，比如涉及图像处理、视频处理、语音识别、文字识别、目标定位、无人驾驶等应用场景的硬件设计中都可以采用人工智能技术，即将模型部署于硬件中，以提高硬件的处理速度及处理准确率。

然而，该模型可以被认为黑盒模型，即：对于用户来说，该模型内部是如何工作、如何决策，以最终输出所需的预测结果，用户无法得知，导致了对模型预测结果的可解释性不高的问题。可解释性不高，进一步会导致模型的普适性差、硬件性能差等问题。

发明内容

本公开提供了一种模型的解释方法、图像处理方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种模型的解释方法，包括：

获取第一模型输入的图像特征对应的标记(token)向量；

获取所述第一模型输出的模型预测结果；

根据注意力权重及梯度相结合的方式，确定所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，所述关联关系用于表征所述第一模型的可解释性。

根据本公开的另一方面，提供了一种图像处理方法，包括：

将待处理图像特征对应的token向量输入第一模型，执行包括图像分类、图像识别、图像分割中的至少一种图像处理；

其中，所述第一模型根据上述实施例的解释方法获得所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，所述关联关系用于表征所述第一模型的可解释性；

采用所述关联关系执行如下至少之一的处理：

根据所述关联关系对所述第一模型输出的模型预测结果进行补偿处理；

根据所述关联关系对所述第一模型进行可靠性评估的处理；

根据所述关联关系对所述第一模型进行溯源的处理。

根据本公开的另一方面，提供了一种模型的解释装置，包括：

第一获取模块，用于获取第一模型输入的图像特征对应的token向量；

第二获取模块，用于获取所述第一模型输出的模型预测结果；

模型解释模块，用于根据注意力权重及梯度相结合的方式，确定所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，所述关联关系用于表征所述第一模型的可解释性。

根据本公开的另一方面，提供了一种图像处理装置，包括：

第一处理模块，用于将待处理图像特征对应的token向量输入第一模型，执行包括图像分类、图像识别、图像分割中的至少一种图像处理；

其中，所述第一模型根据权利要求1-6的解释方法获得所述第一模型输入的所述token向量与所述第一模型输出的模型预测结果之间的关联关系，所述关联关系用于表征所述第一模型的可解释性；

第二处理模块，用于采用所述关联关系执行如下至少之一的处理：