[发明专利]模型评测方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种模型评测方法、装置、电子设备及存储介质，涉及人工智能技术领域，可用于语言处理、图像处理、情感分类等场景。该方法包括：获取训练数据和测试数据；采用训练数据对模型进行训练；采用测试数据测试训练后的模型，并计算测试时对模型性能进行评估得到的预设指标值；基于预设指标值确定采用评测系统中的至少一个分析模块针对训练数据、测试数据和模型中的至少一项进行评测。本申请方案的实施可以有效提高算法评测对模型优化改进方面的效能。

技术领域

本申请涉及人工智能技术领域，具体而言，本申请涉及一种模型评测方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的发展，越来越多的产品中融入了智能算法，而一个算法质量的优劣将影响到算法乃至程序的执行效率，因此在产品中融入合适的算法非常重要，否则可能由于算法的融入而影响了产品原本的性能。对此，需要针对算法质量进行评测。

现有技术中，针对算法评测的问题，提供了一种语言可解释性工具(LanguageInterpretability Tool，LIT)，该工具可以用于评测自然语言处理(Natural LanguageProcessing，NLP)算法模型。

然而，LIT工具仅仅是针对自然语言处理领域的算法模型和各项自然语言处理任务，其无法适应于其他领域更广泛的算法模型中，导致适应性较差；另外，LIT工具中进行白盒评测时，一般是针对模型内部的特征层进行，缺乏了对数据样本等层面的评估分析，其分析结果较为单一，无法从多个层面了解算法模型的质量问题。

发明内容

本申请提供的技术方案旨在至少能解决上述的技术缺陷之一，特别是评测的分析结果单一的技术缺陷。其中，技术方案如下：

在本申请的第一方面，提供了一种模型评测方法，包括：获取训练数据和测试数据；采用训练数据对模型进行训练；采用测试数据测试训练后的模型，并计算测试时对模型性能进行评估得到的预设指标值；基于预设指标值确定采用评测系统中的至少一个分析模块针对训练数据、测试数据和模型中的至少一项进行评测。

在一实施例中，基于预设指标值确定采用评测系统中至少一个分析模块针对训练数据、测试数据和模型中的至少一项进行评测，包括：

若预设指标值小于或等于预设阈值，采用下述至少一种进行评测：采用评测系统中用于度量测试数据完整性的覆盖度分析模块针对模型进行评测；采用评测系统中用于度量测试数据不确定性的不确定性分析模块针对测试数据进行评测；

采用评测系统中用于分析测试数据的不同特征对模型决策的重要程度的归因分析模块、用于分析测试数据的的不同特征对模型决策的重要程度的可视化分析模块和用于分析训练数据对模型针对测试数据进行决策的重要程度的影响力分析模块中的至少一个针对异常问题进行评测。

在一实施例中，采用覆盖度分析模块针对模型进行评测包括以下至少一项：

基于训练数据确定模型中每一神经元的边界范围，基于边界范围与测试数据对模型进行评测；

构建模型网络层间的神经元对，并基于神经元对与测试数据对模型进行评测。

在一实施例中，基于训练数据确定模型中每一神经元的边界范围，基于边界范围与测试数据对模型进行评测，包括：

基于训练数据进行前向传播处理，确定模型中各神经元的边界范围；

基于测试数据进行前向传播处理，确定测试数据中各测试样本超出边界范围对应的神经元数量；

基于神经元数量确定模型对各测试样本进行决策的置信度；

基于置信度确定针对模型进行评测的结果。

在一实施例中，构建神经元对，并基于神经元对与测试数据对模型进行评测，包括：