[发明专利]模型质量监控方法、装置、电子设备以及存储介质

说明书

本公开提供了一种模型质量监控方法、装置、电子设备以及存储介质。涉及计算机应用技术领域，尤其涉及模型开发等人工智能领域。具体实现方案为：获取目标模型的第一质量指标数据；获取预设时间段内目标模型的输入数据和输出数据；基于预设时间段内的输入数据和输出数据，利用目标算法确定目标模型的第二质量指标数据；对比第二质量指标数据与第一质量指标数据之间的差异，在差异超出预设范围的情况下，进行告警。根据本公开的技术方案，能智能地对模型的质量进行监控，快速及时地反馈模型的质量变化情况，提高模型质量监控的效率。

技术领域

本公开涉及计算机应用技术领域，尤其涉及模型开发等人工智能领域，具体涉及一种模型质量监控方法、装置、电子设备以及存储介质。

背景技术

随着人工智能(Artificial Intelligence，AI)的发展，越来越多的行业和领域在使用AI技术解决自身的业务问题，实现业务不断创新。由于AI模型质量的好坏将直接影响业务的运行能力，因此，需要对模型的质量进行监控。相关技术中，在模型质量监控过程中，存在多个需要人工参与和业务侵入的环节，不利于自动化的工程实现。另外，相关监控方式不能及时对模型质量问题进行预警。

发明内容

本公开提供了一种模型质量监控方法、装置、电子设备以及存储介质。

根据本公开的第一方面，提供了一种模型质量监控方法，包括：

获取目标模型的第一质量指标数据；

获取预设时间段内该目标模型的输入数据和输出数据；

基于该预设时间段内的输入数据和输出数据，利用目标算法确定该目标模型的第二质量指标数据；

对比该第二质量指标数据与该第一质量指标数据之间的差异，在该差异超出预设范围的情况下，进行告警。

根据本公开的第二方面，提供了一种模型质量监控装置，包括：

第一获取模块，用于获取目标模型的第一质量指标数据；

第二获取模块，用于获取预设时间段内目标模型的输入数据和输出数据；

第一确定模块，用于基于预设时间段内的输入数据和输出数据，利用目标算法确定目标模型的第二质量指标数据；

监控模块，用于对比第二质量指标数据与第一质量指标数据之间的差异，在差异超出预设范围的情况下，进行告警。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行上述第一方面所提供的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行上述第一方面所提供的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述第一方面所提供的方法。

本公开实施例，能智能地对模型的质量进行监控，快速及时地反馈模型的质量变化情况，提高模型质量监控的效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的模型质量监控方法的流程示意图一；