[发明专利]模型质量监控方法、装置、电子设备以及存储介质

权利要求书

1.一种模型质量监控方法，包括：

获取目标模型的第一质量指标数据；

获取预设时间段内所述目标模型的输入数据和输出数据；

基于所述预设时间段内的所述输入数据和所述输出数据，利用目标算法确定所述目标模型的第二质量指标数据；

对比所述第二质量指标数据与所述第一质量指标数据之间的差异，在所述差异超出预设范围的情况下，进行告警。

2.根据权利要求1所述的方法，其中，所述获取目标模型的第一质量指标数据，包括：

获取监控类型和基准数据；

从指标算法库中确定与所述监控类型匹配的目标算法；

根据所述基准数据，利用所述目标算法确定出目标模型的第一质量指标数据。

3.根据权利要求1或2所述的方法，其中，所述预设时间段包括多个第一时刻；所述基于所述预设时间段内的所述输入数据和所述输出数据，利用目标算法确定所述目标模型的第二质量指标数据，包括：

基于所述多个第一时刻分别对应的所述输入数据和所述输出数据，利用所述目标算法确定所述多个第一时刻分别对应的第二质量指标数据。

4.根据权利要求3所述的方法，其中，所述对比所述第二质量指标数据与所述第一质量指标数据之间的差异，在所述差异超出预设范围的情况下，进行告警，包括：

将所述多个第一时刻分别对应的所述第二质量指标数据与所述第一质量指标数据进行对比，得到所述多个第一时刻分别对应的第一差异；

响应于在所述多个第一时刻分别对应的第一差异中存在超出第一预设范围的第一差异，采用第一告警方式进行告警。

5.根据权利要求3所述的方法，还包括：

基于所述多个第一时刻分别对应的所述第二质量指标数据，利用从预测模型库中选择出的预测模型，预测得到第二时刻的第二质量指标数据，所述第二时刻在所述多个第一时刻之后且所述第二时刻位于所述预设时间段之外。

6.根据权利要求5所述的方法，其中，所述对比所述第二质量指标数据与所述第一质量指标数据之间的差异，在所述差异超出预设范围的情况下，进行告警，包括：

将所述第二时刻的第二质量指标数据与所述第一质量指标数据进行对比，得到第二差异；

在所述第二差异超出第二预设范围的情况下，采用第二告警方式进行告警。

7.一种模型质量监控装置，包括：

第一获取模块，用于获取目标模型的第一质量指标数据；

第二获取模块，用于获取预设时间段内所述目标模型的输入数据和输出数据；

第一确定模块，用于基于所述预设时间段内的所述输入数据和所述输出数据，利用目标算法确定所述目标模型的第二质量指标数据；

监控模块，用于对比所述第二质量指标数据与所述第一质量指标数据之间的差异，在所述差异超出预设范围的情况下，进行告警。

8.根据权利要求7所述的装置，其中，所述第一获取模块，包括：

第一获取子模块，用于获取监控类型和基准数据；

第一匹配子模块，用于从指标算法库中确定与所述监控类型匹配的目标算法；

第一确定子模块，用于根据所述基准数据，利用所述目标算法确定出目标模型的第一质量指标数据。

9.根据权利要求7或8所述的装置，其中，所述预设时间段包括多个第一时刻；所述第一确定模块还用于基于多个第一时刻分别对应的所述输入数据和所述输出数据，利用所述目标算法确定所述多个第一时刻分别对应的第二质量指标数据。

10.根据权利要求9所述的装置，其中，所述监控模块，包括：

第一对比子模块，用于将所述多个第一时刻分别对应的所述第二质量指标数据与所述第一质量指标数据进行对比，得到所述多个第一时刻分别对应的第一差异；

第一告警子模块，用于响应于在所述多个第一时刻分别对应的第一差异中存在超出第一预设范围的第一差异，采用第一告警方式进行告警。