[发明专利]算法模型运行监控方法、装置、计算机设备和存储介质

权利要求书

1.一种算法模型运行监控方法，所述方法包括：

获取算法模型在当前统计周期内的特征标签和回归结果；

根据所述特征标签和所述回归结果确定当前性能指标，所述当前性能指标为所述算法模型在所述当前统计周期内的性能指标值；

在所述当前性能指标值满足所述算法模型的预设的告警条件时，输出第一告警提示信息；

获取当前执行结果异常数量，所述当前执行结果异常数量为所述算法模型在所述当前统计周期内的执行结果异常数量，其中，执行结果异常包括所述算法模型运行时的输出结果为空或者负数的情况；

在所述当前执行结果异常数量超过所述算法模型的预设的数量阈值时，输出第二告警提示信息；

其中，所述第一告警提示信息用于提示用户进行算法模型的重新训练部署，所述第二告警信息可以是用于提示用户进行系统调试维护；

所述获取算法模型在当前统计周期内的特征标签和回归结果，包括：在所述当前统计周期内，分批次获取所述算法模型的原始数据集；分别筛选各批次的原始数据集中的带真实标记和预测结果的数据，将各批次筛选出的数据的集合作为所述算法模型在当前统计周期内的特征标签和回归结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

保存所述算法模型在各个统计周期内的性能指标值和执行结果异常数量；

接收终端发送的数据查看请求，所述数据查看请求携带有待查看周期信息；

根据所述待查看周期信息向所述终端返回与所述待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述特征标签和所述回归结果确定当前性能指标，包括：

根据所述特征标签和所述回归结果，确定所述算法模型在所述当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；

根据所述真正例数目、所述假正例数目、所述真反例数目和所述假反例数，确定所述算法模型在所述当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；

根据所述查准率和所述查全率，确定所述算法模型在所述当前统计周期内的第一度量参数值；

根据所述ROC曲线计算所述ROC曲线所覆盖的区域面积值，将所述区域面积值作为所述算法模型在所述当前统计周期内的第二度量参数值；

将所述K-S曲线的最大值，确定为所述算法模型在所述当前统计周期内的第三度量参数值；

其中，所述当前性能指标值包括所述第一度量参数值、所述第二度量参数值和所述第三度量参数值中一个或者多个。

4.根据权利要求3所述的方法，其特征在于，所述在所述当前性能指标值满足所述算法模型的预设的告警条件时，输出第一告警提示信息，包括：

在所述第一度量参数值小于所述算法模型的预设的第一参数阈值时，或者在所述第二度量参数值小于所述算法模型的预设的第二参数阈值时，或者在所述第三度量参数值小于所述算法模型的预设的第三参数阈值时，输出第一告警提示信息。

5.根据权利要求1所述的方法，其特征在于，所述第一告警提示信息包括第一告警内容和数据查看链接，或者所述第二告警提示信息包括第二告警内容和数据查看链接，所述数据查看链接被触发时，链接到预设的度量分析界面。