[发明专利]算法模型运行监控方法、装置、计算机设备和存储介质

说明书

本申请涉及一种算法模型运行监控方法、装置、计算机设备和存储介质。所述方法包括：获取算法模型在当前统计周期内的特征标签和回归结果；根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。采用本方法能够及时发现算法模型的运行异常情况，且能够避免算法模型更新的盲目性，有助于保证算法模型性能。

技术领域

本申请涉及互联网技术领域，特别是涉及一种算法模型运行监控方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术在互联网领域的应用和发展，尤其是机器学习的应用和发展，将机器学习得到的算法模型应用于大数据风控，为互联网金融等领域提供了强有力的安全保障。然而如何高效、直观地度量算法模型的性能，监控算法的执行异常，指导算法模型的灵活迭代和及时地运行维护成为急需研究的问题。

目前采用的方案，主要是在上线前对算法模型进行性能度量，上线后对算法模型进行定期更新，来保证算法模型较低的泛化误差。

但是这种方式存在以下问题，其一，如果定期更新的时间较长，无法保证算法模型拥有一个较低的泛化误差，可能对业务造成影响。其二，如果定期更新的时间较短，频繁迭代会造成资源的浪费。最后，算法模型运行异常等情况无法及时发现。

发明内容

基于此，有必要针对上述技术问题，提供一种能够及时发现算法模型的运行异常情况，且能够避免更新的盲目性的算法模型运行监控方法、装置、计算机设备和存储介质。

一种算法模型运行监控方法，该方法包括：

获取算法模型在当前统计周期内的特征标签和回归结果；

根据特征标签和回归结果确定当前性能指标，当前性能指标为算法模型在当前统计周期内的性能指标值；

在当前性能指标值满足算法模型的预设的告警条件时，输出第一告警提示信息。

在其中一个实施例中，上述的方法还包括：

获取当前执行结果异常数量，当前执行结果异常数量为算法模型在当前统计周期内的执行结果异常数量；

在当前执行结果异常数量超过算法模型的预设的数量阈值时，输出第二告警提示信息。

在其中一个实施例中，上述的方法还包括：

保存算法模型在各个统计周期内的性能指标值和执行结果异常数量；

接收终端发送的数据查看请求，数据查看请求携带有待查看周期信息；

根据待查看周期信息向终端返回与待查看周期信息对应的统计周期内的性能指标值或者/和执行结果异常数量。

在其中一个实施例中，上述的根据特征标签和回归结果确定当前性能指标，包括：

根据特征标签和回归结果，确定算法模型在当前统计周期内的真正例数目、假正例数目、真反例数目和假反例数目；

根据真正例数目、假正例数目、真反例数目和假反例数，确定算法模型在当前统计周期内的查准率、查全率、ROC曲线和K-S曲线；

根据查准率和查全率，确定算法模型在当前统计周期内的第一度量参数值；

根据ROC曲线计算ROC曲线所覆盖的区域面积值，将区域面积值作为算法模型在当前统计周期内的第二度量参数值；

将K-S曲线的最大值，确定为算法模型在当前统计周期内的第三度量参数值；

当前性能指标值包括第一度量参数值、第二度量参数值和第三度量参数值中一个或者多个。