[发明专利]风控模型的评估方法及装置

说明书

本申请公开了一种风控模型的评估方法及装置。其中，该方法包括：评估风控模型的影响性质，得到第一评估结果；分析风控模型的预测失败事件产生的业务影响，得到第二评估结果；审核用于训练风控模型的数据集，得到第三评估结果，其中，数据集包括：训练集和测试集，对数据集的审核内容包括以下至少之一：数据集的来源、数据集的拆分以及数据集的处理；对风控模型进行外部测试，得到第四评估结果；基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值。本申请解决了相关技术缺乏在模型应用方维度对风控模型进行审计评价的技术问题。

技术领域

本申请涉及模型审计技术领域，具体而言，涉及一种风控模型的评估方法及装置。

背景技术

目前，随着人工智能技术的不断发展，大多数企业已经开始使用人工智能算法驱动其相关业务流程，因此越来越多的人工智能技术将广泛覆盖绝大数行业，但其面临的风险不言而喻。尤其是金融领域，例如银行在不同业务流程中均涉及到运用人工智能构建的风控模型，通过风控模型不仅可以减轻银行人员的工作量，提升工作效率，还可以有效提升对客户的风险评估准确性。因此，需要通过必要的手段确保风控模型能够准确运行并实现预期目的，但目前相关技术缺乏对银行风控模型进行审计评价。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种风控模型的评估方法及装置，以至少解决相关技术缺乏在模型应用方维度对银行风控模型进行审计评价的技术问题。

根据本申请实施例的一个方面，提供了一种风控模型的评估方法，包括：评估风控模型的影响性质，得到第一评估结果；分析风控模型的预测失败事件所产生的业务影响，得到第二评估结果；审核用于训练风控模型的数据集，得到第三评估结果，其中，数据集包括：训练集和测试集，对数据集的审核内容包括以下至少之一：数据集的来源、数据集的拆分以及数据集的处理；对风控模型进行外部测试，得到第四评估结果；基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值。

可选地，分析风控模型的预测失败事件产生的业务影响，得到第二评估结果，包括：通过模糊综合评价法确定预测失败事件的先验风险指数；基于先验风险指数确定第二评估结果。

可选地，通过模糊综合评价法确定预测失败事件的先验风险指数，包括：确定评估预测失败事件对应用方的业务影响的评价因素，其中，评价因素中包括以下至少之一：发生概率、影响程度、事前识别机制；按照预设的划分规则划分评价因素，并确定评估每个预测失败事件对应的评价值；对于每个预测失败事件，将各个评价因素对应的评价值之和作为预测失败事件的先验风险指数。

可选地，对风控模型进行外部测试，得到第四评估结果，包括：获取外部测试数据集，其中，外部测试数据集用于反映风控模型的模型输出结果；基于外部测试数据集确定第四评估结果。

可选地，基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值，包括：分别获取第一评估结果的第一权重值，第二评估结果的第二权重值，第三评估结果的第三权重值以及第四评估结果的第四权重值；基于第一评估结果和第一权重值，第二评估结果和第二权重值，第三评估结果和第三权重值以及第四评估结果和第四权重值确定第一评估值。

可选地，在基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值之后，依据第一评估值确定对应的第一模型调优措施，其中，第一模型调优措施中包括：增加模型使用限制、调整模型训练数据集。

可选地，在基于第一评估结果、第二评估结果、第三评估结果和第四评估结果确定风控模型的应用方对风控模型的第一评估值之后，该方法还包括：以报告形式输出第一评估结果、第二评估结果、第三评估结果和第四评估结果。