[发明专利]线上模型维护时间点的分析方法、装置、设备及介质

说明书

本发明涉及人工智能技术，揭露一种线上模型维护时间点的分析方法，包括：在线上质检模型的维护时间内，从业务数据库中提取样本业务集合及质检标注；利用线上质检模型的线下镜像模型对所述样本业务集合进行质量检测，得到检测结果集合；通过对比检测结果集合与样本业务集合的质检标注，得到模型准确率；获取历史时间段内各个历史维护时间对应的模型准确率，根据各个所述模型准确率拟合得到准确率回归曲线；利用准确率回归曲线计算线上质检模型在不同时间点的模型预测准确率，得到维护时间点。本发明还提出一种线上模型维护时间点的分析装置、电子设备以及存储介质。本发明可以准确预测线上模型的必要维护时间。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种线上模型维护时间点的分析方法、装置、电子设备及计算机可读存储介质。

背景技术

以识别身份证照片是否合格的线上质检模型为例，线上质检模型的模型参数通常会随着时间的推移而慢慢改变，因此，需要专门部门对所述线上质检模型的功能进行定期检测，防止模型失效。

目前，对线上质检模型的检查一般只能检测模型是否正常执行，并不能检测出模型效果的变化趋势，导致模型发生事故时才会自动报警，具有一定的延时性，并且由于无法确定模型效果的下降趋势，需要较高频率地对进行模型测试，会浪费大量的运算资源。

发明内容

本发明提供一种线上模型维护时间点的分析方法、装置及计算机可读存储介质，其主要目的在于解决不能对线上质检模型的效果实现提前预测的问题。

为实现上述目的，本发明提供的一种线上模型维护时间点的分析方法，包括：

在线上质检模型的维护时间内，从预构建的业务数据库中提取预设数量的样本业务，得到样本业务集合；

构建所述线上质检模型对应的线下镜像模型，利用所述线下镜像模型对所述样本业务集合中的各个样本业务进行质量检测，得到检测结果集合；

从所述业务数据库中获取所述样本业务集合中各个样本业务对应的真实质检标注，并对比所述检测结果集合与所述真实质检标注，得到所述线下镜像模型的模型准确率，并根据所述线下镜像模型的模型准确率，得到所述线上质检模型在所述维护时间对应的模型准确率；

获取预设历史时间段内的各个历史维护时间对应的模型准确率，并将各个模型准确率映射至预构建的时间-准确率空间中，得到各个准确率坐标；

利用多元回归分析算法，对所述各个准确率坐标进行拟合计算，得到准确率回归曲线；

利用所述准确率回归曲线计算所述线上质检模型在未来预设时间段内不同时间点的模型预测准确率，并在计算得到的模型预测准确率小于或等于预设的准确率阈值时，获取对应的时间点，并将所述时间点确定为所述线上质检模型的维护时间点。

可选的，所述构建所述线上质检模型对应的线下镜像模型，包括：

利用预设埋点监控所述线上质检模型的工作状态；

当检测到所述线上质检模型进入维护时间时，根据预设的自动调取权限，自动采集所述线上质检模型的模型梯度；

利用所述模型梯度对预构建的初始模型进行本地激活，得到线下镜像模型。

可选的，所述利用多元回归分析算法，对所述各个准确率坐标进行拟合计算，得到准确率回归曲线，包括：

从所述各个准确率坐标中提取两个准确率坐标，根据提取的所述两个准确率坐标构建一次方程式，并利用所述一次方程式及预设参数，构建初始回归线；

利用预构建的损失函数计算所述各个准确率坐标与所述初始回归线的损失值，并求解所述损失值的最小值，得到所述预设参数的值；

利用所述预设参数的值对所述初始回归线进行配置，得到准确率回归曲线。