[发明专利]模型检测方法及装置、电子设备及存储介质

说明书

本说明书一个或多个实施例提供一种模型检测方法及装置、电子设备及存储介质，所述方法包括：将多个客户端划分为多个实验分桶，并向所述多个实验分桶中每个实验分桶内的客户端下发对应的待检测模型；响应于接收到客户端发送的数据获取请求，向所述客户端发送业务数据和所述客户端对应的分桶标记，以使所述客户端在针对业务数据运行待检测模型的情况下收集评估样本，并将所述评估样本标记上所述客户端对应的分桶标记，其中，所述评估样本包括用户针对业务数据的操作指令；接收多个客户端发送的标记有分桶标记的评估样本，并根据每个分桶标记对应的评估样本对应确定每个分桶标记对应的待检测模型的检测结果。

技术领域

本说明书一个或多个实施例涉及模型检测技术领域，尤其涉及一种模型检测方法及装置、电子设备及存储介质。

背景技术

随着人工智能技术和大数据技术的不断发展，各种自动化、智能化的服务越来越多，这些服务给用户带来了非常好的使用体验。这些服务的质量取决于端云协同的质量，以及用于机器学习的网络模型的质量。目前往往通过模型检测来选择质量较好的模型应用于业务处理，即通过准备多个网络模型，并在端云协同下检测比较这些模型的质量，以选择质量较好的模型应用于业务处理。但是相关技术中，客户端收集用于评估模型质量的评估样本时，针对性较差，造成模型检测的准确性较差。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种模型检测方法及装置、电子设备及存储介质。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种模型检测方法，所述方法包括：

将多个客户端划分为多个实验分桶，并向所述多个实验分桶中每个实验分桶内的客户端下发对应的待检测模型，其中，所述多个实验分桶中每个实验分桶具有一个对应的待检测模型；

响应于接收到客户端发送的数据获取请求，向所述客户端发送业务数据和所述客户端对应的分桶标记，以使所述客户端在针对业务数据运行待检测模型的情况下收集评估样本，并将所述评估样本标记上所述客户端对应的分桶标记，其中，所述客户端对应的分桶标记为所述客户端所属的实验分桶的标记，所述评估样本包括用户针对业务数据的操作指令；

接收多个客户端发送的标记有分桶标记的评估样本，并根据每个分桶标记对应的评估样本对应确定每个分桶标记对应的待检测模型的检测结果。

在本说明书的一个实施例中，所述将多个客户端划分为多个实验分桶，包括：

响应于接收到所述多个客户端中每个客户端发送的模型获取请求，确定所述多个客户端中每个客户端所属的实验分桶。

在本说明书的一个实施例中，所述将多个客户端划分为多个实验分桶，包括：

根据待检测模型的数量，将多个客户端划分为多个实验分桶，其中，所述多个实验分桶中不同实验分桶内的客户端的数量差值小于预设阈值，所述实验分桶的数量和所述待检测模型的数量相同。

在本说明书的一个实施例中，所述向所述多个实验分桶中每个实验分桶内的客户端下发对应的待检测模型，包括：

向所述多个实验分桶中每个实验分桶内的客户端下发对应的待检测模型，和所述待检测模型对应的脚本。

在本说明书的一个实施例中，所述方法还包括：

根据每个待检测模型的检测结果，在多个待检测模型中确定目标模型。

在本说明书的一个实施例中，所述将多个客户端划分为多个实验分桶，并向所述多个实验分桶中每个实验分桶内的客户端下发对应的待检测模型，包括：

将多个客户端划分为多个实验分桶和一个空白分桶，并向所述多个实验分桶中每个实验分桶内的客户端下发对应的待检测模型；

所述方法还包括：