[发明专利]一种模型安全检测方法、装置以及电子设备

说明书

本说明书实施例公开了一种模型安全检测方法、装置以及电子设备。所述方法包括：利用GAN框架、待检测模型以及样本训练得到判别器，通过判别器对待检测模型针对当前输入数据计算出的中间结果和/或输出结果的数据进行判别，检测待检测模型当前是否安全。

技术领域

本说明书涉及计算机软件技术领域，尤其涉及一种模型安全检测方法、装置以及电子设备。

背景技术

深度学习是目前比较热门的一个技术领域，基于深度学习模型，可以执行诸如风险识别、语音识别、图像识别等任务。

在现有技术中，深度学习模型通常处于服务器上，但其同样也可以处于诸如用户终端等相对开放的环境中。

对于后一种情况，需要能够检测模型安全的方案。

发明内容

本说明书实施例提供一种模型安全检测方法、装置以及电子设备，用以解决如下技术问题：需要能够检测处于相对开放的环境中的模型的安全的方案。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种模型安全检测方法，包括：

获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；

通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；

其中，所述判别器是利用生成对抗网络(Generative Adversarial Nets，GAN)框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。

本说明书实施例提供的一种模型安全检测装置，包括：

获取模块，获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；

检测模块，通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；

其中，所述判别器是利用GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。

本说明书实施例提供的一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；

通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；

其中，所述判别器是利用GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：可以利于基于GAN框架训练得到的判别器，根据待检测模型计算出的中间结果和/或输出结果的数据进行模型安全检测，以了解所述计算过程或结果是否安全。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图；