[发明专利]人工智能系统的安全性检测方法、装置及终端设备

说明书

本申请适用于人工智能技术领域，提供了一种人工智能系统的安全性检测方法、装置及终端设备，方法包括：获取原始图像数据，根据原始图像数据生成恶意样本数据，根据恶意样本数据对人工智能系统进行安全性测试，得到人工智能系统的安全性检测结果，以模拟在真实环境下的人工智能系统的安全攻击，实现针对人工智能系统进行全面和真实的安全性能测试，降低人工智能系统的安全隐患。

技术领域

本申请属于人工智能技术领域，尤其涉及一种人工智能系统的安全性检测方法、装置、终端设备及可读存储介质。

背景技术

近年来，人工智能技术作为引领新一轮科技革命和产业变革的战略性技术，成为各个国家，各个科技领域内最关键的一项技术。

然而，由于人工智能技术具有强依赖于训练数据，缺乏可解释性的特性，使得在人工智能系统受到安全攻击时，攻击用户通过在训练数据里加入攻击数据，破坏训练数据的完整性，使得人工智能系统输出的结果与预期的正确输出结果不同，降低人工智能系统输出结果的精度。

相关的基于人工智能系统的安全检测方法通常是对人工智能系统进行特定的安全攻击，而无法全面系统地对人工智能系统进行检测评估，无法确定人工智能系统在实际场景中的安全性，导致人工智能技术的安全性能测试结果的精度不稳定、真实性差。

发明内容

本申请实施例提供了一种人工智能系统的安全性检测方法、装置、终端设备及可读存储介质，可以解决相关的基于人工智能系统的安全检测方法无法全面系统地对人工智能系统进行检测评估，人工智能技术的安全性能测试结果的精度不稳定、真实性差的问题。

第一方面，本申请实施例提供了一种人工智能系统的安全性检测方法，包括：

获取多个原始图像数据；

根据所述原始图像数据生成恶意样本数据；其中，所述恶意样本数据为使得人工智能系统的输出结果与预期输出结果不同的图像数据；

根据所述恶意样本数据对所述人工智能系统进行安全性测试，得到所述人工智能系统的安全性检测结果。

在一个实施例中，所述获取原始图像数据之后，还包括：

通过预设数据增强方法对每个所述原始图像数据进行图像转换，得到原始图像数据集；其中，所述预设数据增强方法包括对称处理、旋转处理和缩放处理中的至少一种。

在一个实施例中，所述通过预设数据增强方法对每个所述原始图像数据进行图像转换，得到原始图像数据集之后，包括：

识别所述原始图像数据集中每个原始图像数据的内容，确定每个原始图像数据的标签。

在一个实施例中，所述根据所述原始图像数据生成恶意样本数据，包括：

计算得到所述原始图像数据集中每个原始图像数据的纹理信息；

基于所述每个原始图像数据的纹理信息，添加梯度干扰信息，生成对应的恶意样本数据集。

在一个实施例中，所述基于所述每个原始图像数据的纹理信息，添加梯度干扰信息，生成对应的恶意样本数据集，包括：

根据所述原始图像数据集中每个原始图像数据的标签进行聚类处理，得到多个类别的图像数据集；

通过相近对抗样本生成方法对每个类别的图像数据集中每个原始图像数据的纹理信息添加对应的梯度干扰信息，得到多个类别的恶意样本数据集。

在一个实施例中，所述恶意样本数据的类型包括目标恶意样本数据和非目标恶意样本数据；

所述根据所述恶意样本数据对所述人工智能系统进行安全性测试，得到所述人工智能系统的安全性检测结果，包括：