[发明专利]人工智能系统的安全性检测方法、装置及终端设备

权利要求书

1.一种人工智能系统的安全性检测方法，其特征在于，包括：

获取多个原始图像数据；

根据所述原始图像数据生成恶意样本数据；其中，所述恶意样本数据为使得人工智能系统的输出结果与预期输出结果不同的图像数据；其中，根据所述原始图像数据生成恶意样本数据包括：计算得到所述原始图像数据的纹理信息，对所述原始图像数据的纹理信息添加梯度干扰信息，生成对应的恶意样本数据集；

根据所述恶意样本数据对所述人工智能系统进行安全性测试，得到所述人工智能系统的安全性检测结果；

所述根据所述恶意样本数据对所述人工智能系统进行安全性测试，得到所述人工智能系统的安全性检测结果，包括：根据人工智能系统的不同安全需求，对恶意样本数据进行调整，基于调整后的恶意样本数据对人工智能系统进行攻击，获得对应的安全性检测结果；

具体地，所述恶意样本数据的类型包括目标恶意样本数据和非目标恶意样本数据；

根据所述人工智能系统的安全需求等级和输入数据权限，确定目标恶意样本数据和非目标恶意样本数据的比例和对应的预设算法，对所述人工智能系统进行安全性测试，得到第一测试结果；

根据所述人工智能系统的安全性能等级，通过所述恶意样本数据对所述人工智能系统进行对应的预设时长的安全性测试，得到第二测试结果；

根据所述第一测试结果和第二测试结果确定所述人工智能系统的安全性检测分数。

2.如权利要求1所述的人工智能系统的安全性检测方法，其特征在于，所述获取原始图像数据之后，还包括：

通过预设数据增强方法对每个所述原始图像数据进行图像转换，得到原始图像数据集；其中，所述预设数据增强方法包括对称处理、旋转处理和缩放处理中的至少一种。

3.如权利要求2所述的人工智能系统的安全性检测方法，其特征在于，所述通过预设数据增强方法对每个所述原始图像数据进行图像转换，得到原始图像数据集之后，包括：

识别所述原始图像数据集中每个原始图像数据的内容，确定每个原始图像数据的标签。

4.如权利要求1所述的人工智能系统的安全性检测方法，其特征在于，所述基于所述每个原始图像数据的纹理信息，添加梯度干扰信息，生成对应的恶意样本数据集，包括：

根据所述原始图像数据集中每个原始图像数据的标签进行聚类处理，得到多个类别的图像数据集；

通过相近对抗样本生成方法对每个类别的图像数据集中每个原始图像数据的纹理信息添加对应的梯度干扰信息，得到多个类别的恶意样本数据集。

5.一种人工智能系统的安全性检测装置，其特征在于，包括：

获取模块，用于获取多个原始图像数据；

生成模块，用于根据所述原始图像数据生成恶意样本数据；其中，所述恶意样本数据为使得人工智能系统的输出结果与预期输出结果不同的图像数据；其中，根据所述原始图像数据生成恶意样本数据包括：计算得到所述原始图像数据的纹理信息，对所述原始图像数据的纹理信息添加梯度干扰信息，生成对应的恶意样本数据集；

测试模块，用于根据所述恶意样本数据对所述人工智能系统进行安全性测试，得到所述人工智能系统的安全性检测结果；

根据所述恶意样本数据对所述人工智能系统进行安全性测试，得到所述人工智能系统的安全性检测结果，包括：根据人工智能系统的不同安全需求，对恶意样本数据进行调整，基于调整后的恶意样本数据对人工智能系统进行攻击，获得对应的安全性检测结果；

具体地，所述恶意样本数据的类型包括目标恶意样本数据和非目标恶意样本数据；

根据所述人工智能系统的安全需求等级和输入数据权限，确定目标恶意样本数据和非目标恶意样本数据的比例和对应的预设算法，对所述人工智能系统进行安全性测试，得到第一测试结果；

根据所述人工智能系统的安全性能等级，通过所述恶意样本数据对所述人工智能系统进行对应的预设时长的安全性测试，得到第二测试结果；

根据所述第一测试结果和第二测试结果确定所述人工智能系统的安全性检测分数。