[发明专利]人工智能系统风险检测方法、装置、计算机设备与介质

权利要求书

1.一种人工智能系统风险检测方法，所述方法包括：

启动待检测人工智能系统；

运行所述待检测人工智能系统，获取所述待检测人工智能系统在运行中的各个风险评价指标的指标参数；

识别所述待检测人工智能系统的源代码以及应用领域，根据所述待检测人工智能系统的源代码以及应用领域，获取待检测人工智能系统各风险评价指标对应的检测权重参数；

根据各个风险评价指标的指标参数以及各风险评价指标对应的检测权重参数，获取当前待检测人工智能系统的运行风险参数；

当所述运行风险参数大于预设风险阈值时，判定所述待检测人工智能系统存在安全风险。

2.根据权利要求1所述的方法，其特征在于，所述风险评价指标包括代码安全风险参数、模型准确度、模型可解释度、模型敏感度以及模型输入数据攻击性，所述运行所述待检测人工智能系统，获取所述待检测人工智能系统测试在运行中的各预设检测时刻对应的各个风险评价指标包括：

获取所述待检测人工智能系统对应源代码，根据所述源代码获取代码安全风险参数；

获取带标记预设测试样本数据，将所述测试样本数据输入所述待检测人工智能系统，获取所述带标记预设测试样本数据对应输出数据，根据所述输出数据与对应的预测测试样本数据所带标记，获取模型准确度；

根据所述输出数据与对应的预测测试样本数据所带标记，获取所述输出数据中的出错数据，获取所述出错数据对应的错误解释信息，根据所述错误解释信息获取模型可解释度；

根据所述待检测人工智能系统的出错数据与所述待检测人工智能系统的应用领域，获取所述模型敏感度；

获取所述待检测人工智能系统对应依赖数据集，根据所述依赖数据集获取所述模型输入数据攻击性。

3.根据权利要求2所述的方法，其特征在于，所述识别所述待检测人工智能系统的源代码以及应用领域，根据所述待检测人工智能系统的源代码以及应用领域，获取待检测人工智能系统各风险评价指标对应的检测权重参数包括：

识别所述待检测人工智能系统的源代码以及应用领域；

确定所述源代码对应的风险参数类别，根据所述风险参数类别查找预设风险参数类别权重参数表，得到与所述风险参数类别对应的权重参数，将所述与所述风险参数类别对应的权重参数，作为与所述代码安全风险参数对应的第一检测权重参数；

根据所述应用领域查找预设模型准确度类别权重分布表，得到与所述应用领域对应的第一权重参数，将所述与所述应用领域对应的第一权重参数，作为与所述模型准确度对应的第二检测权重参数；

确定所述源代码对应的构成算法，根据所述构成算法查找预设模型可解释度权重分布表，得到与所述构成算法对应的权重参数，将所述构成算法对应的权重参数，作为与所述模型可解释度对应的第三检测权重参数；

根据所述应用领域确定业务影响级别，根据所述业务影响级别查找预设模型敏感度权重分布表，得到与所述业务影响级别对应的权重参数，将所述与所述业务影响级别对应的权重参数，作为所述模型敏感度对应的第四检测权重参数；

根据所述应用领域查找预设模型输入数据攻击性权重分布表，得到与所述应用领域对应的第二权重参数，将所述与所述应用领域对应的第二权重参数，作为所述模型输入数据攻击性对应的第五检测权重参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述应用领域确定业务影响级别，根据所述业务影响级别查找预设模型敏感度权重分布表，得到与所述业务影响级别对应的权重参数，将所述与所述业务影响级别对应的权重参数，作为所述模型敏感度对应的第四检测权重参数之前，还包括：

根据所述待检测人工智能系统的应用领域，对所述待检测人工智能系统进行业务影响评估，获取所述待检测人工智能系统对应的业务影响级别。

5.根据权利要求1的方法，其特征在于，所述当所述运行风险参数大于预设风险阈值时，判定所述待检测人工智能系统存在安全风险之前还包括：

获取历史记录中出现安全风险的人工智能系统对应的历史运行风险参数；

根据所述历史运行风险参数更新所述预设风险阈值。