[发明专利]一种人工智能产品的技术风险评估方法及系统

权利要求书

1.一种人工智能产品的技术风险评估方法，其特征在于，包括如下步骤：

建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，其中每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；

根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型；

根据所述待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；

根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。

2.根据权利要求1所述的人工智能产品的技术风险评估方法，其特征在于，风险域包括：数据集风险、算法模型风险、系统运行风险；其中，

数据集风险的风险子域包括：无偏性、完整性、有效性、保密性、准确性和数据集分布平衡性；

算法模型风险的风险子域包括：鲁棒性、模型覆盖率、准确性、透明性、算法依赖性、可解释性和抗欺骗攻击性；

系统运行风险的风险子域包括：功能安全性、可预测性、可复现性、容错性、可追溯性、可控性和适应性。

3.根据权利要求2所述的人工智能产品的技术风险评估方法，其特征在于，数据集完整性的度量元包括：数据集模型完整性、数据集模型属性完整性、元数据完整性；

数据集有效性的度量元包括：数据集有效性比率、数据元素有效性；

数据集保密性的度量元包括：加密使用和非脆弱性；

数据集准确性的度量元包括：语义准确性、数据集不准确性风险、元数据准确性；

数据集分布平衡性的度量元包括：类别平衡和错分成本平衡；

算法模型鲁棒性的度量元包括：非正常样本中输出正确率、局部对抗鲁棒性、全局对抗鲁棒性；

算法模型准确性的度量元包括：精准率和准确率；

算法模型透明性的度量元包括：训练过程透明度量和训练结果透明度量；

算法模型算法依赖性的度量元包括：依赖算法的正确性、依赖算法的合规性；

算法模型的可解释性的度量元包括：事前可解释和事后可解释；

系统运行的可复现性的度量元包括：复现结果偏差和复现成功率；

系统运行的容错性的度量元包括：失效的避免性、误操作的抵御性、误操作的危害性；

系统运行的可追溯性的度量元包括：系统执行结果可追溯性和故障追溯分析能力；

系统运行的可控性的度量元包括：危险场景下控制成功率、控制输入服从分布式一致性；

系统运行的适应性的度量元包括：跨平台适应性、任务适应性。

4.根据权利要求2所述的人工智能产品的技术风险评估方法，其特征在于，根据待评估人工智能产品特性及评估需求，确定待评估人工智能产品的风险域对应的风险子域及度量元，制定针对所述待评估人工智能产品的技术风险模型的过程，包括：

人工智能产品技术风险评估模型中的风险域所包含数据集风险、算法模型风险、系统运行风险，均为必选项；

根据人工智能产品的特性，确定已选取风险子域中的每个度量元的重要程度，将已选取风险子域中的度量元分为重要度量元和一般度量元，其中重要度量元为必选项，一般度量元为可选项；

在每个风险子域中，根据评估需求，选取可选项和至少一个必选项，从而建立针对具体待测人工智能产品的技术风险评估模型。

5.根据权利要求1所述的人工智能产品的技术风险评估方法，其特征在于，预先建立的技术风险评估通过准则包括：

依据相关历史相似产品度量值或根据需要达到的目标给定每个度量元设定需要达到的阈值；

该风险子域下选取的度量元全部达到阈值要求，则该风险子域达到评估要求；

该风险域下的选取的风险子域全部满足，则选取的风险域达到评估要求；

若风险域全部满足，则技术风险达到评估要求。