[发明专利]KI模块对欺骗尝试的敏感性的测量

说明书

一种用于测量KI模块对欺骗尝试的敏感性的方法，具有步骤：针对输入空间E中的预先给定的开放数据集将分类和/或回归确定为未受干扰的结果，KI模块将所述开放数据集映射到所述分类和/或回归上；将至少一个具有维度dD的干扰S外加在所述开放数据集上，使得在所述输入空间E中形成至少一个受干扰的数据集；将如下分类和/或回归确定为受干扰的结果，所述KI模块将所述受干扰的数据集映射到所述分类和/或回归上；所述受干扰的结果与未受干扰的结果的偏差利用预先给定的度量标准来确定；响应于所述偏差满足预先给定的标准，确定所述KI模块关于所述开放数据集对具有维度d的欺骗尝试是敏感的。

技术领域

本发明涉及对利用KI模块分析测量数据的系统的保护以免受尤其利用所谓的“对抗样本（adversarial examples）”的欺骗尝试。

背景技术

在许多领域中，使用具有能学习的人工智能、诸如人工神经网络的KI模块来分析测量数据。这在测量数据、例如图像数据是非常高维度的并且从测量数据中可以确定比较低维度的分类和/或回归时是特别有利的。例如，图像数据可以利用KI模块如下来分类：在道路场景中包含哪些对象和交通标志。

这种KI模块可以利用所谓的“对抗样本”来攻击。在此涉及对KI模块的输入数据的有针对性恶意地引入的改变，其目标是导致到错误的类别中的分类。这样例如可以通过几乎不引起人类驾驶员注意的粘贴标签或标记改变交通标志，使得该交通标志被网络识别为另一交通标志。相应地，车辆对该交通标志错误地作出反应。

由DE 10 2018 200 724 A1已知一种用于生成数据信号干扰的方法，利用该方法能够人工地模仿这种类型的典型攻击。这些模仿可以被用于研究分类网络的敏感性并且试验对策。

发明内容

在本发明的范围内开发了一种用于测量KI模块对欺骗尝试的敏感性的方法。该KI模块包括参数化的内部处理链形式的可训练的人工智能。该内部处理链尤其例如可以包括人工神经网络，KNN。该内部处理链的参数于是例如可以是权重，利用所述权重计算在神经元处所施加的用于激活这些神经元的输入。

利用该方法要检查的KI模块被构成用于借助其内部处理链将来自具有维度D的输入空间E的输入数据集映射到具有维度G D的输出空间F中的分类和/或回归上。分类例如针对输入数据集和预先给定的类别标准分别说明：输入数据集以哪些置信度属于这些类别中的每个类别。回归例如针对输入数据集和感兴趣的实值的变量说明：这些变量的哪些值以哪些置信度根据输入数据集是一致的。

在大多数应用中，G D适用。这样，例如512x512个像素大的图像存在于具有维度D=262.144的输入空间E中。不同对象的数量确定输出空间F的维度并且典型地小于1000，应根据所述对象的存在来检查该图像。

在该方法中，针对输入空间E中的预先给定的开放数据集（Auf-Datasatz）将分类和/或回归确定为未受干扰的结果，KI模块将开放数据集映射到所述分类和/或回归上。

将至少一个干扰S外加在开放数据集上，所述干扰具有维度d D。以此方式形成输入空间E中的至少一个受干扰的数据集。为此目的，尤其可以有利地将针对KI模块的“对抗样本”确定为干扰S。尤其针对包括KNN的KI模块，已知如下算法，利用这些算法可以产生具有可自由选择的维度d的“对抗样本”。

如下分类和/或回归被确定为受干扰的结果，KI模块将受干扰的数据集映射到该分类和/或回归上。受干扰的结果与未受干扰的结果的偏差利用预先给定的度量标准来确定。该度量标准尤其可以是为具体应用设置的，在该具体应用中应使用由KI模块提供的结果、即分类和/或回归。该度量标准于是例如可以通过如下方式来激励：该偏差在应用中如何干扰性地产生影响。