[发明专利]用于改善相对于“对抗样本”的稳健性的方法和设备

说明书

本发明涉及用于改善相对于“对抗样本”的稳健性的方法和设备。用于产生通用数据信号干扰（）以生成被操纵的数据信号（x^adv）来迷惑第一机器学习系统（60）的方法，所述第一机器学习系统被设立用于确定所接收的一维或多维数据信号（x）的语义分段（y_cls），所述方法具有以下步骤：a）确定训练数据组（D^train），所述训练数据组包括数据信号（x^(k)）和所属的所期望的语义分段（y^target,k）的对，b）根据所述训练数据组（D^train）的数据信号（x^(k)）、所述所属的所期望的语义分段（y^target,k）以及加载有数据信号干扰（）的数据信号（x^(k)）的所估计的语义分段（f_θ）来生成所述数据信号干扰（）。

技术领域

本发明涉及用于产生数据信号干扰的方法并且基于此涉及用于产生被操纵的数据信号的方法、用于评价执行器控制系统的稳健性（Robustheit）的方法、用于运行执行器控制系统的方法、用于训练执行器控制系统的方法、利用所述方法所训练的执行器控制系统、计算机程序、机器可读存储介质和计算机，其中所述计算机程序包括指令，所述指令被设立用于当在计算机上实施所述计算机程序时实施所述方法之一，在所述机器可读存储介质上存储有计算机程序，所述计算机被设立用于实施所述方法之一。

背景技术

由DE 10 2005 050 577 A1已知一种用于控制设备的神经元网络。本发明检验用于控制设备的神经元网络1。神经元网络具有在第一层中的多个第一神经元N1、N2、...、Nn和在跟随第一层的第二层中的第二神经元M。从预给定的多个测试信号组合中选择每个测试信号组合。每个测试信号组合给每个第一神经元N1、N2、...、Nn分配测试输入信号向量ut1、ut2、...、utk，所述测试输入信号向量或者是零信号或者使所属的第一神经元N1、N2、...、Nn饱和（sättigt），使得第一神经元N1、N2、...、Nn输出下饱和值，或者使所属的第一神经元（Neuron）N1、N2、...、Nn饱和，使得第一神经元N1、N2、...、Nn输出上饱和值。将测试信号组合施加到第一神经元N1、N2、...、Nn上并且检测第二神经元M的输出信号p。当输出信号p大于预给定的阈值时，存储部分检验信号。在施加所述测试信号组合中的每一个之后，并且当不存储部分检验信号时，输出正的总检验信号，其中对于所述部分检验信号（fürdie）存储预给定的多个测试信号组合。

发明优点

与此相对，具有独立权利要求1的特征的方法具有以下优点：所述方法使得能够使借助机器学习方法确定的语义分段（semantische Segmentierungen）相对于误导示例（Irreführungsbeispielen）（英语“Adversarial Examples”：对抗样本）特别稳健。对抗样本是被轻微操纵的输入数据（其在图像数据情况下与未被操纵的输入数据类似，使得它们对于人类专家而言实际上不可区分，所述被轻微操纵的输入数据可能导致所确定的语义分段的显著改变。例如可能可设想的是，恶意攻击者使用这样的误导示例，以便将自主机器人引入歧途，其方式是，该攻击者例如抑制将实际上存在的流标记为“流（Fluss）”的语义分段，这可能会导致危害自主机器人，所述机器人基于所述语义分段执行其路线规划（Routenplanung）。利用根据本发明的方法可以减少这样的攻击的有效性。

有利的改进方案是独立权利要求的主题。

发明内容

在第一方面，本发明涉及用于产生通用数据信号干扰以生成被操纵的数据信号来迷惑（täuschen）第一机器学习系统的方法，所述第一机器学习系统被设立用于确定所接收的一维或多维数据信号的语义分段，所述数据信号表征代理系统（Agentensystem）、尤其包括执行器（10）和所述执行器（10）的环境（20）的执行器系统的状态。