[发明专利]为分类模型确定扰动掩模

说明书

为分类模型确定扰动掩模。公开了一种用于为对于分类模型的输入实例来确定掩模的系统（100），所述掩模对干扰通过分类模型而对输入实例的分类的扰动进行指示。分类模型确定某个类型的输入实例的分类。生成型模型根据隐空间表示来生成所述类型的合成实例。给定输入实例、其根据分类模型的分类以及让生成型模型近似输入实例的隐空间表示，掩模被确定。所述掩模指示对于针对输入实例的隐空间表示的扰动，并且基于针对受扰动的输入实例的分类模型的分类评分来被确定。所述受扰动的实例使用掩模通过如下来被确定：利用掩模来掩蔽隐空间表示；以及使用所述生成型模型、根据受掩蔽的隐空间表示来生成受扰动的输入实例。

技术领域

本发明涉及一种系统，其用于为通过分类模型的分类确定掩模，例如用于获得对于分类模型是否已经学习了输入/输出关系的理解。本发明还涉及对应的计算机实现的方法。本发明此外涉及包括用于执行所述方法的指令的计算机可读介质。

发明背景

分类模型越来越多地被使用在诸如自动化控制系统之类的环境中。例如，自主载具的控制系统可以使用图像分类来检测在它们附近的对象、诸如交通标志和障碍，并且使用该检测来控制载具。然而，还有非自主载具当今具有驾驶员辅助系统，所述驾驶员辅助系统使用图像分类，例如用于如果载具处于与对象碰撞的危险中则制动。图像分类也被使用在诸如医学图像分类的各种其它关键的情境中。除了图像之外，还有其它类型的传感器数据可以被用作对于分类模型的输入，例如，音频数据、视频数据、雷达数据、LiDAR数据、超声数据或各种单独的传感器读数或它们的历史。

基于分类，可以生成控制信号，例如用于控制机器人、载具、家用器具、电力工具、制造机器、个人助理、访问控制系统等等。然而，分类还发生在诸如医学图像分析之类的各种其它情境中。各种类型的分类模型是已知的，例如神经网络、深度神经网络、支持向量机等等。分类模型有时还被称为鉴别模型。

为了确保分类模型的稳健性和可靠性，重要的是确立分类模型已经学习了所期望的输入-输出关系所至的程度。对于更复杂的模型、诸如神经网络而言尤其是这种情况，所述更复杂的模型可以被视为黑箱，其提供分类、但是独自提供对于如何获得该分类的很少的洞察。例如，这样的模型可以在受限的、并且因而固有地偏置的数据集上被训练，从而导致与可用数据的量相比被过度参数化的模型。作为结果，这样的模型可能看似在测试中很好地起作用，但是在部署中可能提供拙劣的结果。例如，在针对良好天气状况的数据上所训练的用于载具的图像分类器可能不很好地一般化到拙劣的天气状况。

此外，已知各种现有技术机器学习模型、例如神经网络可被欺骗而提供具有潜在危险的结果的假的、高置信度预测。例如，确定用裸眼难以看到的对图像的修改可以是可能的，但是尽管如此仍使得图像分类器从做出往一类、例如碰撞对象中的高置信度分类改变其主意至往另一类、例如无危险中的高置信度分类。而且在该情况中，可能对分类模型的真实一般化性能提出疑问。

为了获得对于分类模型是否已经学习了输入/输出关系的理解，已知使用扰动掩模。例如，在R. Fong和A. Vedaldi的“Interpretable explanations of black boxes bymeaningful perturbation”（在https://arxiv.org/abs/1704.03296处可得并且通过引用被并入本文中）中，提出了一框架，所述框架在图像中给出，确定与所述图像相同大小的掩模，并且突出对于分类器决定最有责任的图像的部分。

发明内容

各种实施例旨在确定指示扰动的掩模，所述扰动干扰通过分类模型对输入实例的分类。可以有利的是标识在以下意义上临界的扰动：即它们干扰分类，例如将图像分类从“交通标志”改变成“广告牌”，或减小分类为“交通标志”的确定性。还可以有益的是标识在以下意义上最小限度的扰动：即改变旨在尽可能好地保持输入实例。