[发明专利]投毒数据识别方法、装置、系统及计算机可读存储介质

说明书

本发明实施例公开了一种投毒数据识别方法、装置、系统及计算机可读存储介质，其中所述方法包括：获取参照干净数据集D_clean以及初始测试数据集D_target；将所述初始测试数据集D_target中，原标注标签与数据内容不一致的数据记为标签修改的投毒数据，将所述标签修改的投毒数据从所述初始测试数据集D_target中剔除，得到标准测试数据集D′_target；根据所述参照干净数据集D_clean，将所述标准测试数据集D′_target中，数据内容添加了扰动或后门触发器的数据标记为标签不变的投毒数据；删除所述标准测试数据集D′_target中标签不变的投毒数据，得到纯净数据集。本发明对初始测试数据集中的标签修改投毒数据和标签不变投毒数据进行分别识别、删除，提高了投毒数据的识别准确率。

技术领域

本发明涉及人工智能安全领域，尤其涉及一种投毒数据识别方法、装置、系统及计算机可读存储介质。

背景技术

数据是人工智能应用的基础。数据集的质量能影响人工智能算法的安全性，人为地对数据进行修改，能在很大程度上改变人工智能算法的执行效果。一般而言，有些人工智能算法为了实时的适应数据的分布变化，会周期性的采集近期历史样本数据以重新训练人工智能模型参数。如果攻击者掌握了人工智能算法周期性采集数据的规律，就可以对即将被采集到的数据进行污染，让人工智能算法学习到错误的数据特征，从而歧化人工智能算法的模型参数，造成算法失效或出错，这种攻击方式被称作数据投毒。

在监督学习中，数据投毒攻击一般可分为标签修改攻击和标签不变攻击。标签修改攻击即攻击者仅对训练数据集中任意子集的标签进行修改，通过这种方式改变分类器的决策边界使得模型整体预测效果下降；标签不变攻击即攻击者不改变训练数据集中样本数据的标签，而对训练数据集中任意子集的特征向量进行修改，例如图片数据中对图片添加人眼无法识别的噪音或触发器，这种攻击方式通常是改变数据在模型上的特征分布使模型带有后门，而不影响模型在其他样本上的预测效果，因此也比较隐蔽。

现有防御方法大致可分为两种，一种是对已经遭受到攻击的模型进行修复，如专利申请号“CN202110228938.9”的专利对模型中异常的神经元进行剪枝操作，这种方法不具前瞻性且由于技术难度较大较复杂，一旦神经元筛选失误则导致整个模型失效；另一种对训练数据集进行污染检测，专利申请号CN202010334293.2”的专利仅对训练数据集中是否包含污染/后门数据，而不能检测出具体的污染数据，专利申请号“CN202110398727.X”专利虽然能检测出具体的后门数据(后门攻击是数据投毒的一种)，但对于多个特征分布相似的后门数据，通过KNN算法不能被有效检测出来。

针对现有技术中无法检测具体投毒数据、对特征分布相似的投毒数据检测不敏感的问题，目前还没有一个有效的解决方法。

发明内容

为解决上述问题，本发明提供一种投毒数据识别方法、装置、系统及计算机可读存储介质，将投毒数据分为标签修改的投毒数据和标签不变的投毒数据分别检测，以及解决现有技术中无法检测具体投毒数据的问题；另外，在剔除了标签修改的投毒数据的数据集中，通过参照干净数据集D_clean以及标准测试数据集D′_target确定标签不变的投毒数据，使相似特征分布的投毒数据也能被灵敏的识别到，以解决现有技术中相似特征分布的投毒数据检测不敏感的问题。