[发明专利]一种数据集公平性检测方法、装置、电子设备及存储介质

说明书

本申请提供一种数据集公平性检测方法、装置、电子设备及存储介质，该方法包括：获取需要检测的原始数据集；基于原始数据集，确定原始数据集中数据的数据类型，选取数据类型对应的目标模型，采用目标模型对原始数据集进行拟合，得到模型参数矩阵；根据模型参数矩阵，对原始数据集中每个样本进行歧视性检测，得到歧视性检测结果，根据歧视性检测结果，确定第一歧视样本集；根据模型参数矩阵和第一歧视样本集，确定第二歧视样本集；将第一歧视样本集和第二歧视样本集合并，得到原始数据集对应的歧视样本集，以采用歧视样本集度量原始数据集的歧视性水平。该方案扩展了公平性检测的应用场景，且拟合能力和泛化能力强。

技术领域

本发明属于人工智能技术领域，特别涉及一种数据集公平性检测方法、装置、电子设备及存储介质。

背景技术

人工智能与人类生活的关系越来越密切，由此引发了新的法律、伦理以及技术问题。准确度不再是衡量机器学习算法成功的唯一标准，安全性和公平性约束已成为研究人员和工程师面临的一个巨大问题。算法的公平性强弱会对许多决策问题产生不同程度的正面或负面影响。

大量研究表明，某些特定属性会显著影响机器学习模型的拟合效果，例如将两个仅性别属性不同的样本放入同一个模型中可能会导致模型分类结果的不同，这就是机器学习领域中的歧视性问题，而像性别这样会影响模型分类结果的属性则称之为被保护属性。出现歧视性问题的原因有很多，但是原则上来说，如果一个数据集对被保护属性存在歧视，那么在该数据集上训练的预测模型就会产生歧视。所以算法不是完全客观中立的，算法容易受到数据集中歧视性样本的影响，从而使算法做出的决定“不公平”。

机器学习的公平性研究根据研究阶段的不同可以划分为公平表征任务、公平建模任务以及公平决策任务三大研究方向，对于数据集公平性测试领域的研究目前主要是采用对抗攻击的方法。对抗攻击又分为黑盒攻击和白盒攻击两大类，黑盒攻击是指攻击者并不清楚所要攻击模型的具体细节，而白盒攻击则恰恰相反，是在完全了解目标模型内部细节的前提下进行的攻击。

目前AEQUITAS算法是数据集公平性测试领域较为出色的测试方法之一，其运用梯度攻击方法，采用两阶段生成框架进行公平性测试。但是该算法在测试过程中仍然存在以下问题：1)测试对象较为单一，该方法只能对表格型数据进行检测，并不能对其他数据集(比如文本类型数据)进行检测，应用场景较少；2)该模型虽然采用两阶段生成框架进行检测，但是并没有根据样本的具体梯度进行差异化处理，仅采用随机扰动的方法对样本空间进行搜索，导致检测耗时较长且准确度不高，模型的拟合能力和泛化能力也相对较差。

发明内容

本说明书实施例的目的是提供一种数据集公平性检测方法、装置、电子设备及存储介质。

为解决上述技术问题，本申请实施例通过以下方式实现的：

第一方面，本申请提供一种数据集公平性检测方法，该方法包括：

获取需要检测的原始数据集；

基于原始数据集，确定原始数据集中数据的数据类型，选取数据类型对应的目标模型，采用目标模型对原始数据集进行拟合，得到模型参数矩阵；

根据模型参数矩阵，对原始数据集中每个样本进行歧视性检测，得到歧视性检测结果，根据歧视性检测结果，确定第一歧视样本集；

根据模型参数矩阵和第一歧视样本集，确定第二歧视样本集；

将第一歧视样本集和第二歧视样本集合并，得到原始数据集对应的歧视样本集，以采用歧视样本集度量原始数据集的歧视性水平。

在其中一个实施例中，原始数据集中数据的数据类型包括表格型数据和文本型数据；

若数据类型为表格型数据，对应的目标模型为前馈神经网络模型；

若数据类型为文本型数据，对应的目标模型为双向长短期记忆模型。