[发明专利]一种数据集公平性检测方法、装置、电子设备及存储介质

权利要求书

1.一种数据集公平性检测方法，其特征在于，所述方法包括：

获取需要检测的原始数据集；

基于所述原始数据集，确定所述原始数据集中数据的数据类型，选取所述数据类型对应的目标模型，采用所述目标模型对所述原始数据集进行拟合，得到模型参数矩阵；

根据所述模型参数矩阵，对所述原始数据集中每个样本进行歧视性检测，得到歧视性检测结果，根据所述歧视性检测结果，确定第一歧视样本集；

根据所述模型参数矩阵和所述第一歧视样本集，确定第二歧视样本集；

将所述第一歧视样本集和所述第二歧视样本集合并，得到所述原始数据集对应的歧视样本集，以采用所述歧视样本集度量所述原始数据集的歧视性水平。

2.根据权利要求1所述的方法，其特征在于，所述原始数据集中数据的数据类型包括表格型数据和文本型数据；

若所述数据类型为表格型数据，对应的所述目标模型为前馈神经网络模型；

若所述数据类型为文本型数据，对应的所述目标模型为双向长短期记忆模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述原始数据集，确定所述原始数据集中数据的数据类型，选取所述数据类型对应的目标模型，采用所述目标模型对所述原始数据集进行拟合，得到模型参数矩阵，包括：

从所述原始数据集中随机抽取一条数据；

判断所述数据的数据类型；

若所述数据的数据类型为表格型数据，则采用所述前馈神经网络模型对所述原始数据集进行拟合；若所述数据的数据类型为文本型数据，则采用所述双向长短期记忆模型对所述原始数据集进行拟合；得到模型各层参数，将所有所述模型各层参数组合形成所述模型参数矩阵。

4.根据权利要求1所述的方法，其特征在于，所述样本包括被保护属性变量；

对所述样本进行歧视性检测，包括：

逐个改变所述样本中被保护属性变量，得到新样本集，所述新样本集包括若干新样本，其中，每改变一个所述被保护属性变量形成一个新样本；

将所述样本及所述新样本分别输入所述目标模型，分别得到第一模型输出结果和第二模型输出结果，所有所述第二模型输出结果构成第二模型输出结果集；

若所述第二模型输出结果集中存在至少一个所述第二模型输出结果与所述第一模型输出结果不同，则所述样本通过歧视性检测，否则，所述样本未通过歧视性检测。

5.根据权利要求4所述的方法，其特征在于，根据歧视性检测结果，确定第一歧视样本集，包括：

如果所述歧视性检测结果为通过歧视性检测，则将通过歧视性检测对应的样本添加至第一歧视样本集；

如果所述歧视性检测结果为未通过歧视性检测，则对未通过歧视性检测对应的样本进行全局扰动，得到扰动后样本，对所述扰动后样本重新进行歧视性检测，直到所述未通过歧视性检测对应的样本通过歧视性检测为止。

6.根据权利要求5所述的方法，其特征在于，所述样本还包括非保护属性变量；

所述对未通过歧视性检测对应的样本进行全局扰动，得到扰动后样本，包括：

根据所述第一模型输出结果和所述第二模型输出结果集，从所述新样本集选取与所述样本相似度最低的对应样本；

根据所述模型参数矩阵分别计算所述样本与所述对应样本的第一梯度集和第二梯度集，所述第一梯度集中包括所述非保护属性变量的第一梯度值，所述第二梯度集中包括所述非保护属性变量的第二梯度值；

对应比较所述第一梯度值和所述第二梯度值，将梯度值较大的所述非保护属性变量的梯度方向确定为所述非保护属性变量的扰动方向；

根据所有所述非保护属性变量的扰动方向，确定所述样本的全局扰动的方向矩阵；

根据所述全局扰动的方向矩阵，确定扰动后样本。