[发明专利]基于多目标进化算法的公平机器学习模型的训练方法

说明书

本发明公开了一种基于多目标进化算法的公平机器学习模型的训练方法，尤其是在伦理问题的公平性背景中的基于多目标进化算法的公平机器学习模型的训练方法。根据场景确定多个正交性的公平性指标和准确性指标；根据多个正交性的公平性指标和准确性指标建模为多个优化目标；根据基于种群的多目标进化算法的多个算子以及多个优化目标对机器学习模型进行演化。同时考虑多个具有正交性的公平性指标和准确性指标，通过使用多个指标可以多角度的评估模型公平性，使评估更加全面。不会重复从同一角度评估，避免计算资源的浪费或被动增加该指标的重要性。通过提高种群内模型的多样性，生成具有高质量和多样的机器学习模型。

技术领域

本发明实施例涉及机器学习技术，尤其涉及一种在伦理问题的公平性背景 中的基于多目标进化算法的公平机器学习模型的训练方法。

背景技术

随着机器学习在不同应用中的广泛使用，机器学习的安全性和公平性的要 求越来越高。大量的研究者尝试解决机器学习中不公平性的问题。

随着机器学习在不同应用中的广泛使用，安全和公平性约束已经成为研究 人员和工程师面临的一个巨大问题。机器学习在法庭上被用来评估被告重新犯 罪的可能性。它被用于不同的医疗领域，在儿童福利系统和自动驾驶汽车。所 有这些应用程序都对我们的生活有直接影响。因此，在设计这些类型的敏感工 具时，考虑公平性约束是一项至关重要的任务。

大量的研究者尝试解决机器学习中不公平性的情况。然而，度量不公平性 的定义是难以确定的，需要考虑定义公平的哲学和伦理争论，因此，创建公平 量化的广义概念是具有挑战性的。度量公平性的指标通常要么强调个人(例如每 个人都被平等对待)，要么强调群体公平，而后者则进一步区分于群体内部(如 女性vs男性)和群体之间的公平。目前，使用已确立的定义组合这些理想在数 学上是难以处理的。

有研究表明，大量的公平性的度量指标是相互冲突的，例如Demographic Parity与Equalized Odds、Individual fairness与Group fairness等，同 时也表明：通常增加公平性往往会导致整体准确性或其相关指标降低。因此， 大量的学者尝试在不同的公平性指标间，与公平性指标与准确性之间进行折中 处理。

如图1所示，目前的一种实现方式为，以预测准确性指标为目标，使用训 练数据训练机器学习模型。根据某个公平性指标对训练后获得的模型进行评估。 该模型被一个或多个公平性指标是否判为公平。如果公平，则输出模型。如果 不公平，则不使用该模型。通过对训练数据进行处理，如去除掉偏见数据，使 用处理后的训练数据再次训练模型。上述实现方式在模型训练过程中未考虑公 平性。

如图2所示，目前的另一种实现方式为，以预测准确性指标和单个公平性 指标的加权和为目标，使用训练数据训练机器学习模型。根据某个公平性指标 对训练后获得的模型进行评估。判断该模型被一个或多个公平性指标是否判公 平。如果公平，则输出模型。如果不公平，则不使用该模型。通过对训练数据 进行处理，如去掉偏见数据，或者改变预测准确性指标和单个公平性指标的加 权和公式，再次训练模型。上述实现方式在机器学习模型训练过程中只考虑一 个公平性指标，并且需要在训练前决定公平性指标和模型准确性指标的权值， 一次训练只能获得一个相应的模型。因此，当处理不同问题时，需要调整其不同的权重值，来达到用户可接受的结果。当不同的用户需要在不同公平性指标 与准确性指标之间具有不同的折中要求时，只能重新运行算法才能得到另一个 折中方案的结果。

可见，目前大多采用对某一种公平性的度量指标进行优化。然而，公平性 的度量指标有很多，且多个公平性指标之间存在冲突的情况，公平性的增加， 导致准确性的降低。只考虑一个公平性衡量指标训练机器学习模型时，使用另 一个公平性衡量指标评估所获得的模型时，可能因为两种指标的评估角度不同 或矛盾性而获得相反的评估结果。如何获得在多种角度的公平性与准确性之间 达到不同的优选折中方案成为亟待解决的问题。

发明内容