[发明专利]基于可信执行环境的跨域联邦学习方法及系统

说明书

本申请公开了一种基于可信执行环境的跨域联邦学习方法及系统，属于机器学习技术领域。所述方法包括：任务开发方将在开发环境中生成的联邦学习任务发送给平台控制器；平台控制器将联邦学习任务发送给参与方，将根据联邦学习任务生成的配置信息发送给参数聚合集群；参与方根据联邦学习任务进行模型训练，将每一轮训练的中间参数发送给参数聚合集群；参数聚合集群根据配置信息进行集群配置和底层网络配置，根据集群配置和底层网络配置在可信执行环境中聚合中间参数，将聚合后的中间参数发送给参与方继续训练；对最后一轮训练的中间参数进行聚合后，参数聚合集群将该中间参数作为模型参数发送给任务开发方。本申请能够提高参数精度和参数聚合效率。

技术领域

本申请涉及机器学习技术领域，特别涉及一种基于可信执行环境的跨域联邦学习方法及系统。

背景技术

数据主权和安全问题日益突出，出于对数据主权的尊重和对数据安全的保障，联邦学习作为一种新的机器学习范式被提出，并被逐步推广应用于各类数据要素主体的协作中。由于实际的训练过程在参与方本地完成，原始数据并未出参与方，该范式能够切实保障数据安全和数据主权。在实际产业中，不同机构之间存在大量的数据协作应用需求，联邦学习技术的出现为跨机构的数据价值流动提供了有效手段。

为了保障参数聚合的安全，各类联邦学习技术通常利用安全手段对参数聚合过程进行加固，加固的主要方式有多方安全计算技术、差分隐私、同态加密技术等。

多方安全计算和同态加密方案具有较大性能开销（线上和线下），且为了兼顾性能，在实际使用中往往会对数据进行截断，造成精度损失；差分隐私方案虽然能够从统计意义上防止参数泄露，但由于噪声的引入对聚合的数据精度会产生影响；另外，这些加固方式会降低参数聚合效率。

发明内容

本申请提供了一种基于可信执行环境的跨域联邦学习方法及系统，用于解决利用安全手段对参数聚合过程进行加固时，降低参数精度和参数聚合效率的问题。所述技术方案如下：

一方面，提供了一种基于可信执行环境的跨域联邦学习方法，用于包含任务开发方、联邦学习系统和参与方的训练系统中，所述联邦学习系统中包含参数聚合集群、平台控制器和开发环境，所述方法包括：

所述任务开发方在所述开发环境中生成联邦学习任务，将所述联邦学习任务发送给所述平台控制器，所述联邦学习任务中包含待训练模型的参数及指标信息、模型结构信息、数据准备信息和预定数据类型，所述参数及指标信息用于指示所述模型的模型参数和训练指标，所述模型结构信息用于指示所述模型的模型结构，所述数据准备信息用于指示所述模型的训练数据的声明，以使分布式数据源按照所述声明对应的处理流程准备所述训练数据，所述预定数据类型用于指示所述联邦学习系统提供的逻辑数据抽象，以使分布式的训练数据抽象为完整数据集；

所述平台控制器将所述联邦学习任务发送给所述参与方，并根据所述联邦学习任务生成配置信息，将所述配置信息发送给所述参数聚合集群；

所述参与方根据所述联邦学习任务进行模型训练，并将每一轮训练得到的中间参数发送给所述参数聚合集群；

所述参数聚合集群根据所述配置信息进行集群配置和底层网络配置，并根据所述集群配置和底层网络配置在可信执行环境中聚合所述中间参数，将聚合后的中间参数发送给所述参与方继续训练；

当对最后一轮训练的中间参数进行聚合后，所述参数聚合集群将聚合后的中间参数作为模型参数发送给所述任务开发方。

在一种可能的实现方式中，所述方法还包括：

所述平台控制器根据所述联邦学习任务生成会话令牌，将所述会话令牌发送给所述任务开发方；

所述任务开发方修改所述联邦学习任务中的至少一种信息，将修改后的联邦学习任务和所述会话令牌发送给所述平台控制器，所述至少一种信息为所述参数及指标信息、所述模型结构信息和所述数据准备信息中的至少一种；