[发明专利]一种基于数据分离的联合模型训练方法及系统

说明书

本发明公开一种基于数据分离的联合模型训练方法及系统，所述方法包括中心节点建立中心模型并进行初始化赋值，得到初始化模型；分支节点此基础上开始新一轮分支模型训练，读取训练数据，计算分支模型梯度，得到优化后的分支模型；中心节点接收优化后的分支模型并通过优化后的分支模型更新中心模型；本发明有如下优点：将业务方数据与合作方数据分离，使各方在进行模型联合训练时无法访问到其他参与方的数据，保证了各参与方的数据安全；能够充分利用业务方和合作方计算资源，将联合训练的算力需求分散到更多的系统中，减少了模型训练时的计算资源瓶颈问题；能够提升模型健壮性，兼顾业务方数据特性和合作方数据特性。

技术领域

本发明涉及人工智能领域，特别是深度神经网络技术，以及分布式计算技术领域。

背景技术

随着人工智能理论和技术的不断发展，其社会影响日益扩大，越来越多的产业得到人工智能技术的赋能。深度学习技术作为人工智能的重要组成部分，已逐渐成为学术界和工业界的研究热点之一。深度学习技术实践的一个重要特点是，首先将所要解决的问题抽象为一个优化问题，然后在大量数据中不断优化模型。这些数据经历了人工的收集和整理，能够描述问题的输入和期望的输出。深度学习模型通过在足够多次的迭代优化之后，学习到数据中隐含的模式，最终生成模型结果。因此，数据是深度学习技术开展过程中的重要元素，它在某种程度上决定了最终模型的功能和性能水平。

运用深度学习技术解决问题的一般场景是，业务方负责搜集和整理业务数据，并负责组织计算资源搭建深度学习模型训练环境。但是，近年来随着人工智能技术应用不断深入，所需解决的问题日趋复杂。这类问题通常需要更加庞大的数据集作为模型训练的基础。例如，包含更多样化的样本的数据集有利于模型处理特例问题，包含更多维度信息的数据集有利于模型进一步优化问题的解，包含更多样本数量的数据集能够增强模型的鲁棒性等等。总之，为了解决更加复杂的问题，业务方需要搜集更加广泛的数据。然而，业务方的数据资源是有限的，业务方本身的数据有时难以支持所有业务需求。新的业务需求促使业务方寻找相应的合作伙伴，借此引入合作方数据，以期训练更加健壮的深度学习模型。在这样的场景下，数据安全问题通常会作为合作的基础，业务方需要在利用各个参与方的数据的同时，保护好各参与方的数据安全。

常用的数据安全保护机制是数据加密技术。数据加密技术是为提高信息系统和数据的安全性和保密性，防止秘密数据被外部破译而采用的主要技术手段之一。按照作用的不同，数据加密技术可分为数据传输加密技术、数据存储加密技术、数据完整性的鉴别技术和密钥管理技术。参与方在提供数据支持时，需要考虑数据传输和数据存储过程中对数据进行加密处理，防止数据以明文的形式出现。因此，在正常的数据加密的情况下，业务方仅能通过密文形式访问到合作方的数据。但是，深度学习模型的训练是基于训练数据的，深度学习技术通过在大量数据中不断迭代来学习数据中蕴含的某些特征。如果数据加密技术对数据的更改破坏了数据的统计特性，则可能会造成模型在训练过程中无法获取有效的信息，导致训练不能收敛，最终无法建立模型。所以，一般的数据加密技术通常难以直接用于深度学习模型的训练过程。

常用的同态加密技术(Homomorphic Encryption)可以用于深度学习模型训练过程。同态加密技术能够对训练数据进行加密，加密后的数据仅允许密钥拥有者解密和访问。同态加密技术同时保证在加密数据集上的计算与在明文数据集上的计算等价，从而保证基于密文训练集的模型与基于明文训练的模型具有同等的性能水平，进一步支持业务方直接将加密数据用于深度学习。因此，在深度学习模型联合训练时，同态加密技术是确保各个参与方数据安全性的解决方案之一。