[发明专利]一种神经网络模型训练方法、装置和安全计算平台

说明书

本发明实施例提供了一种神经网络模型训练方法、装置和用于神经网络模型训练的装置。其中的方法包括：获取来自参与方的训练数据，训练数据为密文；通过执行训练脚本初始化神经网络模型，神经网络模型的网络层包括明文层和密文层；基于持有的训练数据对神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；明文层的计算基于明文进行，密文层的计算基于密文进行。本发明实施例在保证数据隐私安全的基础上，减小密文计算带来的通信开销和资源消耗。

技术领域

本发明涉及计算机技术领域，尤其涉及一种神经网络模型训练方法、装置和安全计算平台。

背景技术

随着机器学习的广泛应用，基于机器学习或者深度学习的方法应用于多个技术领域并且取得了巨大的成功。在对各机器学习模型进行训练时，机器学习所需要的数据往往会涉及到多个领域。

但是，出于信息安全和用户隐私保护等因素的考虑，不同机构或个人掌握了类型各异的数据，这些数据通常相互隔离，使得数据不能高效、便捷的流通，形成信息孤岛。因此，在兼顾数据安全和计算效率的前提下，如何结合多个数据方进行联合训练机器学习模型是现有技术中亟待解决的问题。

发明内容

本发明实施例提供一种神经网络模型训练方法、装置和安全计算平台，可以在保证数据隐私安全的基础上，极大提高模型训练速度，以及减小密文计算带来的通信开销和资源消耗。

为了解决上述问题，本发明实施例公开了一种神经网络模型训练方法，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法包括：

获取来自参与方的训练数据，所述训练数据为密文；

通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；

基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。

另一方面，本发明实施例公开了一种基于神经网络模型的预测方法，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述方法包括：

获取来自参与方的预测数据，所述预测数据为密文；

基于持有的预测数据，将所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算，得到模型预测结果，其中，在所述预测数据经由所述神经网络模型的各网络层逐层进行安全计算的过程中，明文层的计算基于明文进行，密文层的计算基于密文进行。

再一方面，本发明实施例公开了一种神经网络模型训练装置，应用于安全计算平台中的计算节点，所述安全计算平台包括至少一个计算单元，每个计算单元包括至少一个计算节点，所述装置包括：

训练数据获取模块，用于获取来自参与方的训练数据，所述训练数据为密文；

模型初始化模块，用于通过执行训练脚本初始化神经网络模型，所述神经网络模型的网络层包括明文层和密文层；

迭代训练模块，用于基于持有的训练数据对所述神经网络模型进行迭代训练，在每一轮迭代训练中，本轮的训练数据经由所述神经网络模型的各网络层逐层进行安全计算，在不满足迭代终止条件时，根据模型输出结果，通过反向传播逐层调整各网络层的参数，在迭代终止条件到达时，得到训练完成的神经网络模型；其中，明文层的计算基于明文进行，密文层的计算基于密文进行。