[发明专利]实现安全防御的多方联合训练神经网络的方法及装置

摘要

本说明书实施例提供一种实现安全防御的多方联合训练神经网络的方法，其中多方包括对应于多个数据方的多个客户端，以及中立的服务器。多个客户端之间使用安全多方技术MPC，在保护数据隐私的基础上共同计算一个或多个隐层，然后将计算出的隐层放在中立的服务器上，进行其余复杂的神经网络计算，以得到预测结果，用于跟样本标签比对确定预测损失。此外，多个客户端中还各自部署模拟攻击者的攻击者模型，并各自计算攻击者损失。进一步地，服务器根据基于预测损失和攻击者损失确定的训练损失，调整其上部署的其余复杂神经网络的参数，多个客户端根据训练损失调整各自维护的共同计算隐层所对应的部分参数，以及根据攻击者损失调整攻击者模型的参数。

主权项

1.一种实现安全防御的多方联合训练神经网络的方法，其中，所述神经网络包括N个隐层，所述多方包括服务器和M个客户端；所述M个客户端各自存储目标样本的部分特征，维护所述N个隐层中前K个隐层的部分参数，并各自部署有攻击者模型，所述攻击者模型用于根据对应客户端中针对第K个隐层的输出反推该客户端中存储的样本特征，其中N、K和M为正整数，并且N＞K，M＞1；所述方法应用于所述服务器，所述方法包括：/n从所述M个客户端获取针对所述第K个隐层的M个输出；从任意的第一客户端获取的第一输出，由所述第一客户端根据其存储的第一特征部分和第一参数部分，以及基于安全多方计算MPC技术从M个客户端中的其他客户端所获取的加密特征和加密参数而确定；/n对所述M个输出进行综合，得到综合输出；/n将所述综合输出输入所述神经网络的后N-K个隐层中，得到针对第N个隐层的输出，用于输入所述神经网络的输出层，得到预测结果；/n获取预测损失，所述预测损失根据所述预测结果和所述目标样本的样本标签而确定；/n从所述M个客户端获取M个攻击损失；其中从所述第一客户端获取的第一攻击损失，基于所述第一特征部分和第一反推结果而确定，所述第一反推结果通过将所述第一输出输入第一客户端中部署的第一攻击者模型而得到；/n基于所述预测损失和所述M个攻击损失，确定训练损失，所述训练损失正相关于所述预测损失，并且负相关于所述M个攻击损失；/n利用所述训练损失，至少调整所述后N-K个隐层中的参数，所述训练损失还用于所述M个客户端调整各自维护的部分参数。/n