[发明专利]抵御推断攻击的医疗诊断模型差分隐私联合训练方法

说明书

本发明公开了一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法，包括该参与方基于给定的插值系数、该轮训练的全局模型参数以及上一轮执行局部私密训练输出的局部诊断模型以初始化执行本轮训练的局部诊断模型；该参与方将本地数据集划分为多个批次，并利用前向传播和损失函数计算预测损失，基于预测损失确定局部诊断模型的参数梯度，并利用梯度下降法更新局部诊断模型参数；利用给定高斯分布对梯度下降更新后的局部诊断模型参数添加高斯噪声扰动；聚合由各参与方添加扰动后的局部诊断模型。本申请的方法通过设计执行本轮训练的局部诊断模型的方式降低了多轮迭代过程中噪声累积对诊断模型精度的影响，提高了全局诊断模型的精度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法及装置。

背景技术

医疗图像诊断模型的应用，有助于提高医疗机构的信息自动化流程，减轻诊断专家的压力和医疗机构运营成本。然而，单个医疗组织往往由于诊断病例不足难以训练得到较高精度的诊断模型；同时，隐私保护的问题限制了跨医疗机构的病例数据共享。如何在保护隐私的前提下，促进数据的流通共享是当前面临的一大挑战。联邦学习是一种新型的机器学习、深度学习模型训练范式，它将模型训练和数据存储保留在分布式网络的边缘，因其隐私保护的能力展示出其在诸多业务场景中的应用价值。

联邦学习一般由数据参与方和中央服务器组成。各数据参与方拥有自己的本地数据，这些数据可能不足以训练模型或者所的模型不够准确。为了提升模型精准度，各参与方寻求与其他拥有数据的参与方合作。当大于等于两方参与时，中央服务器启动联合建模。首先，中央服务器负责收集每个参与方上传的模型参数，并采用联邦聚合算法更新原模型。然后，中央服务器将更新后的模型分发给各参与方，准备下一轮的模型训练。这一过程会持续进行，直到模型达到收敛条件。

联邦学习使得基于多家医疗诊断病例的图像诊断模型联合建模成为可能，但是，扮演协调角色的中央服务器可能是半诚实、半可信的，可以从收集的模型参数推断私有信息，还原出诊断图像，隐私性较差。

发明内容

本发明提供一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法及装置，用以提高模型训练的隐私性，提高联合训练的鲁棒性和精度。

本发明提供一种抵御推断攻击的医疗诊断模型差分隐私联合训练方法，应用于半诚实中央服务器以及多个参与方组成的联合训练框架，所述半诚实中央服务器分别于多个参与方通信连接，各参与方在所述半诚实中央服务器的控制下共同训练目标医疗图像诊断模型，其中各参与方具有对应的局部诊断模型和本地数据集，各数据参与方基于中央服务器的全局分类模型、局部诊断模型和本地数据集执行局部诊断模型的私密训练，所述训练方法包括：

对于本轮训练，该参与方基于给定的插值系数、该轮训练的全局模型参数以及上一轮执行局部私密训练输出的局部诊断模型初始化执行本轮训练的局部诊断模型；

该参与方将本地数据集划分为多个批次，并利用前向传播和损失函数计算预测损失，基于预测损失确定局部诊断模型的参数梯度，并利用梯度下降法更新局部诊断模型参数；

利用给定高斯分布对梯度下降更新后的局部诊断模型参数添加高斯噪声扰动；

所述半诚实中央服务器聚合由各参与方添加扰动后的局部诊断模型，以获得本轮训练的全局扰动模型。

可选的，该参与方基于给定的插值系数、该轮训练的全局模型参数以及上一轮执行局部私密训练输出的局部诊断模型初始化执行本轮训练的局部诊断模型满足：

其中，是插值系数，取值为0到1之间，表示第k个参与方上一轮执行局部私密训练输出的局部诊断模型参数，表示本轮训练接收到的全局模型参数，表示第k个参与方本轮训练的初始化局部诊断模型参数。

可选的，基于预测损失确定局部诊断模型的参数梯度之后，还包括：利用预设裁剪方式对参数的梯度进行裁剪得到参数更新量满足：