[发明专利]基于隐私保护的神经网络模型训练方法、装置及系统

权利要求书

1.一种基于隐私保护的神经网络模型训练方法，所述方法由第一和第二成员设备联合执行，第一成员设备具有第一特征数据和神经网络模型的第一部分模型结构，第二成员设备具有第二特征数据和所述神经网络模型，所述第一和第二特征数据按照垂直切分方式组成所述神经网络模型的训练数据样本的特征数据，第一或第二成员设备具有标签数据，所述方法包括：

经由第一成员设备从第二成员设备接收第二成员设备所具有的数据；

经由第一和第二成员设备共同初始化所述第一部分模型结构的模型参数，第一和第二成员设备分别具有所述第一部分模型结构的初始模型参数份额，以及经由第二成员设备单独初始化所述神经网络模型的剩余模型结构的模型参数；

执行下述模型训练过程，直到满足模型训练结束条件：

经由第一成员设备从第一训练数据样本集中随机抽取出当前训练数据样本，所述第一训练数据样本集中的训练数据样本包括第一特征数据、第二特征数据以及标签数据；

经由第一成员设备对所述当前训练数据样本的第二特征数据进行份额分解处理，得到第三和第四特征数据份额，并向第二成员设备发送所述第四特征数据份额以及对应标签数据；

经由第一成员设备使用所述当前训练数据样本的第一特征数据和所述第三特征数据份额以及第二成员设备使用所述第四特征数据份额和所述对应标签数据来进行两方联合模型训练，得到第一和第二成员设备处的当前模型参数，第一和第二成员设备分别具有第一部分模型结构的当前模型参数份额，第二成员设备具有所述剩余模型结构的当前模型参数，其中，所述第一部分模型结构的模型计算经由第一和第二成员设备执行多方安全计算实现，以及所述剩余模型结构的模型计算经由第二成员设备单独实现。

2.如权利要求1所述的神经网络模型训练方法，还包括：

经由第一成员设备对所述当前训练数据样本进行乱序处理，

经由第一成员设备对所述当前训练数据样本的第二特征数据进行份额分解处理包括：

经由第一成员设备对经过乱序处理后的当前训练数据样本的第二特征数据进行份额分解处理。

3.如权利要求1或2所述的神经网络模型训练方法，其中，第二成员设备具有同态加密公钥/私钥对，所述神经网络模型训练方法还包括：

经由第二成员设备使用所述同态加密公钥对所具有的数据进行同态加密得到密文数据，

经由第一成员设备从第二成员设备接收第二成员设备所具有的数据包括：经由第一成员设备从第二成员设备接收所述密文数据和同态加密公钥，所述第一训练数据样本集中的训练数据样本包括第一特征数据、经过同态加密后的第二特征数据以及标签数据，

在进行两方联合模型训练之前，所述模型训练过程还包括：

经由第二成员设备使用同态加密私钥对所述第四特征数据份额进行解密，得到解密后的第四特征数据份额，其中，所述第三特征数据份额是随机数，以及所述第四特征数据份额通过使用所述同态加密公钥对经过同态加密后的第二特征数据和所述第三特征数据份额进行同态加密减法得到，

经由第一成员设备使用所述当前训练数据样本的第一特征数据和所述第三特征数据份额以及第二成员设备使用所述第四特征数据份额和所述对应标签数据来进行两方联合模型训练，得到第一和第二成员设备处的当前模型参数包括：

经由第一成员设备使用所述当前训练数据样本的第一特征数据和所述第三特征数据份额以及第二成员设备使用所述解密后的第四特征数据份额和所述对应标签数据来进行两方联合模型训练，得到第一和第二成员设备处的当前模型参数。

4.如权利要求3所述的神经网络模型训练方法，其中，所述第二成员设备具有标签数据，所述第一成员设备向所述第二成员设备发送的对应标签数据是使用所述同态加密密钥加密后的密文标签数据，

经由第二成员设备对所述第四特征数据份额进行解密，得到解密后的第四特征数据份额包括：

经由第二成员设备对所述第四特征数据份额和所述密文标签数据进行解密，得到解密后的第四特征数据份额和明文标签数据。

5.如权利要求4所述的神经网络模型训练方法，其中，所述密文标签数据是经过Rerandom处理后的密文标签数据。