[发明专利]一种基于同态加密的预测模型训练方法、系统、设备及介质

说明书

本发明属于人工智能领域，具体涉及一种基于同态加密的预测模型训练方法、系统、设备及可读存储介质。方法包括：在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。通过本发明提出的一种基于同态加密的预测模型训练方法，整个分布式训练过程中仅有加密后的局部预测模型和基于密文的全局预测模型在传输，具有极高的安全性。

技术领域

本发明属于人工智能领域，具体涉及一种基于同态加密的预测模型训练方法、系统、设备及可读存储介质。

背景技术

一般分布式机器学习采用深度神经网络作为机器学习模型，根据中心极限定理，假设神经网络中的权重服从高斯正态分布，随着神经网络的宽度趋近于无穷，那么这样的神经网络等价于高斯过程回归。然而高斯过程回归是一个非超参数的统计概率模型，给定训练数据和测试输入，高斯过程回归的预测分为推断和预测两步，不需要求解优化问题。推断过程假设要学习的函数服从高斯过程，给出模型的高斯先验概率分布，然后利用观测值和Bayesian规则，求出模型的高斯后验概率分布。当完成局部模型预测之后，各个计算节点将所得到的局部预测（期望和方差）发送至服务器，让服务器完成全局模型的计算，例如，利用平均聚合算法求取全局模型。但是在局部模型传输过程中，攻击者会窥探和窃取传输的局部预测值，使得局部模型的隐私性受到了威胁。

当计算节点完成模型预测，在将预测结果发送至服务器的过程中，这些预测结果无疑是脆弱的，敏感的，容易受到攻击者的窥探和破坏。例如攻击者将图像数据集中的数据进行更改，使得训练出来的模型与真实的模型相比，有一定的偏差，这会影响到准确模型的应用，甚至会带来经济损失。为了保证模型预测在传输过程中不被窃取，加密方法是一个好的选择。

但传统的加密方式均需要则需要在服务端和计算节点之间互相加密和解密对解密后的明文进行模型计算。如果并不希望让服务器知道局部预测模型或者说并不希望在服务器端获取到（包括解密后）局部预测模型，则当前的传统实现方式并不能实现。

因此，亟需一种有效的方案以解决上述问题。

发明内容

为解决上述问题，本发明提出一种基于同态加密的预测模型训练方法，包括：

在计算节点基于训练数据训练局部预测模型，将所述局部预测模型通过同态加密算法进行加密，并将加密后的局部预测模型发送到服务端；

在服务端将收到的加密后的局部预测模型通过预定计算方式计算加密形式的全局预测模型，并将所述全局预测模型发送到计算节点；

在计算节点通过同态加密算法对加密形式的全局预测模型进行解密，并将解密后的全局预测模型与局部预测模型进行融合。

在本发明的一些实施方式中，在计算节点基于训练数据训练局部预测模型包括：

在计算节点基于对训练集投影得到训练子集，并通过所述训练子集基于高斯过程回归算法训练局部预测模型。

在本发明的一些实施方式中，在计算节点基于对训练集投影得到训练子集包括：

定义训练数据点之间的距离并基于所述训练距离定义数据点到训练数据集合的投影集合；

通过所述投影集合并基于计算节点的训练数据确定局部投影集合，并根据所述投影集合确定所述计算节点的训练子集。

在本发明的一些实施方式中，根据所述投影集合确定所述计算节点的训练子集还包括：

响应于在计算节点确定所述局部投影集合，从所述局部投影集合中取出每一个投影点，基于每一个投影点选取预定大小的邻域范围内的训练数据构建训练子集。