[发明专利]一种基于安全多方计算的神经网络模型推理系统

权利要求书

1.一种基于安全多方计算的神经网络模型推理系统，其特征在于，包括：

安全多方计算模块，用于基于多个参与方，根据明文模型的模型信息构建密文计算图，并调用GPU计算模块和RDMA通信模块，根据获取的密文执行所述密文计算图，获得密文结果，并将执行后的所述密文结果恢复至用户；

其中，所述密文计算图由模型计算图转化获得，所述GPU计算模块，用于根据获取的所述用户发送的所述密文，利用32比特整型矩阵运算执行所述密文计算图；所述RDMA通信模块，用于利用GPU-RDMA通信方案，进行所述GPU计算模块计算过程中的数据通信。

2.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统，其特征在于，所述安全多方计算模块具体用于：

基于FALOCN协议，采用三个参与方构建安全多方计算协议，根据所述密文执行所述安全多方计算协议，以执行所述密文计算图；

其中，三个所述参与方包括两个计算参与方和一个辅助参与方，所述辅助参与方用于判断矩阵元素中是否存在零元素，以执行所述安全多方计算协议中的比较协议。

3.根据权利要求2所述的基于安全多方计算的神经网络模型推理系统，其特征在于，所述32比特整型矩阵运算包括32比特整型矩阵乘法，所述GPU计算模块具体用于：

基于cutlass开源浮点矩阵乘法计算库，利用32比特浮点矩阵乘法的优化方法，优化实现32比特整型矩阵乘法，其中，所述优化方法包括矩阵分片、共享内存缓存和计算时间掩盖访存时间。

4.根据权利要求3所述的基于安全多方计算的神经网络模型推理系统，其特征在于，所述32比特整型矩阵运算包括32比特整型矩阵元素运算，所述GPU计算模块具体用于：

采用thrust并行计算库中的transform操作，利用内核融合方法实现所述32比特整型矩阵元素运算，其中，所述32比特整型矩阵元素运算包括整型矩阵点积运算与整型矩阵加法运算。

5.根据权利要求4所述的基于安全多方计算的神经网络模型推理系统，其特征在于，所述GPU计算模块具体还用于：

利用所述32比特整型矩阵乘法执行所述乘法协议，推理所述明文模型中的线性层与卷积层；

利用所述32比特整型矩阵元素运算执行比较协议，推理所述明文模型中的激活层与池化层。

6.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统，其特征在于，所述安全多方计算模块具体用于：

对不同的定点数矩阵变量采用不同的小数位数，利用第一公式表示为：

其中，l表示定点数矩阵变量x^f采用的比特位数，x^d表示定点数矩阵变量x^f采用的小数位数，x^max与x^min分别表示矩阵变量x中的最大值与最小值；

计算两个定点数矩阵变量相乘时，所需要截断的比特位数用第二公式表示为：

x^d+y^d-z^d，

其中，x^d表示定点数矩阵变量x^f采用的小数位数，y^d表示定点数矩阵变量y^f采用的小数位数，z^d表示定点数矩阵变量z^f采用的小数位数。

7.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统，其特征在于，所述安全多方计算模块具体用于：

将所述安全多方计算协议进行矩阵化。

8.根据权利要求1所述的基于安全多方计算的神经网络模型推理系统，其特征在于，所述RDMA通信模块具体用于：

使GPU之间通过RDMA网卡进行数据传输。