[发明专利]一种基于安全多方计算的神经网络模型推理系统

说明书

本发明涉及一种基于安全多方计算的神经网络模型推理系统。该系统包括：安全多方计算模块，用于基于多个参与方，根据明文模型的模型信息构建密文计算图，并调用GPU计算模块和RDMA通信模块，根据获取密文执行密文计算图，获得密文结果，并将执行后的密文结果恢复至用户；其中，密文计算图为模型计算图转化获得，GPU计算模块，用于根据获取的用户发送的密文，利用32比特整型矩阵运算执行密文计算图；RDMA通信模块，用于利用GPU‑RDMA通信方案，进行GPU计算模块计算过程中的数据通信。本发明的有益效果：保证神经网络模型推理准确度的同时，提高推理效率。

技术领域

本发明涉及网络安全技术领域，具体而言，涉及一种基于安全多方计算的神经网络模型推理系统。

背景技术

得益于神经网络在各种机器学习任务上的成功，神经网络推理服务，已经在生活中得到了广泛的应用。用户在使用神经网络推理服务的过程中，需要上传自己的数据用于推理，推理服务本身已经成为一种潜在的数据收集接口，而用户上传的很多数据都包含个人隐私，面临着个人数据泄露与滥用的隐患。安全多方计算作为一种隐私计算解决方案，能够在密文状态下完成数据的计算，并提供理论上的安全性保证，实现数据可用不可见。但基于安全多方计算实现神经网络模型推理过程中最大的问题在于推理时延，因为安全多方计算过程中涉及到大量的计算与通信，性能问题一直是安全多方计算的核心问题。

目前，使用GPU进行安全多方计算的方案普遍采用64比特浮点数模拟64比特整数进行整型矩阵乘法运算，但存在多个问题，例如第一，在GPU中，64比特浮点乘法的吞吐量较小，一般只有32比特浮点乘法的一半，而上述方案要执行一次整型乘法，需要进行9次64比特浮点乘法，会导致GPU计算量暴增；第二，在进行矩阵乘法时，需要将参数从整型表示转换为浮点表示，在计算完成后，再转换为整型表示，由于神经网络中线性层或卷积层后经常跟着激活层，所以这种表示方式间的切换是非常频繁的，也将消耗大量的时间，影响神经网络推理的效率；第三，64比特浮点数在计算过程中用于存储模型的内存占用较大，再加上安全多方计算中triple等offline阶段随机量的存储，导致其内存开销极大，执行LeNet网络的推理任务就要占用2G左右的显存，在一般的GPU中根本无法执行大型网络。

发明内容

本发明解决的问题是如何提高神经网络模型的推理效率。

为解决上述问题，本发明提供一种基于安全多方计算的神经网络模型推理系统及方法。

本发明提供的一种基于安全多方计算的神经网络模型推理系统，包括：

安全多方计算模块，用于基于多个参与方，根据明文模型的模型信息构建密文计算图，并调用GPU计算模块和RDMA通信模块，根据获取的密文执行所述密文计算图，获得密文结果，并将执行后的所述密文结果恢复至用户；

其中，所述密文计算图由模型计算图转化获得，所述GPU计算模块，用于根据获取的所述用户发送的所述密文，利用32比特整型矩阵运算执行所述密文计算图；所述RDMA通信模块，用于利用GPU-RDMA通信方案，进行所述GPU计算模块计算过程中的数据通信。

可选地，所述安全多方计算模块具体用于：

基于FALOCN协议，采用三个参与方构建安全多方计算协议，根据所述密文执行所述安全多方计算协议，以执行所述密文计算图；其中，三个所述参与方包括两个计算参与方和一个辅助参与方，所述辅助参与方用于判断矩阵元素中是否存在零元素，以执行所述安全多方计算协议中的比较协议。

可选地，所述32比特整型矩阵运算包括32比特整型矩阵乘法，所述GPU计算模块具体用于：

基于cutlass开源浮点矩阵乘法计算库，利用32比特浮点矩阵乘法的优化方法，优化实现32比特整型矩阵乘法，其中，所述优化方法包括矩阵分片、共享内存缓存和计算时间掩盖访存时间。