[发明专利]一种基于数据体系的联邦计算系统及方法

说明书

本发明提出了一种基于数据体系的联邦计算系统及方法，联邦计算系统，包括：用户端、数据库、计算引擎及联邦计算基础服务，用户端基于联邦计算任务发起SQL语句，包括用于获取数据集的标准SQL语句和用于描述计算模型的扩展SQL语句；数据库用于存储联邦计算所需数据集及存储数据结果；计算引擎用于解析接收的SQL语句，获取工作流，并基于工作流和预置的参数模板配置生成工作流任务；联邦计算基础服务用于接收并执行工作流任务，并经计算结果经计算引擎存储至数据库。本发明从数据体系出发，去描述联邦计算。可以用SQL语言完整、清晰、准确的描述联邦计算的各个阶段，编排各种任务，实现从训练到预测，到模型发布等全生命周期的管理。

技术领域

本发明涉及联邦计算技术领域，尤其涉及一种基于数据体系的联邦计算系统及方法。

背景技术

目前，联邦计算处于工业化应用的初期，各种支撑平台和系统层出不穷，这些支撑平台和系统往往从算法和模型的角度，从隐私计算的底层协议，算法入手，编排出参与联合计算的数据流经遵循的复杂的庞大的联合计算DAG路径，然后将这些任务提交并执行，得到联邦计算的结果。

为了支撑各自的联邦计算体系，每个平台都定义了自己的一套“方言”，用以描述数据，描述算法模型，描述任务，描述工作流等等。从数据的摄入（ingest）到任务的编排、提交、执行、模型的发布等等，每一个平台和系统都强烈依赖于自己特定的方言。

由于各自拥有不同的方言，支撑联邦计算的各种平台和系统很难做到统一，形成各自的壁垒，具有很高的学习成本，使用的门槛也非常高。联邦计算作为解决数据孤岛问题的方案，往往有发展成为新的数据孤岛的趋势。

联邦计算大规模的应用任重道远，扩大用户，降低门槛面临着很多挑战。

出现以上问题的根本原因在于目前的支撑平台和系统立足点和出发点是模型和算法，忽略了这些模型和算法存在的基础--数据，忽略数据体系几十年已经发展完备的体系和发展成果，而自己定义一种“方言”的方案，是一种中间方案和临时方案。

因此，从联邦计算诞生起一直存在着数据与模型之间的割裂与鸿沟，业界缺乏一套统一的，通用的，支持多模异构数据的联邦计算的构建方法和系统。

发明内容

本发明要解决的技术问题是如何提高联邦计算的通用性和便利性，本发明提出一种基于数据体系的联邦计算系统及方法。

根据本发明实施例的基于数据体系的联邦计算系统，包括：

用户端，为计算引擎的客户端，与计算引擎通信，接收用户基于联邦计算任务输入的SQL语句，并向所述计算引擎发起SQL语句，包括用于获取数据集的标准SQL语句，和用于描述计算模型的扩展SQL语句；

数据库，用于存储联邦计算所需数据集及存储数据结果；

计算引擎，用于解析接收的所述SQL语句，获取工作流，并基于所述工作流和预置的参数模板配置生成工作流任务；

联邦计算基础服务，用于接收并执行所述工作流任务，并经计算结果经所述计算引擎存储至所述数据库。

根据本发明的一些实施例，所述计算引擎包括：

解析模块，用于解析所述SQL语句，通过第一处理模块处理所述标准SQL语句，得到第一处理结果；通过第二处理模块处理所述扩展SQL语句，得到第二处理结果，并基于所述第一处理结果和所述第二处理结构生成工作流；

校验器，用于对所述工作流进行校验；

适配器，用于根据校验后的所述工作流对预置的参数模板进行配置，生成工作流任务。

在本发明的一些实施例中，所述校验器对所述工作流进行的校验工作包括：

检查初始化的角色及角色ID；