[发明专利]混合架构系统及基于数据传输耗时的任务调度方法

说明书

本申请公开一种混合架构系统及基于数据传输耗时的任务调度方法，该方法包括：提交待处理任务，确定关联待处理任务的第一数据，并计算将第一数据的未上传至的子集传输到第三方的第一耗时；接收各其他第二参与方对应第二数据的未上传的子集传输到第三方的第二耗时；基于第一耗时、第二耗时和预设耗时阈值确定待处理任务的任务类型，其中，任务类型包括分散式以及集中式；在待处理任务为集中式时，将所述第一数据的未上传的子集发送到第三方，以供第三方结合所述第一数据和第二数据进行集中式运算，得到处理结果；在待处理任务为分散式时，通过本地任务调度以配合进行分散式运算，得到处理结果。本申请选择时耗最少的计算方式，避免浪费。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种混合架构系统及基于数据传输耗时的任务调度方法。

背景技术

随着人工智能技术的发展，隐私计算(基于联邦学习)的应用也越来越广泛，隐私计算(Privacy Computing)是指一种由两个或多个参与方(隐私计算的参与方既可以是同一机构的不同部门，也可以是不同的机构，在保护数据安全的同时实现多源数据跨域合作)联合计算的技术和系统，参与方在不泄露各自数据的前提下通过协作对他们的数据进行联合机器学习和联合分析。

隐私计算过程中，可以选择不同的计算方式，不同计算方式数据传输量和数据存储量不同，现有技术中是用户手动选择具体的计算方式，然而，手动选择的计算方式往往不是最优选，造成隐私计算资源的浪费。

发明内容

本申请的主要目的在于提供一种混合架构系统及基于数据传输耗时的任务调度方法，旨在解决现有隐私计算过程中，手动选择计算方式，易造成隐私计算资源浪费的技术问题。

为实现上述目的，本申请提供一种混合架构系统，所述混合架构系统包括：

第一参与方，所述第一参与方用于：发起待处理任务，确定关联所述待处理任务的第一数据，并计算将所述第一数据的未上传至第三方的子集传输到第三方所需的第一耗时；还用于接收各其他第二参与方的关联所述待处理任务的第二数据的未上传至第三方的子集传输到第三方所需的第二耗时，并基于所述第一耗时、所述第二耗时和预设耗时阈值确定所述待处理任务的任务类型，其中，所述任务类型包括分散式类型以及集中式类型；还用于在所述待处理任务为集中式类型时将所述第一数据的未上传至第三方的子集发送到第三方，或者在所述待处理任务为分散式类型时，通过本地任务调度以配合第三方和以配合其他参与方进行分散式运算；

第二参与方，所述第二参与方用于：在检测到第一参与方发起待处理任务后，确定关联所述待处理任务的第二数据，计算将所述第二数据的未上传至第三方的子集传输到第三方所需的第二耗时，并将所述第二耗时发送给所述第一参与方；还用于在所述待处理任务为集中式类型时将所述第二数据的未上传至第三方的子集发送给第三方，或者在所述待处理任务为分散式类型时，通过本地任务调度以配合第三方和其他参与方进行分散式运算；

第三方，所述第三方用于：在所述待处理任务为集中式类型时，结合所述第一数据和所述第二数据进行集中式运算，或者在所述待处理任务为分散式类型时，通过本地计算以配合其他参与方进行分散式运算。

可选地，所述第二参与方为多个。

可选地，所述第一参与方包括第一调度模块、第一计算模块、第一通信模块和任务类型推荐模块，所述第一通信模块用于与所述第二参与方和/或所述第三方通信；所述任务类型推荐模块用于发起待处理任务，确定关联所述待处理任务的第一数据，并计算将所述第一数据的未上传至第三方的子集传输到第三方所需的第一耗时，以及用于接收各其他第二参与方的第二耗时，并基于所述第一耗时、所述第二耗时和预设耗时阈值确定所述待处理任务的任务类型；所述第一调度模块用于在所述待处理任务为分散式类型时通过本地任务调度所述第一计算模块进行本地运算以配合第三方和其他参与方进行分散式运算，或者在所述待处理任务为集中式类型时，将所述第一数据的未上传至第三方的子集通过所述第一通信模块发送给第三方。