[发明专利]一种数据处理方法、装置、电子设备及存储介质

说明书

本公开公开了一种数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域，尤其涉及联邦学习技术。具体实现方案为：通过数据方的联邦计算代理从数据方获取待处理数据的元数据；其中，元数据表示待处理数据的特征；根据待处理数据的元数据，在计算方的联邦计算代理上生成待处理数据的数据分析逻辑；将待处理数据的数据分析逻辑发送至数据方；使得数据方基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出；其中，结果产出包括：结果数据和产出日志。本申请实施例可以更加高效地实现跨机构的数据合作，安全可控，节省成本，避免资源浪费。

技术领域

本公开涉及数据处理技术领域，进一步涉及联邦学习技术，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

数据是一种重要的生产资料，为了进一步挖掘数据价值，需要将不同机构的数据进行联合分析或者联合建模，以产生新的数据价值，创造新的业务形态。考虑到数据隐私、数据安全等监管需求，跨机构数据合作会面临很多新的挑战。

图1是现有技术中跨机构数据合作方式的结构示意图。如图1所示，常见的跨机构的数据合作方式主要有三种，分别是：方式1：纵向联邦XXY式，一方提供X1、X2，另外一方提供X3、X4和Y。方式2：纵向联邦XY式，一方提供X，另外一方提供Y。方式3：受控隔离式，一方提供数据，另外一方不提供数据，仅分析数据。

上述方式1和方式2为联邦学习方案，该方案选用梯度交换(Federated Learning，简称FL)、多方安全计算(Secure multi-party computation，简称MPC)和可执行环境(Trusted Execution Environment，简称TEE)等；该方案在跨机构合作的场景下，并不是特别高效。上述方式3为隔离域计算方案，合作双方在相互之间无法信任的情况下，为了进行数据安全融合，寻找一个独立的可信的第三方环境，并基于网络安全技术构建一套隔离域环境，双方将各自拥有的数据放到隔离域中，双方均可以对数据操作进行监控和审计，以确保数据分析人员的所有行为均符合双方预先约定好的原则。该方案在跨机构合作的场景下，也不是特别高效。

发明内容

本申请提供了一种数据处理方法、装置、电子设备及存储介质，可以更加高效地实现跨机构的数据合作，安全可控，节省成本，避免资源浪费。

根据本申请的第一方面，提供了一种数据处理方法，应用于计算方，所述方法包括：

通过数据方的联邦计算代理从所述数据方获取待处理数据的元数据；其中，所述元数据表示所述待处理数据的特征；

根据所述待处理数据的元数据，在所述计算方的联邦计算代理上生成所述待处理数据的数据分析逻辑；

将所述待处理数据的数据分析逻辑发送至所述数据方；使得所述数据方基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出；其中，所述结果产出包括：结果数据和产出日志。

根据本申请的第二方面，提供了另一种数据处理方法，应用于数据方，所述方法包括：

通过计算方的联邦计算代理向所述计算方发送待处理数据的元数据；其中，所述元数据表示所述待处理数据的特征；

接收所述计算方发送的基于所述待处理数据的元数据生成的所述待处理数据的数据分析逻辑；

基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出；其中，所述结果产出包括：结果数据和产出日志。

根据本申请的第三方面，提供了一种数据处理装置，所述装置包括：数据获取模块、逻辑生成模块和逻辑发送模块；其中，

所述数据获取模块，用于通过数据方的联邦计算代理从所述数据方获取待处理数据的元数据；其中，所述元数据表示所述待处理数据的特征；