[发明专利]一种跨域数据传输方法、装置及存储介质

说明书

本申请实施例提供了一种跨域数据传输方法、装置以及存储介质；其中，所述方法应用于包含多个服务器集群的服务系统中，不同所述服务集群为不同的域，所述方法包括：接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。

技术领域

本发明涉及大数据领域，尤其涉及一种跨域数据传输方法、装置及存储介质。

背景技术

现有技术中，由于计算需求、区域分布、技术能力等一系列原因，通常会有多个不同配置的HADOP集群同时存在，多个集群间由于计算或者统计等需求需要相互之间进行数据传输同步。

目前，对集群间数据跨域传输的解决方案主要有两种：Hadoop集群Distcp工具和中转数据传输。其中，通过Hadoop集群Distcp工具对集群间数据跨域传输的核心是集群互信，通过集群配置kerberos互信，使得数据源集群的票据能够在目标集群被识别且能合法使用。完成集群互信后，可以直接使用Hadoop自带Distcp工具进行集群间数据传输。

中转数据传输则是通过源集群将待传输数据上传至数据中转站存储，再通过数据中转站将待传输数据转发到目标集群。

Hadoop集群Distcp工具方案在集群间配置完互信后，只需要源数据集群或者目标集群任一票据就可以实现集群间的数据拷贝，使用简单。但是具有集群互信配置复杂，配置过程中容易导致集群故障影响使用的缺陷；在所有配置完成后还需要对互信集群进行重启操作。

中转数据传输方案首先需要建立数据中转站，在数据传输中转过程中数据安全性较低。

发明内容

本发明实施例提供一种跨域数据传输方法、装置及存储介质。

本发明实施例技术方案是这样实现的：

本发明实施例提供一种跨域数据传输方法，应用于包含多个服务器集群的服务系统中，其特征在于，不同所述服务集群为不同的域，包括：

接收跨域传输请求，其中，所述跨域传输请求为：在不同所述域之间进行数据传输的请求；

根据所述跨域传输请求，对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证；

在所述认证通过之后，根据所述跨域传输请求生成跨域传输任务；

将所述跨域传输任务分发给所述跨域传输请求涉及的源域，其中，所述跨域传输任务，用于触发所述源域的资源协调者将所述源域的数据写入到所述目标域。

上述方案中，所述跨域传输请求，包括：

所述跨域传输请求至少包括：所述源域的目录地址、所述目标域的目录地址和所述用户标识；

所述对发送所述跨域传输请求的用户进行所述跨域传输请求所涉及读写权限的认证，包括：

根据所述用户标识，向所述源域发送读权限的认证请求并接收基于所述读权限的认证请求返回的认证结果；

根据所述用户标识，向所述目标域发送写权限的认证请求并和接收基于所述写权限的认证请求返回的认证结果。

上述方案中，在所述将所述跨域传输任务分发给所述跨域传输请求涉及的源域之后，所述方法还包括：

确定是否接收到操控指令；

在确定接收到所述操控指令之后，将所述操控指令分发给所述跨域传输请求涉及的源域；