[发明专利]一种数据处理方法、装置及电子设备

说明书

本发明公开了一种数据处理方法、装置及电子设备，其中，该方法包括：根据待处理任务中携带的任务标识，确定与所述任务标识相对应的目标文件存储系统以及所述目标文件存储系统的kerberos认证状态；当所述kerberos认证状态为认证通过时，则创建与目标文件存储系统相对应的目标连接池，并在所述目标连接池中创建至少一个数据线程；基于各数据线程从所述目标文件存储系统中，获取与所述待处理任务相对应的目标数据。解决了在数据传输过程中效率低的问题，实现了降低数据传输中消耗性能较大的效果。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置及电子设备。

背景技术

Hadoop是一种被公认的大数据标准开源软件，其分布式架构以及在数据提取、转换和加载方面具有巨大优势，随着Hadoop在数据分析和处理平台中的广泛应用，对Hadoop架构下的数据安全也越来越重要。

目前，在Hadoop平台数据源中通常是采用Kerberos认证保证数据的安全，其中，Kerberos认证是一种计算机网络授权协议，可以用于计算机网络的身份认证。Kerberos认证主要是通过在客户端与服务器之间建立共享秘钥，用户通过输入一次身份验证信息，在验证通过后，即可凭借此验证获取Hadoop数据源平台中的所有数据。这样的方式存在一定的数据安全隐患，可能会导致数据泄露，且无法同时两种以上的Kerberos认证，导致数据在传输过程中效率较低的问题。

为了解决上述问题，需要对Kerberos认证方式进行改进。

发明内容

本发明提供一种数据处理方法、装置及电子设备，以实现降低数据传输中的性能消耗。

第一方面，本发明实施例提供了一种数据处理方法，包括：

根据待处理任务中携带的任务标识，确定与所述任务标识相对应的目标文件存储系统以及所述目标文件存储系统的kerberos认证状态；

当所述kerberos认证状态为认证通过时，则创建与目标文件存储系统相对应的目标连接池，并在所述目标连接池中创建至少一个数据线程；

基于各数据线程从所述目标文件存储系统中，获取与所述待处理任务相对应的目标数据。

第二方面，本发明实施例还提供了一种数据处理装置，包括：

kerberos认证状态确定模块，用于根据待处理任务中携带的任务标识，确定与所述任务标识相对应的目标文件存储系统以及所述目标文件存储系统的kerberos认证状态；

数据线程创建模块，用于当所述kerberos认证状态为认证通过时，则创建与目标文件存储系统相对应的目标连接池，并在所述目标连接池中创建至少一个数据线程；

目标数据反馈模块，用于基于各数据线程，从所述目标文件存储系统中获取与所述待处理任务相对应的目标数据。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的数据处理方法。