[发明专利]一种数据处理方法及装置

说明书

【技术领域】

本发明涉及技术计算机技术领域，尤其涉及一种数据处理方法及装置。

【背景技术】

目前，随着互联网的蓬勃发展，各种数据以爆炸式的速度增长。现有技术中数据处理方法为：依据所需要的数据的描述信息，手动编写针对该数据的数据处理任务，然后将数据处理任务配置到终端上，由终端执行配置的数据处理任务，终端可以利用本地设置的数据源执行数据处理任务，从而可以从数据源中获得所需要的数据。

然而，对于不同的数据需求，需要手动编写不同的数据处理任务，以及手动配置数据处理任务，而且，终端执行数据处理任务失败或者执行效率低，都会大大影响数据处理效率，因此，目前这种数据处理方法的数据处理效率比较低。

【发明内容】

有鉴于此，本发明实施例提供了一种数据处理方法及装置，可以实现提高数据处理效率。

本发明实施例的一方面，提供一种数据处理方法，包括：

依据数据的描述信息，获得针对所述数据的数据处理任务；

将所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任务；

若所述第一终端执行所述数据处理任务出现异常，向第二终端发送所述数据处理任务，以使得所述第二终端执行所述数据处理任务。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述依据数据的描述信息，获得针对所述数据的数据处理任务，包括：

接收输入的所述数据的描述信息，所述数据的描述信息包括所述数据所在字段信息和所述数据对应的分类信息；

利用数据处理语言描述所述数据的描述信息，以获得针对所述数据的数据处理任务；

其中，所述数据处理语言包括微软M语言、R语言、Hive查询语言HQL或者结构化查询语言SQL。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任务，包括：

获得所述数据处理任务对应的数据源信息；

获得所述数据源信息所指示的数据源所在的第一终端；

将所述数据处理任务发送给所述第一终端，以使得所述第一终端利用所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据处理任务的数目为M个，M为大于或者等于1的整数；所述获得所述数据处理任务对应的数据源信息，包括：

依据每个所述数据处理任务的属性信息，从M个所述数据处理任务中提取N个所述数据处理任务，N为大于或者等于1，且小于或者等于M的整数；

对N个所述数据处理任务中每个所述数据处理任务进行解析，以获得每个所述数据处理任务对应的数据源信息，每个所述数据源信息所指示的数据源用于存储对应的数据处理任务所针对的数据。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述若所述第一终端执行所述数据处理任务出现异常，向第二终端发送所述数据处理任务之前，所述方法还包括：

获得所述第一终端执行所述数据处理任务的效率信息；若所述效率信息小于预设的效率门限，确定所述第一终端执行所述数据处理任务出现异常；或者，

获得所述第一终端执行所述数据处理任务的执行结果；若所述执行结果为执行失败，确定所述第一终端执行所述数据处理任务出现异常。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述若所述第一终端执行所述数据处理任务出现异常，向第二终端发送所述数据处理任务，以使得所述第二终端执行所述数据处理任务，包括：

获得所述数据源信息所指示的数据源所在的第二终端，向所述第二终端发送所述数据处理任务，以便于所述第二终端利用所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据；或者，

确定第二终端，向所述第二终端发送所述数据处理任务和所述第一终端的标识，以便于所述第二终端依据所述第一终端的标识从所述第一终端获得所述数据源，以及利用所述数据源执行所述数据处理任务，以获得用于提供给用户的所述数据。

本发明实施例的一方面，提供一种数据处理方法装置，包括：

任务生成单元，用于依据数据的描述信息，获得针对所述数据的数据处理任务；

任务分发单元，用于将所述任务生成单元获得的所述数据处理任务发送给第一终端，以使得所述第一终端执行所述数据处理任务；