[发明专利]一种数据处理的方法和装置

说明书

本发明公开了数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括获取页面配置内容，基于页面配置的规则解析成脚本字符串，进而通过预设的自定义函数加载所述脚本字符串；读取源数据输入到脚本中，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，以执行对源数据的筛选。从而，本发明的实施方式能够解决现有海量数据过滤时效性差的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和装置。

背景技术

目前对于海量数据的过滤，大多数都是基于Hadoop来通过编写代码的方式来实现特定规则下的数据加工和过滤，例如写MapReduce程序、HIVE脚本等等。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在对海量数据进行规则过滤时，如果规则发生变化，需要更改代码来重新实现规则。因此，在规则多且变化频繁的情况下，根本无法满足时效性的要求。

发明内容

有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够解决现有海量数据过滤时效性差的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括获取页面配置内容，基于页面配置的规则解析成脚本字符串，进而通过预设的自定义函数加载所述脚本字符串；读取源数据输入到脚本中，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，以执行对源数据的筛选。

可选地，基于页面配置的规则解析成脚本字符串，包括：

通过JavaScript读取页面，拼接成特定的表达式字符串，并将表达式字符串存入HIVE表。

可选地，通过预设的自定义函数加载所述脚本字符串之前，包括：

在Hadoop中编写UDF函数，生成自定义函数。

可选地，通过预设的自定义函数加载所述脚本字符串，包括：

通过预设的自定义函数读取HIVE表，取出脚本字符串，再通过Groovy加载该脚本字符串。

可选地，读取源数据输入到脚本中，包括：

根据脚本字符串中的变量名称，在字段名称数组中查找到与所述变量名称一致的值，记录该值在字段名称数组中的位置；

在字段值数组中的相同位置取出数值，以替换脚本字符串中的变量。

可选地，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，包括：

通过所述自定义函数启动Groovy执行该脚本，得到执行结果并存储至HIVE表中该源数据的对应位置；

根据执行结果，确定该源数据是否符合预设条件。

可选地，读取源数据输入到脚本中之前，包括：

编写HIVE脚本查询HDFS中的源数据。

另外，本发明还提供了一种数据处理的装置，包括获取模块，用于获取页面配置内容，基于页面配置的规则解析成脚本字符串，进而通过预设的自定义函数加载所述脚本字符串；处理模块，用于读取源数据输入到脚本中，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，以执行对源数据的筛选。

上述发明中的一个实施例具有如下优点或有益效果：因为采用获取页面配置内容，基于页面配置的规则解析成脚本字符串，进而通过预设的自定义函数加载所述脚本字符串；读取源数据输入到脚本中，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，以执行对源数据的筛选的技术手段，所以克服了现有海量数据过滤时效性差的技术问题，进而达到了免开发支持规则的变化，既能够使规则实时生效，又能节省人力成本的技术效果。