[发明专利]一种数据处理的方法和装置在审
| 申请号： | 202010124359.5 | 申请日： | 2020-02-27 |
| 公开（公告）号： | CN113312053A | 公开（公告）日： | 2021-08-27 |
| 发明（设计）人： | 王海涛 | 申请（专利权）人： | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
| 主分类号： | G06F8/40 | 分类号： | G06F8/40;G06F16/2455;G06F16/28 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 张一军;李阳 |
| 地址： | 100176 北京市北京经济技术*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 数据处理 方法 装置 | ||
1.一种数据处理的方法，其特征在于，包括：
获取页面配置内容，基于页面配置的规则解析成脚本字符串，进而通过预设的自定义函数加载所述脚本字符串；
读取源数据输入到脚本中，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，以执行对源数据的筛选。
2.根据权利要求1所述的方法，其特征在于，基于页面配置的规则解析成脚本字符串，包括：
通过JavaScript读取页面配置内容，拼接成特定的表达式字符串，并将表达式字符串存入HIVE表。
3.根据权利要求1所述的方法，其特征在于，通过预设的自定义函数加载所述脚本字符串之前，包括：
在Hadoop中编写UDF函数，生成自定义函数。
4.根据权利要求1所述的方法，其特征在于，通过预设的自定义函数加载所述脚本字符串，包括：
通过预设的自定义函数读取HIVE表，取出脚本字符串，再通过Groovy加载该脚本字符串。
5.根据权利要求1所述的方法，其特征在于，读取源数据输入到脚本中，包括：
根据脚本字符串中的变量名称，在字段名称数组中查找到与所述变量名称一致的值，记录该值在字段名称数组中的位置；
在字段值数组中的相同位置取出数值，以替换脚本字符串中的变量。
6.根据权利要求1所述的方法，其特征在于，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，包括：
通过所述自定义函数启动Groovy执行该脚本，得到执行结果并存储至HIVE表中该源数据的对应位置；
根据执行结果，确定该源数据是否符合预设条件。
7.根据权利要求1-6中任一所述的方法，其特征在于，读取源数据输入到脚本中之前，包括：
编写HIVE脚本查询HDFS中的源数据。
8.一种数据处理的装置，其特征在于，包括：
获取模块，用于获取页面配置内容，基于页面配置的规则解析成脚本字符串，进而通过预设的自定义函数加载所述脚本字符串；
处理模块，用于读取源数据输入到脚本中，通过所述自定义函数执行该脚本，确定该源数据是否符合预设条件，以执行对源数据的筛选。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司，未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010124359.5/1.html，转载请声明来源钻瓜专利网。
