[发明专利]一种数据处理方法及装置有效
申请号: | 201810361696.9 | 申请日: | 2018-04-20 |
公开(公告)号: | CN108549714B | 公开(公告)日: | 2020-12-11 |
发明(设计)人: | 许建 | 申请(专利权)人: | 杭州橙鹰数据技术有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458;G06F16/28;G06F16/215;G06F16/25 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 吴桦;吴肖肖 |
地址: | 310000 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
对WEB页面数据提交事件进行监测,根据监测到的所述WEB页面数据提交事件实时获取与所述WEB页面数据提交事件相关联的操作信息和数据信息;
在实时数据存储区和历史数据存储区对所述数据信息指示的数据同步执行所述操作信息指示的操作,其中,所述实时数据存储区中存储的数据用于提供实时数据的查询和服务,所述历史数据存储区中存储的数据用于提供历史数据的查询和服务,所述操作信息指示的操作包含但不仅限于数据的插入、删除和更新。
2.根据权利要求1所述的方法,其特征在于,所述实时获取与所述WEB页面数据提交事件相关联的数据信息和操作信息包括:
获取被监测到发生数据提交事件的WEB页面的配置信息和URL串;
解析所述配置信息获取操作信息;
解析所述URL串获取数据信息。
3.根据权利要求1或2所述的方法,其特征在于,所述WEB页面数据提交事件包括:
点击按钮类型的WEB页面数据提交事件;或
点击链接类型的WEB页面数据提交事件。
4.根据权利要求1或2所述的方法,其特征在于,获取与所述WEB页面数据提交事件相关联的操作信息和数据信息之后还包括:
根据所述操作信息确定预设的依赖规则;
根据所述预设的依赖规则对所述数据信息进行实时处理。
5.根据权利要求4所述的方法,其特征在于,所述实时处理包括:
根据预设清洗规则对所述数据信息进行清洗。
6.根据权利要求4所述的方法,其特征在于,所述实时处理还包括:
根据预先建立的数据模型对所述数据信息进行过滤。
7.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
按照预定规则将原始数据载入至所述历史数据存储区。
8.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
接收实时数据的查询和/或服务的请求;
根据所述实时数据存储区中所保存的数据提供实时数据的查询和/或服务的结果。
9.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
接收历史数据的查询和/或服务的请求;
根据所述历史数据存储区中所保存的数据提供历史数据的查询和/或服务的结果。
10.一种数据处理装置,其特征在于,所述装置包括:WEB页面数据配置解析模块和数据处理模块,其中,所述WEB页面数据配置解析模块被配置为对WEB页面数据提交事件进行监测,根据监测到的所述WEB页面数据提交事件实时获取与所述WEB页面数据提交事件相关联的操作信息和数据信息;所述数据处理模块被配置为在实时数据存储区和历史数据存储区对所述数据信息指示的数据同步执行所述操作信息指示的操作,其中,所述实时数据存储区中存储的数据用于提供实时数据的查询和服务,所述历史数据存储区中存储的数据用于提供历史数据的查询和服务,所述操作信息指示的操作包含但不仅限于数据的插入、删除和更新。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括数据操作模块,所述数据操作模块被配置为获取与所述WEB页面数据提交事件相关联的操作信息和数据信息之后,根据所述操作信息确定预设的依赖规则,根据所述预设的依赖规则对所述数据信息进行实时处理。
12.根据权利要求10或11所述的装置,其特征在于,所述装置还包括数据初始化模块,所述数据初始化模块被配置为按照预定规则将原始数据载入至所述历史数据存储区。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州橙鹰数据技术有限公司,未经杭州橙鹰数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810361696.9/1.html,转载请声明来源钻瓜专利网。