[发明专利]一种数据处理方法、装置和计算机可读存储介质在审
| 申请号: | 201911367948.X | 申请日: | 2019-12-26 |
| 公开(公告)号: | CN111143415A | 公开(公告)日: | 2020-05-12 |
| 发明(设计)人: | 孟浩浩;张春鹏 | 申请(专利权)人: | 政采云有限公司 |
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F9/54;G06F16/2458;G06Q40/04 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 史翠 |
| 地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据处理 方法 装置 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
将获取的各类业务线数据记录至第一消息队列;
提取所述第一消息队列中各类业务线数据的有效数据流;
按照预设的窗口时间,利用滑动窗口对各有效数据流进行统计,得到待分析数据块;
将各待分析数据块按照其对应的业务处理规则进行分析,并将得到的分析结果存储至第二消息队列。
2.根据权利要求1所述的方法,其特征在于,所述将获取的各类业务线数据记录至第一消息队列包括:
按照预设的分类规则,对获取的各类业务线数据添加标签信息;
将添加标签信息后的各类业务线数据记录至第一消息队列。
3.根据权利要求2所述的方法,其特征在于,所述提取所述第一消息队列中各类业务线数据的有效数据流包括:
根据目标业务线数据所对应的时间戳,对所述目标业务线数据进行排序,得到数据流;其中,所述目标业务线数据为所有业务线数据中的任意一个业务线数据;
按照所述目标业务线数据所对应的数据过滤规则,提取出所述数据流中的有效数据流;其中,不同的标签信息有其各自对应的数据过滤规则。
4.根据权利要求3所述的方法,其特征在于,所述将各待分析数据块按照其对应的业务处理规则进行分析,并将得到的分析结果存储至第二消息队列包括:
当所述待分析数据块为商品交易信息时,根据预先设定的区划信息以及商品类目信息,统计出所述商品交易信息中不同区划下、不同商品类目的销售数量以及销售金额;
将销售数量最高的前N位以及销售金额最高的前N位商品交易信息按照区划、商品类目、销售数量以及销售金额的对应关系存储至第二消息队列。
5.根据权利要求3所述的方法,其特征在于,所述将各待分析数据块按照其对应的业务处理规则进行分析,并将得到的分析结果存储至第二消息队列包括:
当所述待分析数据块为用户浏览信息时,统计出设置有相同标签信息的广告信息在预先划分的不同时间段内的点击量;
将所述广告信息按照标签信息、时间段和点击量的对应关系存储至第二消息队列。
6.根据权利要求3所述的方法,其特征在于,所述将各待分析数据块按照其对应的业务处理规则进行分析,并将得到的分析结果存储至第二消息队列包括:
当所述待分析数据块为用户登录信息时,根据预先设定的区划信息,统计出所述用户登录信息中不同区划下、不同时间段内的用户登录数量;
将所述用户登录信息按照区划、时间段以及用户登录数量的对应关系存储至第二消息队列。
7.一种数据处理装置,其特征在于,包括记录单元、提取单元、统计单元和分析单元;
所述记录单元,用于将获取的各类业务线数据记录至第一消息队列;
所述提取单元,用于提取所述第一消息队列中各类业务线数据的有效数据流;
所述统计单元,用于按照预设的窗口时间,利用滑动窗口对各有效数据流进行统计,得到待分析数据块;
所述分析单元,用于将各待分析数据块按照其对应的业务处理规则进行分析,并将得到的分析结果存储至第二消息队列。
8.根据权利要求7所述的装置,其特征在于,所述记录单元具体用于按照预设的分类规则,对获取的各类业务线数据添加标签信息;将添加标签信息后的各类业务线数据记录至第一消息队列。
9.一种数据处理装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至6任意一项所述数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于政采云有限公司,未经政采云有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911367948.X/1.html,转载请声明来源钻瓜专利网。





