[发明专利]用于数据处理的方法及其设备有效
申请号: | 201710361385.8 | 申请日: | 2017-05-19 |
公开(公告)号: | CN108959302B | 公开(公告)日: | 2021-06-29 |
发明(设计)人: | 王旋;朱健 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/16 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 倪斌 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 数据处理 方法 及其 设备 | ||
1.一种用于处理数据的方法,包括:
获取数据文件,所述数据文件包括具有不同业务时间的一个或多个数据;
解析所述数据文件,以获取针对每个数据的业务时间;
根据每个数据的业务时间将所述数据文件切割为一个或多个数据段;以及
将所述一个或多个数据段分别存储在一个或多个目录下,
其中,根据每个数据的业务时间将所述数据文件切割为一个或多个数据段包括:设置一个或多个数据存储桶;以及根据每个数据的业务时间将所述一个或多个数据中的至少一部分归类到所述一个或多个数据存储桶中的各个数据存储桶中,
其中,将所述一个或多个数据段分别存储在一个或多个目录下包括:基于所述归类将所述一个或多个数据写入到所述一个或多个目录中的不同目录下。
2.根据权利要求1所述的方法,其中,设置一个或多个数据存储桶包括:
以当前任务时间来作为所述一个或多个数据存储桶中基准数据存储桶的数据的起始时间,所述当前任务时间表示当前数据处理任务的执行时间;以及
所述一个或多个数据存储桶中的其他数据存储桶以所述基准数据存储桶为基准,相邻数据存储桶之间间隔预定时间跨度。
3.根据权利要求2所述的方法,还包括:
针对每个业务时段设置指示不同时间属性的一个或多个目录。
4.根据权利要求3所述的方法,其中,指示不同时间属性的一个或多个目录包括以下至少一项:时间正常目录、时间过早目录、时间过晚目录,
根据所设置的数据存储桶将所述一个或多个数据写入到不同目录下包括:
将归类到所设置的数据存储桶的数据写入到时间正常目录下;
将其业务时间比归类到所设置的数据存储桶的数据早的数据写入到时间过早目录;以及
将其业务时间比归类到所设置的数据存储桶的数据晚的数据写入到时间过晚目录。
5.根据权利要求4所述的方法,其中,所述时间正常目录包括多个时间正常目录,所述多个时间正常目录中的每一个与所设置的数据存储桶中的各个数据存储桶相对应。
6.根据权利要求5所述的方法,还包括:
在当前数据处理任务完成时,冻结所述多个时间正常目录中业务时间最早的时间正常目录。
7.根据权利要求6所述的方法,其中,通过向所述业务时间最早的时间正常目录添加指示不再写入的标记来冻结所述业务时间最早的时间正常目录。
8.一种用于处理数据的设备,包括:
数据获取模块,用于获取数据文件,所述数据文件包括具有不同业务时间的一个或多个数据;
数据解析模块,用于解析所述数据文件,以获取针对每个数据的业务时间;
数据切割模块,用于根据每个数据的业务时间将所述数据文件切割为一个或多个数据段;以及
数据写入模块,用于将所述一个或多个数据段分别存储在一个或多个目录下,
其中,所述数据切割模块还包括:数据存储桶设置子模块,用于设置一个或多个数据存储桶;以及数据归类子模块,用于根据每个数据的业务时间将所述一个或多个数据中的至少一部分归类到所述一个或多个数据存储桶中的各个数据存储桶中,
其中,所述数据写入模块还用于基于所述归类将所述一个或多个数据写入到所述一个或多个目录中的不同目录下。
9.根据权利要求8所述的设备,其中,所述数据存储桶设置子模块以当前任务时间来作为所述一个或多个数据存储桶中基准数据存储桶的数据的起始时间,所述当前任务时间表示当前数据处理任务的执行时间,以及所述一个或多个数据存储桶中的其他数据存储桶以所述基准数据存储桶为基准,相邻数据存储桶之间间隔预定时间跨度。
10.根据权利要求9所述的设备,还包括:
目录设置模块,用于针对每个业务时段设置指示不同时间属性的一个或多个目录。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710361385.8/1.html,转载请声明来源钻瓜专利网。