[发明专利]用于数据处理的方法及其设备

说明书

本发明提供了一种数据处理方法。该方法包括获取数据文件，所述数据文件包括具有不同业务时间的一个或多个数据；解析所述数据文件，以获取针对每个数据的业务时间；以及根据每个数据的业务时间将所述数据文件切割为一个或多个数据段。本公开还提供了与该方法相对应的设备和计算机可读存储介质。

技术领域

本发明涉及数据处理领域，具体涉及一种数据处理方法及其设备。

背景技术

在数据统计分析的过程中，往往需要向数据集市传输数据报表。现有的技术方案利用传输工具在往数据集市传输数据的时候，根据任务运行时的服务器时间将数据切割成多个段，并存储在各个文件目录中。然而这种方式具有一些缺陷。例如任务运行失败或者数据延迟会造成严重的数据偏移，即本来是时间a的数据会存放在时间b路径下，导致根据各个文件目录生成的数据报表不能真实反映业务状态。

因此，需要一种数据处理方案，能够使得数据报表真实地反映实际的业务状态。

发明内容

有鉴于此，本公开提供了一种数据处理方法、数据处理设备和对应的存储器设备。

本公开的一个方面提供了一种用于处理数据的方法。该方法包括获取数据文件，所述数据文件包括具有不同业务时间的一个或多个数据。该方法还包括解析所述数据文件，以获取针对每个数据的业务时间；根据每个数据的业务时间将所述数据文件切割为一个或多个数据段；以及将所述一个或多个数据段分别存储在一个或多个目录下。

根据本公开的一些实施例，根据每个数据的业务时间将所述数据文件切割为一个或多个数据段可包括：设置一个或多个数据存储桶；以及根据每个数据的业务时间将所述一个或多个数据中的至少一部分归类到所述一个或多个数据存储桶中的各个数据存储桶中。在此情况下，将所述一个或多个数据段分别存储在一个或多个目录下可包括：基于所述归类将所述一个或多个数据写入到所述一个或多个目录中的不同目录下。

根据本公开的一些实施例，设置一个或多个数据存储桶可包括：以当前任务时间来作为所述一个或多个数据存储桶中基准数据存储桶的数据的起始时间，所述当前任务时间表示当前数据处理任务的执行时间；以及所述一个或多个数据存储桶中的其他数据存储桶以所述基准数据存储桶为基准，相邻数据存储桶之间间隔预定时间跨度。

根据本公开的一些实施例，该方法还可包括：针对每个业务时段设置指示不同时间属性的一个或多个目录。

在一些示例中，指示不同时间属性的一个或多个目录可包括以下至少一项：时间正常目录、时间过早目录、时间过晚目录。

在此情况下，根据所设置的数据存储桶将所述一个或多个数据写入到不同目录下可包括：将归类到所设置的数据存储桶的数据写入到时间正常目录下；将其业务时间比归类到所设置的数据存储桶的数据早的数据写入到时间过早目录；以及将其业务时间比归类到所设置的数据存储桶的数据晚的数据写入到时间过晚目录。

根据本公开的一些实施例，所述时间正常目录包括多个时间正常目录，所述多个时间正常目录中的每一个与所设置的数据存储桶中的各个数据存储桶相对应。

根据本公开的一些实施例，该方法还可包括：

在当前数据处理任务完成时，冻结所述多个时间正常目录中业务时间最早的时间正常目录。

根据本公开的一些实施例，通过向所述业务时间最早的时间正常目录添加指示不再写入的标记来冻结所述业务时间最早的时间正常目录。

根据本发明的另一方案，提供了一种用于处理数据的设备。该设备包括数据获取模块、数据解析模块、数据切割模块和数据写入模块。数据获取模块用于获取数据文件，所述数据文件包括具有不同业务时间的一个或多个数据。数据解析模块用于解析所述数据文件，以获取针对每个数据的业务时间。数据切割模块用于根据每个数据的业务时间将所述数据文件切割为一个或多个数据段。数据写入模块用于将所述一个或多个数据段分别存储在一个或多个目录下。