[发明专利]数据同步方法和装置、计算设备和存储介质

说明书

提供了一种数据同步方法，包括：启动多个并发执行的数据抽取任务，每个数据抽取任务用于从对应的多个前端服务器抽取数据；如果前端服务器上的文件已被切分，通过数据抽取任务从切分文件抽取数据，否则从当前未切分文件抽取数据；以及通过数据抽取任务将抽取的数据上传到数据仓库。本公开以较少的客户端资源实现了较低延迟的准实时数据同步，为后续数据处理加工提供了强有力的数据保障。

技术领域

本公开涉及网络技术，具体涉及数据同步方法和装置、计算设备和存储介质。

背景技术

数据仓库(Data Warehouse，简写为DW或DWH)，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略数据集合。数据仓库最重要的是源头数据，即生产系统产生的数据。源头数据包含但不限于如下几种类型：流量数据、订单数据、用户数据等等。流量数据包含了用户访问网站期间所产生的一系列行为，通常需要快速稳定地将流量数据上传到数据仓库，以便后续的数据计算、分析以及挖掘提供强有力的保障。

发明内容

根据本公开的第一方面，提供了一种数据同步方法。所述数据同步方法包括启动多个并发执行的数据抽取任务，每个数据抽取任务用于从对应的多个前端服务器抽取数据。方法还包括：如果前端服务器上的文件已被切分，通过所述数据抽取任务从切分文件抽取数据，否则从当前未切分文件抽取数据。方法还包括通过所述数据抽取任务将抽取的数据上传到数据仓库。

在一个实施例中，所述多个数据抽取任务可以在多个物理机器上运行，并且根据各个物理机器的性能分布在所述多个物理机器上。

在一个实施例中，方法还可以包括读取配置信息，以获取数据在前端服务器的存放目录和上传数据的数据仓库的目录。

在一个实施例中，所述多个前端服务器可以按照一定规则被平均分发到所述多个数据抽取任务。

根据本公开的第二方面，提供了一种数据同步装置。所述数据同步装置包括启动单元、抽取单元和上传单元以及可选的配置读取单元。启动单元被配置为启动多个并发执行的数据抽取任务，其中，每个数据抽取任务用于从对应的多个前端服务器抽取数据。抽取单元被配置为如果前端服务器上的文件已被切分，通过所述数据抽取任务从切分文件抽取数据，否则从当前未切分文件抽取数据。上传单元被配置为通过所述数据抽取任务将抽取的数据上传到数据仓库。

在一个实施例中，所述多个数据抽取任务可以在多个物理机器上运行，并且根据各个物理机器的性能分布在所述多个物理机器上。

在一个实施例中，配置读取单元被配置为读取配置信息，以获取数据在前端服务器的存放目录和上传数据的数据仓库的目录。

在一个实施例中，所述多个前端服务器可以按照一定规则被平均分发到所述多个数据抽取任务。

根据本公开的第三方面，提供了一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

根据本公开的第四方面，提供了一种存储介质，所述存储介质存储计算机指令，所述计算机指令当被计算机执行，使得所述计算机执行如第一方面所述的方法。

本公开的实施例通过将线上多个台服务器IP分发到多个任务实例进行并发抽取，通过循环合并抽取当前文件以及切分之后的小时文件，完成数据的准实时抽取以及同步，保证仓库源数据的时效性。因此，本公开的实施例以较少的客户端资源实现了较低延迟的准实时数据同步，为后续数据处理加工提供了强有力的数据保障。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示出了根据本公开实施例的产生流量日志的过程的示意框图；