[发明专利]一种数据加载方法、装置及电子设备

说明书

本申请公开一种数据加载方法、装置及电子设备，该方法通过将客户端对应的第一文件加载至各个节点，得到目标节点对应的第一目标文件以及各个工作节点分别对应的第二目标文件，并指示目标节点检测第一文件是否发生改变，若是，则将第一目标文件按照第一文件进行调整，得到第二文件，进一步，将第二文件加载至各个工作节点，并将第二目标文件按照第二文件进行调整。通过上述数据加载方法，只需要在目标节点中加载发生改变的数据，便可以通过目标节点将发生改变的数据同步至各个工作节点，进而实现对各个节点的数据加载，并且不需要重启各个节点，提高了数据加载的效率。

技术领域

本申请涉及大数据领域，特别是涉及一种数据加载方法、装置及电子设备。

背景技术

随着大数据技术的发展，以及传统数据库技术的进一步演进，企业在数据架构上的选择也越来越多。目前，企业中的数据通常存储在多个数据源上，对于业务复杂的企业，数据源甚至多达数十个到上百个，因此，在对数据进行查询分析时，往往需要横跨多个数据源，从而导致查询分析的效率低，同时，为了应对请求高并发场景，通常采用分布式节点来处理不同的请求，但这种方法在任一数据源中的数据发生改变时，需要在其它节点中手动加载发生改变的数据，并且需要将节点重启，才算加载完成，从而导致数据加载的效率低。

发明内容

本申请提供了一种数据加载方法、装置及电子设备，可以实现只需要在目标节点中加载发生改变的数据，便可以通过目标节点将发生改变的数据同步至各个工作节点，进而实现对各个节点的数据加载，并且不需要重启各个节点，提高了数据加载的效率。

第一方面，本申请提供了一种数据加载方法，所述方法包括：

将客户端对应的第一文件加载至各个节点，得到目标节点对应的第一目标文件以及各个工作节点分别对应的第二目标文件；

指示所述目标节点检测所述第一文件是否发生改变；

若是，则将所述第一目标文件按照所述第一文件进行调整，得到第二文件；

将所述第二文件加载至各个工作节点，并将所述第二目标文件按照所述第二文件进行调整。

通过上述方法，只需要在目标节点中加载发生改变的数据，便可以通过目标节点将发生改变的数据同步至各个工作节点，进而完成对各个节点的数据加载，并且不需要重启各个节点，提高了数据加载的效率。

在一种可能的设计中，所述将客户端对应的第一文件加载至各个节点，得到目标节点对应的第一目标文件以及各个工作节点分别对应的第二目标文件，包括：

将客户端对应的第一文件加载至各个节点中的目标节点，得到所述目标节点对应的第一目标文件；

根据目标中心对应的服务地址，将所述第一目标文件同步至所述目标中心；

指示各个工作节点根据所述服务地址在所述目标中心获取第一目标文件，并指示所述各个工作节点将获取的第一目标文件作为所述第二目标文件。

通过上述方法，将客户端的第一文件加载至各个节点，进而采用分布式节点来处理不同的请求，解决在请求高并发场景时，处理效率低的问题。

在一种可能的设计中，所述将所述第一目标文件按照所述第一文件进行调整，包括：

检测所述第一文件中的第一目录信息，和/或所述第一目录信息对应的属性信息是否发生改变；

当检测到所述第一目录信息和/或所述属性信息发生改变时，判断所述属性信息是否合法；

若所述属性信息合法，则将所述第一目标文件按照所述第一文件进行调整。

通过上述方法，检测第一文件的数据改变情况，进而可以将发生改变的数据加载至目标节点中。