[发明专利]一种数据存储方法、装置及计算机设备

说明书

本发明提供一种数据存储方法、装置及计算机设备。该数据存储方法包括：首先接收存储指令，存储指令用于指示请求存储的目标数据，然后判断缓存数据库中是否存储有数据。若缓存数据库中没有存储数据，则从原始数据库中获取目标数据并存储到云端数据库，若缓存数据库中存储有数据，则从缓存数据库和/或原始数据库中获取目标数据并存储到云端数据库。本发明提供的数据存储方法，减少了对原始数据库的访问，提高读取效率，加快数据采集和存储的过程。

技术领域

本发明涉及数据交互领域，尤其涉及一种数据存储方法、装置及计算机设备。

背景技术

随着数据中台的概念的形成和数据仓库技术的发展，数据集成技术成为各个企业关注和研究的焦点，国内外企业和技术人员对数据仓库技术(Extract Transform Load，简称ETL)进行了大量研究,同时提出了多种多样的解决方案。ETL用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。在具体工作过程中，由于数据量庞大以及数据之间关系复杂导致数据读取时间过长，而ETL主要过程中的抽取即采集过程又是整个ETL过程的瓶颈。

传统的数据采集方式，是通过外部接口和数据库直连的形式直接对数据库进行访问。在涉及多次查询时，频繁访问数据源，最终导致数据源因为连接数量过大而对正在运转的系统造成影响。

可见，现有的单一数据库访问方案存在数据库访问过大影响程序正常运行的技术问题。

发明内容

为了解决上述技术问题，本发明提供了一种数据存储方法、装置及计算机设备，具体方案如下：

第一方面，本申请实施例提供了一种数据存储方法，所述方法包括：

接收存储指令，所述存储指令用于指示请求存储的目标数据；

判断缓存数据库中是否存储有数据；

若所述缓存数据库中没有存储数据，则从原始数据库中获取所述目标数据并存储到云端数据库；

若所述缓存数据库中存储有数据，则从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库。

根据本申请公开的一种具体实施方式，若所述缓存数据库中没有存储数据，所述方法还包括:

将所述目标数据存储到所述缓存数据库。

根据本申请公开的一种具体实施方式，从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库的步骤，包括:

判断所述缓存数据库中是否存储有全部的所述目标数据；

若所述缓存数据库中存储有全部的所述目标数据，则从所述缓存数据库中获取所述目标数据并存储到所述云端数据库；

若所述缓存数据库中未存储全部的所述目标数据，则从所述缓存数据库和所述原始数据库中获取全部的所述目标数据并存储到所述云端数据库。

根据本申请公开的一种具体实施方式，从所述缓存数据库和所述原始数据库中获取全部的所述目标数据并存储到所述云端数据库的步骤，包括：

确定所述缓存数据库内存储的所述目标数据的第一子集数据，以及所述缓存数据库内未存储的所述目标数据的第二子集数据；

将所述原始数据库内的所述第二子集数据存储到所述缓存数据库；

将所述缓存数据库中的第一子集数据和所述第二子集数据存储到所述云端数据库。

根据本申请公开的一种具体实施方式，所述方法还包括：

按照预设的检测周期或者在接收到所述存储指令时，检测所述原始数据库中是否存在改动数据；