[发明专利]一种数据文件同步方法及装置

说明书

本发明公开了一种数据文件同步方法及装置，涉及互联网技术领域，主要目的是解决现有技术中本地数据计算缓慢的问题。所述方法包括：获取数据文件以及所述数据文件对应的同步位置信息，根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置，接收大数据平台发送的数据获取指令，根据所述数据获取指令将所述公共访问平台中存储的数据文件发送至大数据平台。本发明主要用于数据的同步。

技术领域

本发明涉及互联网技术领域，尤其是一种数据文件同步方法及装置。

背景技术

大数据平台是分布式存储的数据平台，具备计算效率高和存储空间大等优点。通过大数据平台能够将用户所有的数据文件加载到平台中进行可视化，并且通过对数据文件进行分析与挖掘能够发挥大数据的价值，另外，大数据平台除了基本的数据存储与查询之外，还能够提供用户友好的界面，以及对数据多维度剖析的能力。

然而，现有技术中，缺少一种能够将数据文件定时自动导入到大数据平台的有效方法，只能定期通过人工的方式将用户的数据文件导入到大数据平台进行存储以及进一步的分析处理。但随着越来越多的数据操作要求的时效性和实时性的不断提升，使得绝大多数数据文件不经过大数据平台，只能直接在本地进行数据操作以满足时效性和实时性的需求，占用了本地过多的资源，使得本地数据计算十分缓慢，导致很多业务都无法开展。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据文件同步方法及装置，用以解决现有技术中本地数据计算缓慢的问题。

一方面，本发明提供了一种数据文件同步方法，包括：

获取数据文件以及所述数据文件对应的同步位置信息，其中所述同步位置信息为所述数据文件同步至公共访问平台的位置信息；

根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置；

将所述公共访问平台中存储的所述数据文件发送至大数据平台。

进一步地，所述根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置包括：

根据所述数据文件对应的同步位置信息查找所述公共访问平台中对应的数据存储位置；

将所述数据文件上传至所述公共访问平台中对应的数据存储位置。

进一步地，在所述根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置之前，所述方法还包括：

按照预设规则对所述数据文件进行命名。

进一步地，所述将所述公共访问平台中存储的所述数据文件发送至大数据平台包括：

将所述公共访问平台中存储的所述数据文件导入所述大数据平台中用于创建表格的区域，所述区域的容量大于所述数据文件的容量；

在所述区域创建临时表，通过所述临时表关联所述数据文件；

将所述临时表中的数据插入所述大数据平台中的正式表中，建立所述正式表与导入所述区域的数据文件间的关联关系。

进一步地，在所述将所述公共访问平台中存储的所述数据文件发送至大数据平台之后，所述方法还包括：

对所述上传至所述大数据平台的所述数据文件进行数据完整性校验。

另一方面，本发明提供一种数据文件同步装置，包括：

获取单元，用于获取数据文件以及所述数据文件对应的同步位置信息，其中所述同步位置信息为所述数据文件同步至公共访问平台的位置信息；