[发明专利]一种数据文件同步方法及装置在审
| 申请号: | 201710078889.9 | 申请日: | 2017-02-14 |
| 公开(公告)号: | CN108427682A | 公开(公告)日: | 2018-08-21 |
| 发明(设计)人: | 郭秦龙 | 申请(专利权)人: | 北京国双科技有限公司 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30 |
| 代理公司: | 北京鼎佳达知识产权代理事务所(普通合伙) 11348 | 代理人: | 王伟锋;刘铁生 |
| 地址: | 100086 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据文件 数据获取指令 同步位置信息 公共访问 大数据 发送 数据文件上传 互联网技术 数据计算 存储 | ||
1.一种数据文件同步方法,其特征在于,包括:
获取数据文件以及所述数据文件对应的同步位置信息,其中所述同步位置信息为所述数据文件同步至公共访问平台的位置信息;
根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置;
将所述公共访问平台中存储的所述数据文件发送至大数据平台。
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置包括:
根据所述数据文件对应的同步位置信息查找所述公共访问平台中对应的数据存储位置;
将所述数据文件上传至所述公共访问平台中对应的数据存储位置。
3.根据权利要求1所述的方法,其特征在于,在所述根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置之前,所述方法还包括:
按照预设规则对所述数据文件进行命名。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述将所述公共访问平台中存储的所述数据文件发送至大数据平台包括:
将所述公共访问平台中存储的所述数据文件导入所述大数据平台中用于创建表格的区域,所述区域的容量大于所述数据文件的容量;
在所述区域创建临时表,通过所述临时表关联导入所述区域的数据文件;
将所述临时表中的数据插入所述大数据平台中的正式表中,建立所述正式表与导入所述区域的数据文件间的关联关系。
5.根据权利要求1所述的方法,其特征在于,在所述将所述公共访问平台中存储的所述数据文件发送至大数据平台之后,所述方法还包括:
对所述上传至所述大数据平台的所述数据文件进行数据完整性校验。
6.一种数据文件同步装置,其特征在于,包括:
获取单元,用于获取数据文件以及所述数据文件对应的同步位置信息,其中所述同步位置信息为所述数据文件同步至公共访问平台的位置信息;
上传单元,用于根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置;
发送单元,用于将所述公共访问平台中存储的数据文件发送至大数据平台。
7.根据权利要求6所述的装置,其特征在于,所述上传单元包括:
查找模块,用于根据所述数据文件对应的同步位置信息查找所述公共访问平台中对应的数据存储位置;
上传模块,用于将所述数据文件上传至所述公共访问平台中对应的数据存储位置。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
命名单元,用于在所述上传单元根据所述数据文件对应的同步位置信息将所述数据文件上传至公共访问平台中对应的位置之前,按照预设规则对所述数据文件进行命名。
9.根据权利要求6-8中任一项所述的装置,其特征在于,所述发送单元包括:
导入模块,用于将所述公共访问平台中存储的所述数据文件导入所述大数据平台中用于创建表格的区域,所述区域的容量大于所述数据文件的容量;
创建模块,用于在所述区域创建临时表,通过所述临时表关联导入所述区域的数据文件;
插入模块,用于将所述临时表中的数据插入所述大数据平台中的正式表中,建立所述正式表与导入所述区域的数据文件间的关联关系。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
校验单元,用于对所述上传至所述大数据平台的所述数据文件进行数据完整性校验。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710078889.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:技术状态管理系统
- 下一篇:一种资源投放方法及装置





