[发明专利]基于数据仓库的文件移动方法、设备和存储介质在审
申请号: | 202011036803.4 | 申请日: | 2020-09-28 |
公开(公告)号: | CN112115115A | 公开(公告)日: | 2020-12-22 |
发明(设计)人: | 何鑫;王斌;吕电福 | 申请(专利权)人: | 企查查科技有限公司 |
主分类号: | G06F16/185 | 分类号: | G06F16/185;G06F16/215;G06F16/28 |
代理公司: | 苏州威世朋知识产权代理事务所(普通合伙) 32235 | 代理人: | 董燕 |
地址: | 215000 江苏省苏州市*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 数据仓库 文件 移动 方法 设备 存储 介质 | ||
本发明揭示了一种基于数据仓库的文件移动方法、设备和存储介质,所述方法包括:获取待筛选的数据信息,将所述数据信息发送给可执行文件;所述可执行文件根据预设的数据移动规则,对所述数据信息进行遍历,得到待移动的数据信息;所述可执行文件根据将所述待移动的数据信息从热存储区域移动到冷存储区域,并修改所述待移动的数据信息在数据仓库中的映射路径指向冷存储区域。与现有技术相比,本发明的基于数据仓库的文件移动方法,通过将第三方存储作为热存储区域,将普通的自建存储系统作为冷存储区域,然后及时、自动的将冷热数据存储到对应区域,从而既降低存储成本,又能够满足企业对日常业务进行分析使用时的存储性能。
技术领域
本发明属于计算机技术领域,具体涉及一种基于数据仓库的文件移动方法、设备和存储介质。
背景技术
现有企业数据仓库的存储采用第三方提供的Isilon存储系统。Isilon存储系统具有速度快、性能好、安全性高等优点,但是缺点是价格偏高。随着企业业务的快速扩张,需要存储的数据总量成指数级别增长,此时使用第三方提供的Isilon存储系统,成本较高。但是,若使用价格较低但是性能偏低的存储系统,其存储性能不能满足企业对日常业务进行分析使用时的要求。
在这种情况下,如何既降低存储成本,又能够满足企业对日常业务进行分析使用时的存储性能,是亟待解决的一个问题。
发明内容
本发明的目的在于提供一种基于数据仓库的文件移动方法、设备和存储介质。
为实现上述发明目的之一,本发明一实施方式提供一种基于数据仓库的文件移动方法,所述方法包括:
获取待筛选的数据信息,将所述数据信息发送给可执行文件;
所述可执行文件根据预设的数据移动规则,对所述数据信息进行遍历,得到待移动的数据信息;
所述可执行文件根据所述待移动的数据信息,从数据仓库中得到所述待移动的数据信息指向热存储区域的映射路径,将所述待移动的数据信息从热存储区域移动到冷存储区域,并修改所述待移动的数据信息在数据仓库中的映射路径指向冷存储区域。
作为本发明一实施方式的进一步改进,所述“所述可执行文件根据所述待移动的数据信息,从数据仓库中得到所述待移动的数据信息指向热存储区域的映射路径,将所述待移动的数据信息从热存储区域移动到冷存储区域,并修改所述待移动的数据信息在数据仓库中的映射路径指向冷存储区域”包括:
所述可执行文件根据所述待移动的数据信息,从数据仓库中得到所述待移动数据信息指向热存储区域的映射路径;
根据所述待移动的数据信息,在冷存储区域根据预设的路径生成规则生成对应的存储路径;
将所述待移动的数据信息从热存储区域复制到冷存储区域对应的存储路径下;
修改所述待移动的数据信息在数据仓库中的映射路径,所述映射路径指向冷存储区域对应的存储路径;
删除所述热存储区域中存储的所述待移动的数据信息。
作为本发明一实施方式的进一步改进,所述预设的路径生成规则是根据存储区域类型、日期和业务类型来生成路径。
作为本发明一实施方式的进一步改进,所述预设的数据移动规则,包括基于业务优先级进行移动、基于创建/访问时间进行移动、基于数据分层进行移动,其中,所述预设的数据移动规则的优先级从高到低依次为基于业务优先级进行移动、基于创建/访问时间进行移动、基于数据分层进行移动。
作为本发明一实施方式的进一步改进,所述基于业务优先级进行移动,是指企业重要维度的数据信息存储在热存储区域;
所述基于创建/访问时间进行移动,是指将第一预定时段前创建的数据信息或第二预定时间段内没有被访问的数据信息,移动到冷数据存储区域;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于企查查科技有限公司,未经企查查科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011036803.4/2.html,转载请声明来源钻瓜专利网。