[发明专利]一种基于访问热度的数据迁移部署方法

摘要

本发明公开了一种基于访问热度的数据迁移部署方法，本发明对于已迁移部署于分布式平台的列式数据集，根据其运行时用户访问日志信息，使用预测算法预测下一时段的访问量分布；根据预测得到的访问量分布计算出各个字段的访问次数排序；对预测访问次数最高的一列的字段的数据值的分布重新划分数据子区域，使得该字段的访问次数被均匀分配到新的数据子区域内；系统再根据访问次数最高的列重新划分的数据区域切分数据并在分布式平台上更新其数据部署。本发明结合用户对数据集的实际访问行为实现面向分布式平台的数据迁移部署，使得原始数据集访问热度最高列的访问热度被负载均衡到各个数据节点上，以实现数据集在分布式平台上的综合访问性能最佳。

主权项

1.一种基于访问热度的数据迁移部署方法，其特征在于，包括：S1在分布式平台中获取待迁移数据集的访问日志数据集，并指定待迁移数据集的切分段数及在分布式平台上的部署更新周期，设定n个在该数据集中最关注的访问字段；S2通过预测算法对下一时段的访问量分布进行预测，得到n个字段的总访问次数排序；S3根据得到的访问次数排序，通过基于日志的访问热度负载均衡数据切分算法，对访问次数最大的列重新划分数据区域；S4根据重新划分的数据区域对待迁移数据集进行切分，并根据切分结果更新数据集在分布式平台的部署。