[发明专利]一种基于超图划分的分布式数据库及其集群分区方法

摘要

本发明公开了一种基于超图划分的分布式数据库及其集群分区方法，涉及大数据环境下的数据库的数据放置技术，包括：数据统计模块、历史数据分析模块和数据迁移模块，其中事务访问集存储在原始的文本和日志文件数据中，算法模块集存储平台集成算法模块的数学建模和算法求解；数据分析模块由两个过程组成，日志读取解析过程和数据建模与算法求解过程。数据分析模块中的日志读取解析过程用于管理用户日志上传、预处理和格式转换，生成解析后的事务日志；调度模块有序调度建模、算法、数据迁移，并分析计算结果重新分区。本发明实现了市场需求和日志分析、算法模块的结合，可高效地调整平台的数据放置和分区；提高了数据库的可扩展性、可维护性。

主权项

1.一种基于超图划分的分布式数据库，其特征在于，包括平台基础层和算法建模层，所述平台基础层包括数据统计模块、历史数据分析模块和数据迁移模块，其中：所述数据统计模块被配置为在数据库运行一段时间后，通过网络连接接收数据库集群的日志统计数据，并进行建模、预处理、噪声去除；所述历史数据分析模块被配置为将所述数据统计模块统计的数据建模，形成了一个集群间的超图模型，将分区的问题抽象成一个图，再通过贪心算法分析出重分区方案和迁移计划，其中，所述超图模型的点是分区，边是每一条事务，边的权值是事务访问的频率；所述数据迁移模块被配置为以历史数据分析模块生成的迁移计划和数据统计模块解析的日志统计数据作为输入，在数据库集群各个机器之间迁移数据；所述算法建模层包括超图最小割模块、复杂网络社团发现模块和日志统计模块，其中：超图最小割模块被配置为对超图进行建模和重分区；复杂网络社团发现模块被配置为通过发现日志统计数据的内在关系的社团属性，并将相同社团属性的日志统计数据放入相应的机器中；日志统计模块被配置为通过对输入日志对象中不同维度的统计，产生日志统计数据。