[发明专利]一种基于动态规划的分布式数据库系统协同优化方法

摘要

本发明公开了一种基于动态规划的分布式数据库系统协同优化方法。该方法包括以下步骤：采用数据流分块方法将分布式数据全集划分为若干不可再分的数据基元；并发处理任务的优化；分布式资源的负载平衡优化；计划任务的动态调度方法。本发明具有降维式搜索策略，在分布式大数据的多任务随发性处理过程中，保证了任务执行计划的全程最优化，具有效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。

主权项

1.一种基于动态规划的分布式数据库系统协同优化方法，其特征在于，该方法包括以下步骤：

A.采用基于数据流分块方法，将分布式数据全集按照计划任务序列对数据单元的并更操作这一不可区分关系分块为一系列不可再分的数据基元；

B.并发处理任务的优化；

C.分布式资源的负载平衡优化，并计算出计划任务代价；

D.计划任务的动态调度方法。

2.如权利要求1所述的基于动态规划的分布式数据库系统协同优化方法，其特征在于，所述步骤A的具体实现方式为：

采用四元信息系统描述法，将分布式数据系统表示为INS＝(U,Fh,Vra,f)，其中INS表示目标分布式数据系统；U表示数据系统中所有个体的全集，是非空有限集；Fh表示个体的特征，是非空有限集；Vra表示特征Fh的值域；f为系统映射函数满足{f:U×Fh→V_ra}；因此，对任一特征Fh_i∈Fh，数据集U_i∈U，有如下算式：

其中，表示特征Fh_i的值集；

记分布式数据系统的数据集合InD＝{d₁,d₂…d_n}，d_i表示数据集中的一个数据单元，其中i∈[1,n]；计划任务序列MS＝{MS₁,MS₂…MS_q}，MS_j表示分布式数据系统中的一个并发操作任务，其中j∈[1,q]；则可得数据操作矩阵OPr：

将数据操作矩阵OPr映射到分布式数据系统INS＝(U,Fh,Vra,f)上，令U＝InD＝{d₁,d₂…d_n}，Fh＝MS＝{MS₁,MS₂…MS_q}，Vra＝OPr为特征Fh的值域，即Vra＝∪_{1≤i≤n，1≤j≤q}OPr_ij；系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的d_i有变更操作的函数输出为A,无变更操作的输出为N；

对于INS数据系统中任意一个个体的特征子集则可以在U×U空间上定义一个不可区分的关系R(fh)＝{(u,u′)∈U×U：有f(u,fh)＝f(u′,fh)}，在U上按不可区分关系R(fh)可得数据分块U/R(fh)记为[u]_fh,定义为本方法的数据基元,即不可再分块的数据最小单元。

3.如权利要求2所述的基于动态规划的分布式数据库系统协同优化方法，其特征在于，所述步骤B的具体实现方式为：

记β和γ表示分布式数据系统中任意两个逻辑表达式，则C(β∧γ)和C(β∨γ)可表示数据系统中的两个数据基元，其维度分别为|C(β∧γ)|和|C(βVγ)|；记两并发任务的相似度为S：

设定两个并发任务可看做相似任务的充要条件是：S＞0.5，若两任务为相似任务，可以降维合并，记为MS_ij＝MS_i∨MS_j，即

4.如权利要求3所述的基于动态规划的分布式数据库系统协同优化方法，其特征在于，所述步骤C的具体实现方式为：

分布式资源的负载平衡算法为：记任务TS在一个分布式系统下的资源向量为MS_Resvector(TS)，cpu向量MS_CpuVector(TS)，任务存储向量MS_DisVector(TS)，带宽资源向量MS_NetVector(TS)，内存资源向量MS_MemVector(TS)，则有：

其中，CPU_i(TS)表示任务TS对各点CPU资源的占用；Disk_i(TS)表示对各点存储资源的占用；Net_i(TS)表示对各站点带宽资源的占用；Mem_i(TS)表示对各点内存资源的占用；

利用均方根计算各种资源的优化因子，其中分布式CPU资源的优化因子为：

同理可得其他分布式资源的优化因子：则任务TS的代价为：

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中润普达（十堰）大数据中心有限公司，未经中润普达（十堰）大数据中心有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201810072349.4/，转载请声明来源钻瓜专利网。