[发明专利]一种基于学习的索引推荐与评估方法

说明书

本发明公开了一种基于学习的索引推荐与评估方法，包括专家经验驱动的索引推荐和基于抽样的索引评估。专家经验驱动的索引推荐从历史数据中技术人员对各类SQL查询和其相关的数据表上真实建立索引的情况中提取预先定义的特征，训练机器学习的分类模型，以此对给定的SQL查询和数据库统计信息，进行索引推荐。基于抽样的索引评估对给定的SQL查询和其推荐索引配置，从源数据库中利用抽样方法抽取一定数量的数据生成测试数据库，在测试数据库上从多个维度评估推荐索引的效果，给出最终的推荐结果。本发明从两个维度进行了索引推荐工作，即通过学习的方法高效给出了推荐索引配置，并通过评估的方法提高了最终推荐索引结果的置信度。

技术领域

本发明属于数据库技术领域，尤其涉及一种基于学习的索引推荐与评估方法。

背景技术

在不改变表的模式或应用代码的前提下，合理的索引是影响数据库能否进行高效查询和更新的关键因素之一。在有索引的情况下，结构化查询语言(SQL)可以通过扫描索引树的方式检索数据，降低查询时间和系统资源消耗。在复杂且动态演化中的业务系统，由于数据库查询优化器无法考虑到所有可能的执行计划，使用某些不得当的索引甚至会减慢查询的速度。专业数据库管理员在创建索引时需要考虑索引建立前后对表上所有查询的影响，但即使是他们在面对一些特定场景问题时，也需要耗费一定分析时间，专业数据库管理员一直是行业稀缺人才，随着数据库规模不断扩张，传统基于人力驱动的优化方式已无法满足现在大规模的慢查询优化。

为了自动化这一过程，传统基于启发式规则和查询优化器的方法将查询代价和索引存储代价作为优化目标进行索引自动推荐。它将工作负载作为系统输入，对每条查询分析其SQL中可做索引的属性列，构建候选索引空间，利用贪心算法和剪枝策略对候选空间进行迭代，选出使查询代价最小的索引集。利用what-if工具假设索引实际存在，避免了迭代过程中若直接创建大量索引导致的巨大开销。然后将所有单条查询的推荐索引集合进行适当的合并，作为整个负载的候选索引空间。最后，再次利用贪心算法从负载候选索引空间中选出整个负载的最优索引集合。它存在以下几个方面的局限性：一是它需要在大的搜索空间中计算出更好的索引配置，有许多候选索引和查询计划需要评估，因此会导致巨大的计算消耗。对索引候选进行剪枝可以减少搜索空间，但也带来了丢失有用索引的风险；二是工作负载中有多种物理运算符类型、多表连接和复杂的子查询。查询优化器对查询代价可能做出不准确的估计，直接添加推荐索引可能会导致性能回归，在生产环境非常危险。

发明内容

为了克服现有索引推荐方法计算资源消耗大、推荐结果置信度低的问题，本发明的目的是提供一种基于学习的索引推荐与评估方法，利用机器学习获取历史数据中业务人员增删索引的专家经验从而推荐索引，并通过抽样方法对推荐索引进行效果评估，实现了高效和准确的索引推荐。

实现本发明目的的具体技术方案是：

一种基于学习的索引推荐与评估方法，特点是该方法包括专家经验驱动的索引推荐和基于抽样的索引评估；所述专家经验驱动的索引推荐实现基于历史数据中索引建立经验进行索引推荐；所述基于抽样的索引评估实现在抽样数据库上进行索引评估给出置信度高的推荐结果；具体步骤如下：

步骤1：专家经验驱动的索引推荐

A1：根据用户输入的数据库连接信息抽取对应数据库的表信息、索引信息并保存；所述表信息为表名、列名、Cardinality及表行数；所述索引信息为索引对应的列名；

A2：根据用户提供的结构化查询语言即SQL语句来调用SQL解析程序获取SQL信息，SQL信息包括抽取单列信息及多列间关系信息；

A3：将步骤A1中的表信息和步骤A2中的单列信息进行提取并拼接，作为单列特征，将步骤A1中的索引信息作为单列特征的标签，然后训练单列索引模型；具体包括：

A31：提取列的数据类型；

A32：提取列在SQL中出现位置；