[发明专利]基于数据模式转换和并行框架的关系数据查询优化方法

摘要

本发明提供一种基于数据模式转换和并行框架的关系数据查询优化方法，涉及计算机数据库技术领域。该方法通过对关系模型数据上复杂查询语句进行结构分析，构建新的数据存储结构，实现在数据存储上的转换处理，将关系模型数据库中存储的数据转存到新的数据模式存储系统中，针对数据模式的变化进行相应查询语句的转换，基于SPARK SQL查询生成SPARK任务并执行该任务。本发明提供的关系数据查询优化方法能够将关系数据库中的数据针对查询的特征准确地转换到SPARK并行查询处理框架之上，从而有效提高对关系数据库上部分频繁执行的复杂查询的处理效率。

主权项

一种基于数据模式转换和并行框架的关系数据查询优化方法，其特征在于：包括以下步骤：步骤1：对关系模型数据上复杂查询语句进行结构分析；首先对执行性能较低的关系数据库上的结构化查询语句，即SQL查询语句，转化为SQL语法解析树结构，以进行下一步分析，找出关系数据库上的SQL查询语句中能够通过转换为新的数据模式存储数据和并行查询方式进行优化以提高查询效率的查询语句结构，以用于在下一个步骤中生成数据的键值模型存储结构；要找出的能进行优化的查询语句结构包括基于关系表关键字作为连接属性的多表连接查询结构、能聚合文本属性值的嵌套查询结构、能并行执行的嵌套查询结构和查询谓词中包含的编码属性匹配查询；步骤2：构建新的数据存储结构；基于对数据模式上的SQL查询语句的分析，结合查询所涉及关系表的关系模式结构，进一步构建新的数据模式存储结构，以实现通过新的数据模式的数据存储提高查询执行效率，新的数据模式为关系模型或键值模型；步骤3：基于步骤2中所生成的新的数据模式存储结构，实现在数据存储上的转换处理，将关系模型数据库中存储的数据转存到新的数据模式存储系统中；步骤4：进行查询语句的转换，由于SPARK SQL能够直接支持SQL查询语句，因此查询语句的转换仅针对数据模式的变化做出相应修改；步骤5：基于SPARK SQL查询生成SPARK任务并执行该任务，SPARK SQL查询任务的生成基于查询语句转换的结果进行，基于步骤4的转换结果进行判断，如果没有生成不相关子查询的独立任务，则整体执行转换后的查询语句，直接将转换后的查询语句作为查询任务提交给SPARK SQL引擎执行查询操作，执行后结果数据以SchemaRDD形式返回，如果生成了不相关子查询的独立任务，则基于SPARK SQL查询的构建并执行查询处理任务。