[发明专利]用于搜索数据库的方法和装置

说明书

本发明提供一种搜索数据库的方法和装置。该方法包括：基于搜索条件中设定的数据条目之间的连接条件，分组所述数据条目；以及基于所述数据条目的所述分组执行所述搜索。本发明可以有效地并且高效地解决对于现有的MapReduce查询处理系统而言共同的问题，从而特别适合于大集群系统中的大数据集分析。

技术领域

本发明的实施方式涉及数据库领域，更具体地，涉及一种用于搜索数据库的方法和装置。

背景技术

随着数据库技术的不断发展，对数据库的搜索/查询技术的要求也日益提升。在实践中，MapReduce(映射-合并)框架已经被广泛作为对在大集群系统中的大数据分析的有效方法。MapReduce应用开发要求开发人员将应用程序逻辑编码为由MapReduce公开的简单接口(即map和reduce函数)。尽管这样的map和reduce接口提供了极高的编程灵活性，但它们非常难以实现、优化和维护，尤其是对于在实际生产中涉及到的复杂和非无关紧要的数据分析作业而言。从关系数据库技术(即，SQL)的成功可以明显看出，如果数据处理程序以如下声明式查询语言(declarative query language)进行编写，则程序开发和优化将非常高效和有效，前述声明式查询语言隐藏了实现细节并且可以进行修改以加以优化。在这种情况下，用户可以直接编写声明性查询，该查询继而将被转换成待由MapReduce平台(例如，Hadoop)执行的MapReduce程序(作业)序列。

近来，已经提出了若干声明式语言并且集成到了基于MapReduce的系统，诸如PigLatin/Pig，HiveQL/Hive。在这些系统中，用户直接编写声明式查询，其随后被转换成待由MapReduce平台(例如Hadoop)执行的MapReduce程序(作业)序列。这些语言极大地改进了MapReduce应用开发人员的生产率。然而，它们的效果和影响受到两个主要问题的限制。一方面，到目前为止在查询转换过程期间，仅已经开发出一些非常专门化的优化技术。因而，实践中，观察到针对许多查询而自动转换的MapReduce程序与由有经验的程序员编写的手工优化的程序相比总是极度低效。例如，现有的语言转换器采用本地化的一个操作-一个作业方法，其简单地用预备好的MapReduce程序来代替查询图中的每个操作。另一方面，现有的MapReduce语言提供用于操作数据集合体的有限的句法，主要以公知的关系连接(join)和GROUP BY的形式。这样，这些语言允许用户能够将定制的MapReduce脚本插入到他们的查询语言中。这实际上削弱了使用声明式语言的益处并且可能引起次优的、易出错的并且难以维护的代码。

发明内容

为了解决现有技术中存在的上述问题，本说明书提出如下方案。

根据本发明的一个方面，提出一种搜索数据库的方法，包括：基于搜索条件中设定的数据条目之间的连接条件，分组所述数据条目；以及基于所述数据条目的所述分组执行所述搜索。

在本发明的可选实现中，所述基于搜索条件中设定的数据条目之间的连接条件，分组所述数据条目进一步包括通过以下中的至少一种来变换所述搜索条件的步骤：从所述搜索条件中去除模式、重写规则以及去除嵌套。

在本发明的可选实现中，所述分组还基于所述搜索条件中设定的所述数据条目的值之间的依赖关系进行。

在本发明的可选实现中，所述搜索条件包括SQL查询语句。

在本发明的可选实现中，所述数据库中的数据项的类型包括以下中的一个：记录类型<A1:t1，...，An:tn>、序列类型[t]、集合类型{t}、以及映射类型{(t1，t2)}；其中，n是自然数，t1，...，tn是递归定义类型，A1，...，An是组件名，并且映射类型{(t1，t2)}将类型t1的关键字绑定到类型t2。

在本发明的可选实现中，所述SQL查询语句包括如下形式：

SELECT[DISTINCT]e_s