[发明专利]过滤数据存储上的查询数据

说明书

技术领域

本发明涉及过滤数据存储上的查询数据。

背景技术

在计算领域内，许多情形涉及要应用于一个或多个数据存储所存储的数据集的查询。例如，用户或数据驱动过程可通过从数据存储请求以查询语言(诸如结构化查询语言(SQL))指定的查询来请求数据的特定子集。数据存储可接收该查询，使用查询处理引擎来处理该查询(例如，软件流水线包括对该查询执行各种解析运算(诸如使该查询中的名称与数据库的命名对象相关联、以及标识各种运算符所指定的运算)的组件)，将经解析的查询所指定的运算应用于所存储数据，并且返回该查询已指定的查询结果。查询结果可包括该查询所指定的一组记录、这些记录的一组属性、以及从数据计算的结果(例如，匹配特定查询准则的记录的计数)。该结果还可包括相对于所存储数据采取的动作的报告，诸如创建或修改表格，或者插入、更新或删除表格中的记录。

在许多此类情形中，数据库可分布在若干且可能是大量的数据存储上。例如，在分布式数据库中，所存储数据的不同部分可存储在服务器场中的一个或多个数据存储中。当接收到要应用于数据集的查询时，接收该查询的机器可标识哪些数据存储可能包含该查询作为目标的数据，并且可将该查询发送到那些数据存储中的一个或多个。每一此类数据存储可将该查询应用于存储于其中的数据，并且可将查询结果发送回去。如果该查询被两个或更多个数据存储应用，则可组合查询结果以生成聚合的查询结果。在一些情形中，一个机器可协调将该查询分发给所涉及的数据存储且聚合查询结果的过程。诸如MapReduce(映射化简)框架之类的技术已被设计成以有效的方式实现此类分发和聚合。

此类数据存储所使用的数据引擎可能是相当复杂的，并且能够将许多复杂的计算过程应用于此类数据存储，诸如数据库事务、日志记录、执行所存储过程、以及接受和执行代理。查询语言本身可增加数据存储要处理的查询的复杂性，包括嵌套、串和其他数据类型的计算密集型相似性比较，以及对数据库的结构的修改。另外，数据存储的查询处理引擎所应用的逻辑过程能够以有效的方式回答复杂的查询，并且甚至可通过使用诸如查询优化之类的技术来改进该查询。作为这些以及其他过程的结果，数据存储对查询的评估可消耗大量的计算资源。

发明内容

提供本发明内容以便以简化的形式介绍在以下具体实施方式中进一步描述的一些概念。本发明内容既不旨在标识出所要求保护的主题的关键因素或必要特征，也不旨在用于限定所要求保护的主题的范围。

尽管使数据存储配备可能处理复杂事务的复杂查询处理引擎可能是有利的，但还可产生一些缺点。具体而言，将数据存储配置成对本地存储的数据执行复杂的查询可能是不利的或低效的。例如，数据存储恰好存储需求特别高的数据，但是查询处理引擎可被应用于所存储数据的复杂查询的应用加重负担(tax)，而其他查询(一些查询可能是很简单的)保持待决。因此，复杂的查询可产生减少查询评估的容量和吞吐量的瓶颈。

作为第二示例，其中数据存储还执行复杂查询的分布式数据库体系结构可损害一些安全性原则，因为还准许正在存储数据的机器对数据执行可能危险或恶意的操作。另外，查询处理引擎甚至可准许对所存储数据执行任意代码(例如，其中可执行模块接收自第三方且针对所存储数据执行的代理情形)。使存储数据(在第一组机器上)和对数据(分配到第二组机器)执行复杂计算(包括任意代码)分开的安全性原则可呈现若干安全性优点，诸如所存储数据之间的数据项分区和受损害的机器。

这些以及其他优点可因去除对来自数据存储(例如，被配置成存储分布式数据库的数据的服务器场的机器)的数据的复杂处理而产生。然而，将不具有处理能力的数据存储配置为例如纯粹用作数据存储设备的数据存储同样可能是不利的，其只能够提供所请求数据对象(例如，整个表格))、或对其进行指定更改。例如，另一机器可从数据存储请求仅数据子集，诸如来自表格的满足特定过滤准则的记录子集。然而，如果该请求只指定包含许多记录的表格中的少量记录，则发送整个表格可能是过度低效的，特别是在给定联网环境中机器和数据存储之间的带宽约束的情况下。