[发明专利]在分布式存储系统中查询数据

说明书

公开了涉及在分布式存储系统中查询数据的示例。一个示例提供了在前端节点处的方法，包括接收关于存储在对象中的数据的查询，获取标识数据节点的信息，其中对象的块被存储在数据节点处，向第一数据节点发送关于第一块中的数据的查询，并且接收针对关于包括不完整记录的第一块中的数据的查询的结果。该方法还包括向第二数据节点发送关于包括不完整记录的第二块中的数据的查询，第二块被存储在与第一块不同的物理设备上，并且接收针对关于第二块中的数据的查询的结果。该方法还包括输出针对关于第一块中的数据和第二块中的数据的查询的结果。

背景技术

越来越多的数据被存储在网络可访问的分布式存储系统中，这种分布式存储系统可以被称为云存储装置。

发明内容

公开了涉及在分布式存储系统中查询数据的示例。一个示例提供了在前端节点处的方法，包括接收关于存储在对象中的数据的查询，获取标识数据节点的信息，其中对象的块被存储在数据节点处，向第一数据节点发送关于第一块中的数据的查询，并且接收针对关于包括不完整记录的第一块中的数据的查询的结果。该方法还包括向第二数据节点发送关于包括不完整记录的第二块中的数据的查询，第二块被存储在与第一块不同的物理设备上，并且接收针对关于第二块中的数据的查询的结果。该方法还包括输出针对关于第一块中的数据和第二块中的数据的查询的结果。

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在确定所要求保护的主题的关键特征或者必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开任何部分中指出的任何或者所有缺点的实现。

附图说明

图1示意性地描绘了示例分布式存储系统。

图2描绘了存储为分成多个块的二进制对象的记录的示例分布。

图3示出了图示查询存储在分布式存储系统中的二进制对象数据的示例方法的流程图。

图4示出了图示在分布式存储系统中的数据节点处执行查询的方法的流程图。

图5示出了示例计算系统的框图。

具体实施方式

云存储系统可以允许用户存储广泛的各种数据类型。作为二进制对象存储的某些类型的数据(诸如，二进制大对象，或者blob)可以包括以半结构化数据形式的记录，诸如，逗号分隔值(CSV)数据。云存储系统的用户可能希望对包含记录的二进制大对象数据运行查询，以标识感兴趣的记录。然而，高效地运行对这样的数据的查询可以造成挑战。例如，二进制大对象可以被存储为跨多个存储设备分布的许多分开的数据的块，这些存储设备可以位于不同的物理位置。进一步地，云存储系统可以将二进制大对象拆分为块，无需对齐记录或者字段边界，并且还可以不知道正在被存储的数据的类型以及如何将块边界与字段和记录正确对齐。

对这样的二进制大对象数据执行查询的一种可能的方法是将所有块传递到云存储系统中的公共位置(例如，前端节点)。另一种方法是响应于查询，将二进制大对象传递到客户端。然而，针对大型对象，这些方法可以消耗显著的网络带宽，并且在查询包括谓词的情况下，大部分带宽使用可以是不必要的。谓词可以指定规定满足谓词的数据的属性、特性或其他方面的数据应当被返回，而不满足谓词的数据不应当被返回。其中针对查询的执行，二进制大对象数据从各种数据存储节点被传递到前端节点，前端节点经由前端中的计算资源过滤数据，并且向客户端返回满足谓词的数据的相关部分，无需返回无关部分。因此，从数据节点传输到前端节点的无关部分利用了不必要的带宽。进一步的，前端节点或者客户端还可以利用计算资源以格式化来自接收的二进制大对象数据的数据(例如，通过解析数据以确定字段/记录之间的分界、通过构建表格等)，这可以进一步促成运行查询的低效率。