[发明专利]用于查询时间序列数据的可扩展数据库系统

说明书

数据库系统将数据存储为表示分区数据库表的超表。每个超表包括可以跨多个位置分布的数据块，每个位置至少包括存储设备。数据库系统提供允许对超表和标准表的无缝数据库查询的接口。当记录被添加到超表时，数据库系统动态创建块。如果通过添加新位置或移除现有位置来改变数据库系统的存储配置，则数据库系统限定新的分区策略。在存储配置改变之前被添加到超表的记录继续存储为根据先前的分区策略分布的块。

本申请是申请日为2018年2月27日、申请号为“201880014274.2”、发明名称为“用于查询时间序列数据的可扩展数据库系统”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2017年2月27日提交的美国临时申请第62/464,289 号的权益，其全部内容通过引用并入。

背景技术

本公开内容一般涉及在数据库系统中有效地存储和处理数据，并且特别涉及存储和处理在分区数据库系统中的时间序列数据。

在以下若干环境中生成和处理时间序列数据：监视和开发者操作 (DevOps)、传感器数据和物联网(IoT)、计算机和硬件监视、健身和健康监视、环境和农业数据、制造和工业控制系统数据、财务数据、物流数据、应用使用数据等。通常，该数据的量很大，例如，单个数据源可以生成高速率的数据，或者许多不同的源可以贡献数据。此外，该数据本质上是复杂的，例如，源可以提供与单个时间相关联的多个测量和标签。由于数据被不断收集，该存储数据的量通常随着时间的推移而增加。分析系统通常查询该数据以分析与数据相关联的实体的过去、现在和未来的行为。可以出于各种原因执行该分析，包括检查历史趋势、监视当前性能、识别当前问题的根本原因以及预期未来问题以例如用于预测性维护。因此，操作者不倾向于删除该潜在有价值的数据。

常规系统不能支持跨越工业的这些应用中的许多应用的典型的高写入速率。例如，在包括工业、农业、消费者、城市或设施的物联网(IoT) 设置中，高写入速率是由耦接有每个设备的适度至高写入速率的大量设备引起。在物流设置中，计划数据和实际数据两者包括可以与每个被跟踪对象相关联的时间序列。监视应用(例如在开发和操作中)可以每系统部件跟踪许多度量。许多形式的金融应用(例如基于股票或期权市场行情数据的金融应用)也依赖于时间序列数据。全部这些应用需要可以扩展到高摄取速率的数据库。

此外，除了简单地跨特定时间段获取或聚合单个度量之外，这些应用经常以复杂和任意的方式查询其数据。这样的查询模式可以涉及丰富的谓词(例如，WHERE子句中的复杂连接)、聚合、统计函数、窗口化操作、针对关系数据的连接(JION)、子查询、公共表表达式(CTE)等。然而，这些查询需要有效执行。

因此，存储时间序列数据需要有规模且有效的复杂查询。传统技术不能在单个系统中实现这两种特性。用户通常在“NoSQL”数据库的水平扩展性与关系数据库管理系统(RDBMS)的查询能力之间进行权衡。时间序列数据的现有解决方案要求用户在可扩展性或丰富查询支持之间进行选择。

支持诸如SQL(结构化查询语言)的数据库查询语言的传统关系数据库系统难以处理高摄取速率：它们对大型表的写入性能较差，并且由于数据量随时间线性增长，该问题随着时间的推移变得更恶劣。此外，任何数据删除都需要昂贵的“清理(vacuuming)”操作以对与这样的表相关联的磁盘存储进行碎片整理。此外，仍然缺乏用于跨许多服务器向外扩展RDBMS的开箱即用(out-of-the-box)开源解决方案。

现有的NoSQL数据库通常是键值或面向列的数据库。然而，这些数据库通常缺少丰富查询语言或二级索引支持，并且在复杂查询上遭受高时延。此外，这些数据库通常缺乏在多个表之间连接数据的能力，并且缺乏更广泛使用的传统RDBMS系统的可靠性、工具(tooling)和生态系统。

分布式块或文件系统避免了预定义数据模型或模式的需要，并且通过添加更多服务器来容易地扩展。然而，它们为其在查询时间使用简单存储模型付出代价，缺少快速和资源有效查询所需的高度结构化索引。