[发明专利]一种海量流数据的存储和读取的方法和系统

权利要求书

1.一种海量流数据的存储方法，包括：

接收来自客户端的流数据；

将所述流数据以行式格式存储到分布式段式存储系统，形成行式流数据；

将所述流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据；

所述行式流数据存储完成后向客户端返回确认消息。

2.根据权利要求1所述的方法，其中，所述将所述流数据以列式格式异步地存储到分布式段式存储系统，包括：

在将所述流数据以行式格式存储到存储系统的同时，将所述流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据。

3.根据权利要求1所述的方法，其中，所述将所述流数据以列式格式异步地存储到分布式段式存储系统，包括：

先将所述流数据以行式格式存储到分布式段式存储系统，形成行式流数据；

从所述分布式段式存储系统中读取所述行式流数据，将所述行式流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据。

4.根据权利要求1所述的方法，其中，所述将所述流数据以列式格式异步地存储到分布式段式存储系统，包括：

提取所述流数据的数据模式；

根据所述数据模式将所述流数据按列进行组织；

为所述按列组织的流数据中的每一列簇分别开辟一个缓冲区；

将所述按列组织的流数据按照列簇分别添加至与所述列簇对应的缓冲区的末尾空位；

当所述缓冲区已满时，将所述缓冲区内的流数据写入所述分布式段式存储系统，不同列簇的流数据存储在不同的段中。

5.根据权利要求4所述的方法，还包括：

为所述流数据中每个事件设定一个ID；

记录所述缓冲区内每个事件的位置信息；

当所述缓冲区已满时，将所述缓冲区内所有事件的ID及对应的位置信息附于所述缓冲区头部；

将所述缓冲区内所有事件的ID及位置信息连同所述缓冲区内的所有流数据一起写入所述分布式段式存储系统的数据单元内，所述缓冲区内所有事件的ID及位置信息位于所述数据单元的头部。

6.根据权利要求1所述的方法，还包括：

将所述列式流数据的元数据存储到分布式键值存储系统，所述元数据包括流和段两个级别，其中，

所述流级别的元数据包括：构成所述列式流数据的列簇的信息、存储所述列簇的段的信息；

所述段级别的元数据包括：所述段内起止事件的位置信息、事件数目、最大值和最小值以及其他相关信息。

7.根据权利要求1所述的方法，还包括：

将所述流数据以列式格式异步地存储到分布式段式存储系统后，若在预定的时间阈值内未接收到读取所述行式流数据的请求时，将所述行式流数据从所述分布式段式存储系统中删除。

8.一种基于权利要求6所述的存储方法进行的海量流数据的读取方法，包括：

接收客户端读取数据的请求；

根据所述读取数据的请求在所述分布式键值存储系统中的查询所述数据的元数据；

根据所述元数据从所述分布式段式存储系统中读取所述数据并返回客户端。

9.根据权利要求8所述的读取方法，还包括：

根据所述数据的元数据确定所述数据的起始位置信息；

提前读取所述数据起始位置后的数据并置入数据缓存区；

从所述数据缓存区内读取所述数据。

10.一种用于海量流数据的存储系统，包括服务器和存储设备，能够用于实现权利要求1-9中任一所述的方法。