[发明专利]一种海量流数据的存储和读取的方法和系统

说明书

本发明提供了一种海量流数据的存储方法，包括：接收来自客户端的流数据；将所述流数据以行式格式存储到分布式段式存储系统，形成行式流数据；将所述流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据；所述行式流数据存储完成后向客户端返回确认消息。

技术领域

本发明属于数据处理领域，尤其涉及一种海量流数据的存储和读取的方法和系统。

背景技术

本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。

流数据是指顺序、大量、快速、连续到达的数据序列，一般情况下，可被视为一个随时间延续而无限增长的动态数据集合。随着互联网、移动互联网、云计算和物联网等技术的广泛普及和迅猛发展，产生于网络监控、传感器网络、航空航天、气象测控和金融服务等领域的流数据呈爆炸式增长。这种增长速度极快、容量不停增大、没有止境的流数据也称为海量流数据。不断增加的数据需要不断扩张的存储空间，而存储容量的大小往往和存储性能呈反比。此外，与静态数据相比，流数据具有实时到达、到达次序独立且速率变化快、数据规模大、一经处理(除非特意存储)很难被再次处理等特点。因此，与流数据相关的应用对数据处理的时效性和吞吐量要求更高。

现有的数据存储系统往往侧重于性能的某一方面。例如，Hadoop分布式文件系统(HDFS，Hadoop Distribute File System)通过将数据组织为大粒度的数据块，减少了客户端和主控节点(Master)的通信，向用户提供高吞吐量的数据访问，但是HDFS高带宽的优势是以一定的延迟为代价的，当访问请求增多时，单主控节点的框架结构严重限制了HDFS的处理速度。再如，消息存储系统Kafka通过使用较小的粒度传输数据，确保了数据写入的低延迟，然而Kafka的传输粒度不适用于海量数据的存储。列存储格式Apache ORC和Parquet基于其列存储结构获得更高的压缩比和查询性能，但是列存储结构集中式的元数据管理方案将其局限于有边界数据，不适合源源不断的流数据。

因此，为了满足海量流数据的高效率存储和读写的需求，至少解决上述问题之一，本发明提出了一种海量流数据的存储和读取的方法和系统。

发明内容

本发明的一个方面涉及一种海量流数据的存储方法，包括：接收来自客户端的流数据；将所述流数据以行式格式存储到分布式段式存储系统，形成行式流数据；将所述流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据；所述行式流数据存储完成后向客户端返回确认消息。

可选的，其中，所述将所述流数据以列式格式异步地存储到分布式段式存储系统，包括：在将所述流数据以行式格式存储到存储系统的同时，将所述流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据。

可选的，其中，所述将所述流数据以列式格式异步地存储到分布式段式存储系统，包括：先将所述流数据以行式格式存储到分布式段式存储系统，形成行式流数据；从所述分布式段式存储系统中读取所述行式流数据，将所述行式流数据以列式格式异步地存储到分布式段式存储系统，形成列式流数据。

可选的，其中，所述将所述流数据以列式格式异步地存储到分布式段式存储系统，包括：提取所述流数据的数据模式；根据所述数据模式将所述流数据按列进行组织；为所述按列组织的流数据中的每一列簇分别开辟一个缓冲区；将所述按列组织的流数据按照列簇分别添加至与所述列簇对应的缓冲区的末尾空位；当所述缓冲区已满时，将所述缓冲区内的流数据写入所述分布式段式存储系统，不同列簇的流数据存储在不同的段中。

可选的，还包括：为所述流数据中每个事件设定一个ID；记录所述缓冲区内每个事件的位置信息；当所述缓冲区已满时，将所述缓冲区内所有事件的ID及对应的位置信息附于所述缓冲区头部；将所述缓冲区内所有事件的ID及位置信息连同所述缓冲区内的所有流数据一起写入所述分布式段式存储系统的数据单元内，所述缓冲区内所有事件的ID及位置信息位于所述数据单元的头部。