[发明专利]流数据转存处理方法、装置及服务器

说明书

本发明实施例提供一种流数据转存处理方法、装置及服务器，该方法包括：接收分布式消息系统实时发送的流数据；将流数据写入流数据所属的主题对应的分组集合中，分组集合部署在内存数据库中；分组集合中包括多个分组，每个分组具有一个分组号、且每个分组的最大可存储量相同；流数据存各个分组中时，一个分组号的分组存满后存入下一个分组号的分组；按照预设时间间隔，扫描流数据所属主题对应的分组集合中的待转存的分组；若待转存的分组已达到最大可存储量，则从内存数据库中读取待转存的分组中的流数据，并转存至关系型数据库中。既能减少对关系型数据库的访问，且不会因为暂时的故障，导致流数据转存失败，保证了系统的稳定运行。

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种流数据转存处理方法、装置及服务器。

背景技术

随着大数据的兴起，流计算成为了一种常用的计算模式。流计算通常包括实时数据计算，和批处理方式相比，具有低时延、擅长窗口计算等优点；但是同时也有对计算机程序性能要求高、不容易实现多个流数据的关联、重复执行代价较大等缺点。因此，为了同时利用批处理和流计算的优点，既要处理大容量的离线数据，同时也要快速处理实时数据，提出了Lambda和Kappa等流批合一框架。在流批合一框架中，需要将流计算的结果(即流数据)存储到数据库中。

当前，现有的流计算引擎中能够提供微批计算模型的Storm Trident和Flink。但是这两种方式都是通过将流数据切分成一个个微小的批次，然后被流计算引擎进行处理，微批处理后将流数据微批转存至关系型数据库中。但是这种微批模型对数据流进行微批转存的模式，在一定程度上降低了对目标关系型数据库的访问，但是仍需要流计算引擎直接与关系型数据建立连接。当网络故障或者流数据出现峰值时导致关系型数据转存写入故障，会使得流数据转存失败。

发明内容

本发明实施例提供一种流数据转存处理方法、装置及服务器，以克服现有技术中当网络故障或者流数据出现峰值时导致关系型数据转存写入故障，会使得流数据转存失败的问题。

第一方面，本发明实施例提供一种流数据转存处理方法，包括：

通过流计算引擎接收分布式消息系统实时发送的流数据；将所述流数据写入所述流数据所属的主题对应的分组集合中，其中所述分组集合部署在内存数据库中；所述分组集合中包括多个分组，每个分组具有一个分组号、且每个分组的最大可存储量相同；其中所述流数据存各个分组中时，一个分组号的分组存满后存入下一个分组号的分组；

通过转存程序按照预设时间间隔，扫描所述流数据所属主题对应的分组集合中的待转存的分组；若所述待转存的分组已达到所述最大可存储量，则从所述内存数据库中读取所述待转存的分组中的流数据，并转存至关系型数据库中。

在一种可能的设计中，所述将所述流数据存储在所述流数据所属的主题对应的分组集合中，包括：

从所述内存数据库获取一个序列号，所述序列号中包含所述流数据所属的主题信息；

根据所述序列号和所述流数据所属的主题信息对应的主题分组的最大可存储量，确定所述分组号；

根据所述分组号，将流数据存储至所述分组号对应的分组中，直至所述分组存满后，重新执行从所述内存数据库获取一个新的序列号的步骤，其中所述新的序列号是在所述序列号基础上自动递增更新的序列号。

在一种可能的设计中，所述通过转存程序按照预设时间间隔，获取所述流数据所属主题对应的分组集合中的待转存的分组；若所述待转存的分组已达到所述最大可存储量，则从所述内存数据库中读取所述待转存的分组中的流数据，并转存至关系型数据库中，包括：

按照预设时间间隔，访问所述流数据所属主题对应的分组集合中的分组号被标记为待转存的分组；

若所述待转存的分组的存储记录数以达到最大可存储量，则读取所述待转存的分组中的流数据，并转存至关系型数据库；