[发明专利]流数据转存处理方法、装置及服务器

权利要求书

1.一种流数据转存处理方法，其特征在于，包括：

通过流计算引擎接收分布式消息系统实时发送的流数据；将所述流数据写入所述流数据所属的主题对应的分组集合中，其中所述分组集合部署在内存数据库中；所述分组集合中包括多个分组，每个分组具有一个分组号、且每个分组的最大可存储量相同；其中所述流数据存各个分组中时，一个分组号的分组存满后存入下一个分组号的分组；

通过转存程序按照预设时间间隔，扫描所述流数据所属主题对应的分组集合中的待转存的分组；若所述待转存的分组已达到所述最大可存储量，则从所述内存数据库中读取所述待转存的分组中的流数据，并转存至关系型数据库中。

2.根据权利要求1所述的方法，其特征在于，所述将所述流数据存储在所述流数据所属的主题对应的分组集合中，包括：

从所述内存数据库获取一个序列号，所述序列号中包含所述流数据所属的主题信息；

根据所述序列号和所述流数据所属的主题信息对应的主题分组的最大可存储量，确定所述分组号；

根据所述分组号，将流数据存储至所述分组号对应的分组中，直至所述分组存满后，重新执行从所述内存数据库获取一个新的序列号的步骤，其中所述新的序列号是在所述序列号基础上自动递增更新的序列号。

3.根据权利要求1所述的方法，其特征在于，所述通过转存程序按照预设时间间隔，获取所述流数据所属主题对应的分组集合中的待转存的分组；若所述待转存的分组已达到所述最大可存储量，则从所述内存数据库中读取所述待转存的分组中的流数据，并转存至关系型数据库中，包括：

按照预设时间间隔，访问所述流数据所属主题对应的分组集合中的分组号被标记为待转存的分组；

若所述待转存的分组的存储记录数以达到最大可存储量，则读取所述待转存的分组中的流数据，并转存至关系型数据库；

将所述待转存的分组的分组号递增为下一个分组的分组号，并将下一个分组的分组号标记为待转存分组的分组，并重复执行确定所述流数据所属主题对应的分组集合中的分组号被标记为待转存分组的分组，为所述待转存的分组的步骤。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述转存程序部署在集群中，所述方法还包括：

从所述内存数据库中获取所述待转存的分组所属主题的分布式锁；

若所述分布式锁获取成功，则从所述内存数据库获取当前日期的待转存的分组；

判断所述待转存的分组的分组号是否为空；

若为空，则获取所述当前日期的第一个分组的记录数；

若所述分组的记录数大于0，则获取当前日期的前一日期的待转存的分组；

若所述当前日期的前一日期的待转存的分组的记录数不为0，则将当前日期的前一日期的待转存的分组的流数据转存至关系型数据库；

删除内存数据库中当前日期的前一日期的所有待转存的分组的流数据；

将从内存数据库中获取的当前日期的待转存的分组的分组号设置为0；

删除所述获取的所述待转存的分组所属主题的分布式锁。

5.根据权利要求4所述的方法，其特征在于，所述判断所述待转存的分组的分组号是否为空之后，所述方法还包括：

若不为空，则记录待转存的分组的分组号为初始分组号；

从所述内存数据库中获取所述初始分组号对应的分组的记录数；

判断记录数是否达到最大可存储量；

若达到，则将对应的待转存的分组转存至关系型数据库；并从所述内存数据库中删除所述待转存的分组的流数据，并将所述初始分组号递增1，并重复执行从所述内存数据库中获取所述初始分组号对应的分组的记录数的步骤，直至确定待转存的分组的的记录数小于最大可存储量。