[发明专利]实现大数据快速存储的方法、装置以及存储系统

权利要求书

1.一种实现大数据快速存储的方法，将接收到的数据存储到数据库中，其特征在于，包括：

步骤1：通过一个统一的数据入库接口接收多种数据类型的待入库数据；

步骤2：将接收到的所述待入库数据暂存至消息队列；

步骤3：通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内。

2.根据权利要求1所述的实现大数据快速存储的方法，其特征在于，所述步骤1具体包括：

通过统一的Json格式传递所述待入库数据，传递的类型参数值与所述待入库数据的数据类型相对应。

3.根据权利要求2所述的实现大数据快速存储的方法，其特征在于，所述类型参数值用于在后续操作中对所述待入库数据进行区分。

4.根据权利要求3所述的实现大数据快速存储的方法，其特征在于，所述步骤2具体包括：

根据优先级属性将需要优先处理的数据放到单独的队列内，对于同一优先级的数据放入同一消息队列内；其中，所述消息队列为多级队列，暂存数据的过程中不做数据类型的区分。

5.根据权利要求4所述的实现大数据快速存储的方法，其特征在于，所述步骤3具体包括：

所述轮询服务根据所述消息队列的多级队列区分为不同的轮询服务，不同优先级的队列由不同的轮询服务进行处理，在保证高优先级的数据能够优先被处理的情况下不影响正常消息队列的出列工作；所述轮询服务根据所述待入库数据的数据类型将所述待入库数据存储到相应的数据库或数据表内；将入库数据梳理成结构化的数据。

6.根据权利要求1至5中任一项所述的实现大数据快速存储的方法，其特征在于，所述待入库数据被存储在关系型数据库、非关系型数据库、内存数据库中，在数据之间保持数据的更新和同步。

7.根据权利要求1至5中任一项所述的实现大数据快速存储的方法，其特征在于，还包括：根据已入库数据创建副本数据，使用所述已入库数据用于进行数据的存取，使用所述副本数据用于进行数据的后续查询和服务，使用所述已入库数据和所述副本数据保持数据的一致性。

8.根据权利要求1至5中任一项所述的实现大数据快速存储的方法，其特征在于，还包括：对已入库数据做数据关联关系处理、数据索引的建立。

9.一种实现大数据快速存储的装置，包括用于将接收到的数据存储到数据库中的数据存储模块，其特征在于，包括：

统一接收模块，用于通过一个统一的数据入库接口接收多种数据类型的待入库数据；

消息队列模块，用于将接收到的所述待入库数据暂存至消息队列；

轮询服务模块，用于通过轮询服务对所述消息队列内的暂存数据进行出列操作，将所述待入库数据存储到数据库内。

10.一种存储系统，包括用于存储数据和数据库的硬件设备，其特征在于，包括：如权利要求9所述的实现大数据快速存储的装置。