[发明专利]一种多业务驱动的中间件系统的存储处理方法及装置

说明书

技术领域

本发明实施例涉及通信技术领域，具体涉及一种多业务驱动的中间件系统的存储处理方法及装置。

背景技术

近年来，随着互联网行业的快速发展，全球计算机数据总量也呈现出爆炸性增长。已经有越来越多的科研机构和厂家意识到了这些数据中所蕴含的巨大价值，大数据，分布式计算，集群计算，云计算，深度学习等许多与大规模数据相关的概念都成为了热门话题。

传统中间件主要作用是用来屏蔽网络硬件平台的差异性和操作系统与网络协议的异构性，连接两个独立的系统或者是两个独立的应用程序，使被连接的双方能够比较平滑的交换信息。传统的中间件分为五类，分别是数据库中间件、事务处理中间件、远程过程调用中间件、对象请求代理中间件和消息中间件。其中消息中间件是研究最多使用最广的。

但是，现有中间件无法满足大数据的一些应用，比如系统和数据规模的增大会对性能和系统存储带来一定影响，其伸缩性不能满足不断增大的系统规模；采用内存进行数据存储和转发，没有持久化机制，是系统不能实现消息数据的分布式存储以及消息系统故障恢复等功能。近年来，流数据和运营数据分析与处理已经成为实时监控，在线分析等应用重要的组成部分，这就需要一套稍微更加复杂的消息系统对其提供支持。

在实现本发明实施例的过程中，发明人发现现有的中间件系统无法对海量且复杂的数据进行分布式缓存和管理。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种多业务驱动的中间件系统的存储处理方法及装置。

第一方面，本发明实施例提出一种多业务驱动的中间件系统的存储处理方法，包括：

接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；

若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件系统的本地磁盘，并将所有分区文件的数据清空；

若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。

可选地，所述若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，具体包括：

若接收到第一终端发送的数据共享请求，则根据所述数据共享请求解析得到目标数据在所述本地磁盘的逻辑偏移量，根据所述逻辑偏移量确定所述目标数据在所述本地磁盘中的位置，并根据所述位置获取所述目标数据。

可选地，所述接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中，具体包括：

接收待存储数据，根据数据存储算法确定若干个分区中存储所述待存储数据的目标分区，并将所述待存储数据添加至所述目标分区对应的目标分区文件中。

可选地，所述若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储，具体包括：

若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端和第二终端，以使所述第一终端和所述第二终端根据所述目标数据生成消费记录进行存储；

其中，所述第二终端为与所述第一终端有关联关系的终端。

可选地，所述中间件系统包括若干个代理服务器；

相应地，所述接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中，具体包括：

接收待存储数据，根据服务器分配规则确定所述若干个代理服务器中的目标代理服务器，并根据数据存储算法将所述待存储数据添加至所述目标代理服务器的目标分区文件中。

第二方面，本发明实施例还提出一种多业务驱动的中间件系统的存储处理装置，包括：

数据添加模块，用于接收待存储数据，根据数据存储算法将所述待存储数据添加至目标分区文件中；

数据存储模块，用于若判断获知所有分区文件的大小达到预设值，或者当前时间到达预设周期，则将所有分区文件中的数据存储至中间件系统的本地磁盘，并将所有分区文件的数据清空；

数据发送模块，用于若接收到第一终端发送的数据共享请求，则根据所述数据共享请求获取所述本地磁盘中的目标数据，并将所述目标数据发送至所述第一终端，以使所述第一终端根据所述目标数据生成消费记录进行存储。