[发明专利]一种内存数据共享系统、内存数据的写入以及读取方法

说明书

本申请公开了一种内存数据共享系统、一种内存数据的写入方法、一种内存数据的读取方法、一种主服务器重载方法以及一种主服务器重载装置。其中，所述内存数据共享系统，包括：主服务器、从属服务器、客户端以及基于内存的文件系统；每一客户端与主服务器、至少一个从属服务器通信连接；主服务器与每一从属服务器通信连接；从属服务器中均安装基于内存的文件系统。采用上述系统将数据信息存储到内存中，保证了存储的数据的内容，解决了存储的数据会被覆盖的问题，此外由于将数据信息存储到内存中提高用户数据的访问效率，缩短用户请求响应时间，同时通过预设的对所述数据信息的处理方式，可以使用户方便的加工、缓存所需的数据节约存储空间的占用。

技术领域

本申请涉及数据存储技术领域，具体涉及一种内存数据共享系统；本申请同时涉及一种内存数据的写入方法、一种内存数据的读取方法、一种主服务器重载方法以及一种主服务器重载装置。

背景技术

在分布式系统中，大数据的存储、分析与处理是最常见一类的用户作业。在目前的云产品中，用户经常会通过SQL语句来完成对数据的存储、查询与计算，在这种场景下，用户生成的数据以数据库表的形式存放在分布式存储系统中，为了节省存储空间，这些数据库表在存放时通常都会进行压缩处理，当数据需要被访问时，就需要进行解压以及一些其它操作，比如行列转换等，这些操作可能会花费较多时间，导致用户请求的响应时间变长，降低了访问效率。

目前为了提高访问效率，缩短用户请求的响应时间是将需要访问的输入数据存储在内存中，尽量避免磁盘I/O，多采用以下两种方式：一是：依赖底层的分布式存储系统，使用缓冲器存放最近被访问过的数据。当这部分数据再次被访问时，存储系统会直接将内存中的数据返回，而不需要重新读取磁盘；二是：在自己的作业逻辑中，将需要共享的数据存储起来。例如：利用RDD(Resilient Distributed Datasets)弹性分布式数据集机制对数据在进程内进行缓存,其它的用户作业可以向该用户作业发送请求，得到存储的数据。

由此可见，在现有的方案下，通过分布式存储系统提供存储功能，当缓冲器存满时，新写入缓冲器的数据会覆盖缓冲器中原有的数据。但在实际应用中，不同数据被访问的频率是不同的，一些数据会被反复访问，所以使用缓冲器时会造成数据频繁的唤入和唤出，造成性能下降；通过用户作业缓存数据时，需要提交一个完整的作业，占用空间。此外，当作业进程发生崩溃时，这些数据也会丢失需要重新加载，稳定性差，实现容错处理时负担较大。

发明内容

本申请提供一种内存数据共享系统,以解决现有技术中的上述问题。本申请同时涉及一种内存数据的写入方法、一种内存数据的读取方法、一种主服务器重载方法以及一种主服务器重载装置。

本申请提供了一种内存数据共享系统，所述内存数据共享系统，包括：

主服务器、从属服务器、客户端以及基于内存的文件系统；所述每一客户端与所述主服务器、至少一个所述从属服务器通信连接；所述主服务器与所述每一从属服务器通信连接；所述每一从属服务器中均安装基于内存的文件系统；

其中，所述从属服务器，用于接收所述主服务器发送的数据信息，并将所述数据信息写入到所述基于内存的文件系统中、接收所述客户端发送的获取数据信息的请求，从所述基于内存的文件系统中获取所述数据信息，并向所述客户端发送所述数据信息；

所述主服务器，用于接收所述客户端发送的加载数据信息的请求，所述加载数据信息的请求携带所述数据信息，提取并记录所述数据信息的属性，并向所述从属服务器转发所述数据信息、接收所述客户端发送的获取需求数据信息的请求，并向所述客户端反馈所述数据信息的属性；

所述客户端，用于向所述主服务器发送加载数据信息的请求，所述加载数据信息的请求携带所述数据信息、向所述主服务器发送获取需求数据信息的请求，接收所述主服务器反馈的所述数据信息的属性，根据所述属性向对应的从属服务器发送获取所述数据信息的请求，并接收所述从属服务器发送的数据信息；