[发明专利]一种基于混合结构的数字图书馆云存储系统

摘要

一种基于混合结构的数字图书馆云存储系统，基于Hadoop技术的混合结构，同时支持HBase数据库技术和传统关系数据库SQL Server技术，系统以Hadoop分布式文件系统集群作为后台云存储框架，设有CSSDL_HS登录模块、CSSDL_HS用户管理模块、CSSDL_HS文件管理模块、CSSDL_HS文件夹管理模块以及CSSDL_HS服务器管理模块，并在CSSDL_HS文件管理模块中增设了智能文件预处理模块，根据用户设定的阈值智能地对文件进行预处理。本发明能够解决数字图书馆场景中文件的分布式存储问题，可以提高文件存储的速度和可靠性，减少可能带来的人工误操作，达到在网络环境下高效管理数字图书馆中各种文件的目的。

主权项

一种基于混合结构的数字图书馆云存储系统，其特征是：针对数字图书馆中存在的多种不同类型和不同大小的文件，为数字图书馆文件的分布式存储设计了基于Hadoop技术的混合结构，该混合结构同时支持HBase数据库技术和传统关系数据库SQL Server技术，所述混合结构包括以下部分：1)数字图书馆的用户，该用户包括了支持读写功能的数字图书馆的Web端用户和支持写功能的数字图书馆的PC端用户；2)云存储服务器，用于提供基于Tomcat的数字图书馆的Web端用户的可视化操作界面，支持读写功能；3)应用服务器，用于提供基于写队列的数字图书馆的PC端用户实现写功能；4)混合结构中的核心控制模块，用于在云存储服务器和应用服务器之间提供一个信息交互的桥梁，从而实现对混合结构中的HBase和MySQL进行控制；5)混合结构中的HBase部分，是建立在HDFS基础之上的列数据库；6)混合结构中的HDFS部分，具体包括NameNode和DataNode；7)混合结构中的MySQL部分，具体包括用户元信息和文件元信息；基于上述混合结构的数字图书馆云存储系统，利用Hadoop技术，以HDFS集群作为后台云存储框架，构造了五个模块：(1)CSSDL_HS登录模块：提供CSSDL_HS的新用户注册、注册用户登录和CSSDL_HS的用户注销，用户按要求填入用户名、密码，进行登陆验证；如果用户信息验证成功，则可以登陆系统；否则进入等待状态，等待用户重现输入；该模块通过数字图书馆的用户来进行展现；(2)CSSDL_HS用户管理模块：提供查看和修改CSSDL_HS用户信息，依次通过数字图书馆的用户、数字图书馆的PC端用户、应用服务器、混合结构中的MySQL部分，并最终在混合结构中的MySQL部分存储用户的元信息；(3)CSSDL_HS文件管理模块：提供CSSDL_HS文件的智能预处理、上传文件、下载文件、重命名文件和删除文件；CSSDL_HS文件管理模块是CSSDL_HS中的一个核心模块，它首先分别经过数字图书馆的PC端用户和数字图书馆的Web端用户把信息分别传递给权云存储服务器和应用服务器，接着经过混合结构中的核心控制模块，实现云存储服务器和应用服务器之间的信息交互，其中数字图书馆的数据文件由混合结构中的HBase完成分布式文件存储，而数字图书馆的文件元信息由混合结构中的MySQL完成集中式存储；(4)CSSDL_HS文件夹管理模块：提供CSSDL_HS的新建文件夹、重命名文件夹和删除文件夹；当用户注册系统时，CSSDL_HS为该用户新建一个文件夹，作为该用户的根目录，之后用户所有的文件或文件夹操作包括新建、重命名和删除，都在该根目录下进行；通过数字图书馆的用户，完成MySQL的操作；(5)CSSDL_HS服务器管理模块：用于提供查看CSSDL_HS服务器信息，依次通过数字图书馆的用户、数字图书馆的PC端用户，把信息分别传递给云存储服务器，接着通过调用Hadoop的JMX接口，实时获取HDFS服务器运行参数，这些使用JMX的Rest形式的参数经加工汉化后，显示到网页上供CSSDL_HS管理员进行监控和系统维护。