[发明专利]一种基于集群技术的并行数据共享装置方法和装置

说明书

技术领域

本发明涉及网络数据处理领域，更具体地说，涉及一种基于集群技术的并行数据共享装置方法和装置。

背景技术

用户随着数字化应用的不断创新和深化，数据呈爆炸式海量增长态势，其中非结构化数据的增长尤为迅速和显著，据IDC等第三方分析公司统计，全球数据量每18月翻一番，其中，80％是以图片、音视频文件为主的非结构化数据。随着web 3.0、云计算、云存储等新兴的商业与服务模式的兴起，以个人为核心的“自媒体”时代将全面到来，势必进一步推动非结构化数据的激增。除了数据量庞大，非结构化数据的访问模型通常为多终端、跨平台、并发共享访问。如何在保障数据规模和数据效率的前提下，实现快速的共享式数据存取成为面向海量非结构化数据应用环境存储系统亟待解决的普遍难题。

解决非结构化数据共享目前有NAS和SAN文件系统+存储两种实现方法。

NAS是网络附属存储(Network Attached Storage)，是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。

NAS系统采用服务器+开源NAS软件或专用嵌入式NAS设备实现，采用单节点或互备双节点(Active-Standby)的共享服务模式，即正常工作状态下，只能有一个数据服务节点对前端业务主机。

提供共享式的数据存取服务，客户端利用TCP/IP网络，基于标准的NFS/CIFS协议即可实现接入访问，部署成本较低。

该模式有几个显著的弊端：

扩展性较差，性能存在瓶颈：因为单节点的处理性能有限，只能增加容量模块，增加存储空间，无法实现性能增加，一般只能支撑20台以内的客户端实现共享访问，因此无法面向海量的数据共享和多客户端应用环境，如互联网、云计算、大规模监控或媒体视频应用环境等。

可靠性有待提高：如采用单节点结构，NAS设备自身是单节点故障，一旦设备故障，数据共享和存取服务将停止，即使是互备双节点(Active-Standby)冗余结构，也需要几分钟的NAS共享应用切换时间，甚至需要客户端需要重新发起连接，对于关键业务，往往是不可接受的。

SAN是存储区域网络(Storage Area Network)，即，它是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。

SAN文件系统+存储是一种新型的数据共享实现方法，利用独特的元数据和数据分离技术、文件系统条带技术、节点冗余技术，可实现较好的扩展性和很高的性能，但缺点在于一般采用似有协议，不具有通用性和标准化的特点，结构过于复杂，造价昂贵。构建此类系统需要磁盘阵列、服务器、光纤交换机、SAN共享文件系统等诸多设备，客户端也需要部署光纤卡，对于大量客户端共享环境，软硬件成本惊人，后期的维护和管理成本也让很多用户望而却步。

发明内容

本发明要解决的技术问题在于，提供一种更为灵活和高效的并行数据共享实现方法，形成一套高性能、高扩展的云存储结构体系，克服传统数据共享方式数据规模和扩展性差、性能一般、可靠性欠佳的缺陷。

本发明公开了一种基于集群技术的并行数据共享方法，包括：

A1.并行化设置客户端多个数据资源请求；

A2.将所述的多个数据资源共享方式设置为虚拟集群共享；

A3.将多个服务引擎连接于所述的数据资源；

A4.所述的多个服务引擎通过网络实现对同一数据资源的输入/输出。

在本发明所述的基于集群技术的并行数据共享方法中，所述多个数据资源，具体是：卷、文件、锁机制。

在本发明所述的基于集群技术的并行数据共享方法中，所述步骤A1包括：设定每个客户端请求被多个引擎监听和响应。

在本发明所述的基于集群技术的并行数据共享方法中，所述的步骤A3包括：所述的多个服务引擎之间通过hash算法实现元数据、服务状态数据的内存级实时同步。

本发明公开了一种基于集群技术的并行数据共享装置，用于实现上述的方法，包括：

并行化设置单元，用于并行化设置客户端多个数据资源请求；

集群共享设置单元，与所述的并行化设置单元相连，用于将所述的多个数据资源共享方式设置为虚拟集群共享；

服务引擎连接单元，与所述的集群共享设置单元相连，用于将多个服务引擎连接于所述的数据资源；