[发明专利]一种基于XMPP协议的分布式存储系统

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于XMPP协议的分布式存储系统。

背景技术

Google、Amazon、Alibaba等互联网公司的成功催生了云计算和大数据两个热门领域。无论是云计算、大数据还是互联网公司的各种应用，其后台基础设施的主要目标都是构建低成本、高性能、可扩展、易用的分布式存储系统。

虽然分布式系统研究了很多年，但是，直到近年来，互联网大数据应用的兴起才使得它大规模的应用到工程实践中。相比传统的分布式系统，互联网公司的分布式系统具有两个特点：一个特点是规模大，另一个特点是成本低。不同的需求造就了不同的设计方案，可以这么说，Google等互联网公司重新定义了大规模分布式系统。目前，大型的互联网公司或互联网组织几乎都实现一套自己的分布式存储方案。

Google最早发布了三篇论文讲述其分布式存储系统的设计思路和原理，但是没有现成的产品。Apache基金会通过Google的论文，最终实现了一整套解决方案，命名为Hadoop，其中包括HDFS，HBase等子项目。HDFS被设计为针对大文件。HBase是一个开源的非关系型分布式数据库，运行于HDFS文件系统上。

在Google之后，Amazon公布了自己的Dynamo分布式存储系统解决方案。

随后，Facebook基于Google和Amazon的解决方案实现了自己的Cassandra分布式存储系统解决方案。不久，Facebook将其开源，并交于Apache基金会维护。

在以上几个典型的技术方案中，Google的论文与Apache的Hadoop方案体系庞大，而且其底层文件系统针对大文件优化，处理小文件时没有优势。Amazon和Facebook的技术方案使用一致性哈希处理节点的分布和定位，但是其算法实现较复杂。

发明内容

本发明提供了一种基于XMPP协议的分布式存储系统，该发明所述的技术方案以XMPP协议为基础搭建分布式存储系统，管理节点和数据节点之间的信息传递使用XML文件格式，所有数据节点之间通过直连方法进行数据文件的传递。本发明所述的分布式存储系统充分利用已经成熟的XMPP协议的优势搭建分布式系统，有非常好的适应性和扩展性。

首先，对XMPP协议做一个简单的介绍：

XMPP（ExtensibleMessagingandPresenceProtocol，前称Jabber）是一种以XML为基础的开放式实时通信协议，是经由互联网工程工作小组（IETF）通过的互联网标准。XMPP因为被GoogleTalk应用而被广大网民所接触。XMPP的关键特色是，分散式的实时通信系统，以及使用XML流。XMPP原本是为即时通讯而量身定制，但由于XMLStanza本身是XML元素，在基于XML灵活发展的特性下，使得XMPP也可以适用其他方面。

互联网工程工作小组（IETF）已经将Jabber的核心XML流协议以XMPP之名，正式列为认可的实时通信及Presence技术。而XMPP的技术规格已被定义在RFC3920。XMPP网络的架构和电子邮件十分相像；XMPP核心协议通信方式是先创建一个stream，XMPP以TCP传递XML数据流，没有中央主服务器。任何人都可以运行自己的XMPP服务器，使个人及组织能够掌控他们的实时传讯体验。任何XMPP协议的服务器可以独立于公众XMPP网络（例如在企业内部网络中），而使用SASL及TLS等技术的可靠安全性，已内置于核心XMPP技术规格中。本发明将XMPP协议转用到分布式存储系统中，从而解决现有技术中存在的问题。

本发明采用如下系统来实现：一种基于XMPP协议的分布式存储系统，包括管理节点和数据节点：

所述管理节点用于存储其他管理节点和数据节点的节点信息，并向数据节点发送控制信息并接收请求信息；

所述数据节点用于存储数据文件，并接收管理节点的控制信息，所述数据节点之间通过直连的方式传递数据文件；

任意一个数据节点只属于一个管理节点，所述控制信息和请求信息遵循XMPP协议，为XML文件格式。

进一步地，若向分布式存储系统中添加新的数据节点，则包括：

在管理节点中建立待添加数据节点的节点信息；

搭建待添加数据节点并启动；

待添加数据节点向管理节点发送请求信息，所述请求信息中包含待添加数据节点的节点信息；