[发明专利]高效大数据存储方法

说明书

技术领域

本发明涉具体涉及一种高效大数据存储方法。

背景技术

对于“大数据”研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产；麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”；从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术；随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统；因此目前急需一种高效大数据存储方法以适应目前的需求。

发明内容

本发明的目的在于针对现有技术的不足，提供一种高效大数据存储方法，该高效大数据存储方法可以很好地解决上述问题。

为达到上述要求，本发明采取的技术方案是：提供一种高效大数据存储方法，该高效大数据存储方法包括如下步骤：

S1：接收对象数据，并识别对象数据的属性信息；

S2：根据对象数据的属性信息将其对象数据存储至存储系统中的第一存储子系统；

S3：将所述存储至存储系统中第一存储子系统的对象数据的关联关系和模式存储至存储系统中的第二存储子系统；

S4：选取至少两台服务器启动GlusterFS服务，将所述至少两台服务器的本地存储资源共享成GlusterFS的基本存储单元，并将所述基本存储单元组成一个GlusterFS的卷；

S5：在所述挂载所述卷的服务器上启动Hadoop的名称节点服务，并将所述名称节点的数据存储在挂载的卷上；

S6：对存储设备物理性能的提升，变换设备内机械硬盘更换为固态硬盘；以及

S7：采用RAID1+0技术可大大提高系统性能；并针对I/O负载进行优化，提高特定存储模式下的存储性能。

该高效大数据存储方法具有的优点如下：

(1)该高效大数据存储方法实现了无中心的、高效的大数据存储。

(2)该高效大数据存储方法降低了管理成本，有助于提高数据处理的灵活性和易用性，降低了用户使用的学习成本。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示意性地示出了根据本申请一个实施例的高效大数据存储方法的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。

在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。

为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。

根据本申请的一个实施例，提供一种高效大数据存储方法，包括如下步骤：

S1：接收对象数据，并识别对象数据的属性信息；

S2：根据对象数据的属性信息将其对象数据存储至存储系统中的第一存储子系统；