[发明专利]一种分布式存储方法和装置

说明书

本发明实施例公开了一种分布式存储方法和装置，所述方法包括：通过建立数学模型，采用ceph分布式数据存储系统把获取到的数据整理存储；利用分布式计算并行处理大数据，得到最终分布式计算结果；依据所述分布式计算结果，优化抽取一整套流程。本发明实施例通过分布式计算、分布式存储技术，能够专业化甄别处理有效数据，提升了数据处理能力，实现了数据的有效利用。

技术领域

本发明涉及分布式存储技术，尤指一种分布式存储方法和装置。

背景技术

随着科技高速发展，全球数据量出现爆炸式增长，数据成了当今社会增长更快的资源之一。大数据开启了一次重大的时代转型，大数据带来巨大的变革，从多层面、全方位影响改变着我们的生活、工作和思维方式。如此庞大繁杂、增长快速的数据资源，给传统的数据分析、处理技术带来了巨大挑战。随着科技日新月异，大数据发展成指数级增长，单台计算机无法处理也无法存储如此庞杂数据。

由于大数据变革，使得以前在小规模数据上许多有效的传统串行化算法在处理大数据是捉襟见肘乃至无法处理；更为严峻的是大数据带有较多噪音、样本稀疏等特点使得现有算法、数学模型分析难以处理。未来会有更多的研究和应用领域将迫切需要寻找高效存储及处理大数据技术。

目前存储及处理大数据技术中，传统的手段已经无法满足日益增长的需求，无法应对高并发访问数据以及规模大、流转速度快、类型多样性和价值密度低的数据，不能够专业化甄别处理有效数据，数据处理能力差，无法实现数据的有效利用。

发明内容

为了解决上述技术问题，本发明实施例提供了一种分布式存储方法和装置，通过分布式计算、分布式存储技术，能够专业化甄别处理有效数据，提升了数据处理能力，实现了数据的有效利用。

为了达到本发明目的，一方面，本发明实施例提供了一种分布式存储方法，包括：

通过建立数学模型，采用ceph分布式数据存储系统把获取到的数据整理存储；

利用分布式计算并行处理大数据，得到最终分布式计算结果；

依据所述分布式计算结果，优化抽取一整套流程。

进一步地，所述采用ceph分布式数据存储系统把获取到的数据整理存储包括：

利用存储节点上的计算能力，在存储每一个数据时，通过计算得出所述数据存储的位置，将数据分布均衡。

进一步地，所述方法还包括：

存储数据到ceph集群时，所述存储数据被分成多个对象object，作为最小存储单元。

进一步地，所述方法还包括：

当处理所述多个对象object时，所述ceph通过放置策略组pg管理所述object，每个object都会映射到一个所述pg。

进一步地，所述方法还包括：

所述pg映射到负责物理存储的进程osd存储，并设置冗余。

另一方面，本发明实施例还提供了一种分布式存储装置，包括：

整理存储模块，用于通过建立数学模型，采用ceph分布式数据存储系统把获取到的数据整理存储；

计算模块，用于利用分布式计算并行处理大数据，得到最终分布式计算结果；

抽取模块，用于依据所述分布式计算结果，优化抽取一整套流程。

进一步地，所述装置还用于：

利用存储节点上的计算能力，在存储每一个数据时，通过计算得出所述数据存储的位置，将数据分布均衡。

进一步地，所述装置还用于：