[发明专利]分布式云数据的处理方法、装置及存储介质

说明书

本发明提出了一种分布式云数据的处理方法、装置及存储介质，涉及数据处理技术领域，获取初始云数据，对获取到的初始云数据进行预处理，得到初始云数据的最小云团；计算最小云团的中心数据点；将最小云团中的数据点的数据进行分类；对分类后的所有数据组中的数据在分布式存储系统中进行分布式存储；在时间窗Δt内将接收到的数据写入请求的多个数据部署到分布式存储系统中的多个分布域，利用多分布域协作实现分布域间负载平衡资源代价最小化，降低了分布式云数据服务系统的资源消耗，提高了数据处理效率。

技术领域

本发明涉及数据处理技术领域，具体涉及分布式云数据的处理方法、装置及存储介质。

背景技术

云数据往往表现为大规模的离散数据，而传统的关系型数据存储系统性能不足、容错性差，无法适应海量非结构化数据管理。对于海量点云数据存储，一般包含3个方面的需求：1、数据的可靠存储对于大规模点云数据的存储，若放置在单个节点上，不仅效率慢，而且节点故障会引起致命的后果；2、存储的可扩展性当点云数据持续增加或者有补充时，存储的可扩展性显得尤为重要；3、为并行计算服务大数据环境下的存储功能要满足数据并行处理的需求。

分布式存储是大数据管理的关键技术之一，在分布式存储技术中，每台计算机都可以进行存储和计算，因此服务器功能不需要特别强大，从而极大降低了硬件成本；并且基于大数据的分布式存储系统具有灵活的体系结构，具有较好的扩展性，很适合管理海量点云数据，可以最大限度地利用现有的存储空间，实现资源的最优化配置。

海量点云数据的分布式存储可分为基于分布式文件系统和基于分布式数据库系统：1、分布式文件系统是指文件系统管理的物理存储资源通过计算机网络与节点相连；2、分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成一个逻辑上统一的数据库。

近年来，为了满足海量数据存储的扩展性和灵活性需求，提出了非关系型数据存储，也称为NoSQL数据库。NoSQL数据库支持水平扩展，可以扩展部署到大量的服务器节点，适合海量非结构化数据，比如海量点云数据的高效存储和访问。基于海量数据的分布式非关系数据库平台，例如MongoDB、HBase等，其突出特点是将分布式数据库与非关系数据库进行融合，用以存储和管理海量数据信息。分布式非关系数据库的优点主要有：成本低、扩容能力强、可靠性好、计算效率高等。

发明内容

为了解决上述技术问题，本发明提出了分布式云数据的处理方法，包括如下步骤：

步骤S1、获取初始云数据，对获取到的初始云数据进行预处理，得到初始云数据的最小云团；

步骤S2、计算最小云团的中心数据点；

步骤S3、将最小云团中的数据点的数据进行分类；

步骤S4、对分类后的所有数据组中的数据在分布式存储系统中进行分布式存储；

步骤S5、在时间窗Δt内将接收到的数据写入请求的多个数据部署到分布式存储系统中的多个分布域，利用多分布域协作实现分布域间负载平衡资源代价最小化。

进一步地，所述步骤S3包括：

步骤S31、将最小云团的中心数据点P₀(X₀，Y₀，Z₀)作为原始中心点，并为该原始中心点的类别定义为1；

步骤S32、计算最小云团中的每个数据点与原始中心点的距离值，将距离值小于距离阈值的所有点的数据作为目标数据集；

步骤S33、将目标数据集中每一个数据保存到数据组，同时，将数据组中的每一个数据的数据点与原始中心点的距离值保存到距离组；

步骤S34、查询距离组中距离值最大的数据点，将该数据点作为新中心点，并为该新中心点的类别定义为2，返回执行步骤S32，直至最小云团中的所有数据点全部被分类，最终类别定义为M。