[发明专利]大规模向量场数据处理方法

说明书

技术领域

本发明涉及信息技术领域，特别是涉及一种大规模向量场数据处理方法。

背景技术

随着科学技术的发展，特别是计算机技术的迅猛发展，人类产生和获取数据的能力成数量级地增加。其中计算流体力学模拟、环境科学以及材料科学等应用领域产生的大规模向量场数据的可视化一直以来是人们面临的一项复杂且艰巨的任务。目前针对大规模向量场数据的可视化和绘制主要涉及如下两个方面：

其一，大数据的处理：目前主要采用基于并行算法设计的技术，合理利用有限的计算资源，高效地处理和分析特定的数据集的特性。在面向大规模数据的并行可视化工作中主要涉及数据流线化、任务并行化、管道并行化、数据并行化四种基本技术。

其二，向量场的表达：众所周知，在处理大规模数据时，聚类起到了至关重要的作用。其中Alexandru Telea等人提出的一种对向量场数据进行层次聚类方法是处理向量场数据最经典的方法。这种聚类方法通过计算每个类和其相邻类的相似性，然后根据相似性高低依次进行聚类，最终得到层次化的聚类结果。该方法相较于以往的方法简化了向量场的表达以及对用户专业性的依赖并且用户可以通过调节简单的参数灵活的产生不同的具有代表性的结果。

但是，并行处理大数据对对计算机的性能要求很高，普通的计算机无法胜任。且现有的聚类方法对大规模向量场数据进行处理时，需要将所有的大数据全部载入内存，而大多数计算机内存有限，根本无法满足该要求。另外，假设层次聚类过中需要处理的对象的数量为N，那么层次聚类的时间复杂度高达O(NlogN)，在处理大数据时需要花费大量的时间，不适用于对大规模向量场数据的实时处理并绘制呈现。

发明内容

基于此，有必要提供一种对计算机性能、内存要求较低且处理大规模向量场数据较快的大规模向量场数据处理方法。

一种大规模向量场数据处理方法，包括如下步骤：

从外部存储设备中将向量场数据逐一读取至内存；

利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心；

构建聚类中心的邻居关系；

根据聚类中心的邻居关系对聚类中心进行层次聚类。

在其中一个实施例中，所述利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心的步骤包括：

（1）、从内存中读取一个向量场数据；

（2）、判断所述向量场数据是否为读取的第一个向量场数据，如果是，则将所述向量场数据作为新的聚类中心，如果不是，则计算所述向量场数据与所有聚类中心的相似度，并找出与所述向量场数据相似度最高的聚类中心；

（3）、判断所述向量场数据和与所述向量场数据相似度最高的聚类中心的相似度是否在预设阈值范围之内，如果是，则将所述向量场数据附属于与所述向量场数据相似度最高的聚类中心，如果不是，则将所述向量场数据作为新的聚类中心；

（4）、重复步骤（1）、步骤（2）和步骤（3），直至内存中的向量场数据被全部读取完。

在其中一个实施例中，所述利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心的步骤包括：

在内存中的向量场数据被全部读取完之后，计算得到聚类中心的总数。

在其中一个实施例中，所述计算所述向量场数据与所有聚类中心的相似度，并找出与所述向量场数据相似度最高的聚类中心的步骤包括：

选定一随机投影向量；

将每个聚类中心分别与所述随机投影向量相乘得到一个数组，并将所述数组中的所有元素按大小排序，得到一个有序数组；

将向量场数据与所述随机投影向量相乘得到向量场数据投影值；

在有序数组中查找出与所述向量场数据投影值最接近的元素，找出与所述向量场数据相似度最高的聚类中心。

在其中一个实施例中，若向量场数据和与所述向量场数据相似度最高的聚类中心在预设阈值范围之内，则将所述向量场数据附属于与所述向量场数据相似度最高的聚类中心。

在其中一个实施例中，所述构建聚类中心的邻居关系的步骤包括：

遍历内存中的向量场数据，只要相邻的向量场数据属于不同的聚类中心，则将两个聚类中心构成相邻关系。

在其中一个实施例中，所述根据聚类中心的邻居关系对聚类中心进行层次聚类的步骤包括：

计算所有相邻聚类中心的相似度；

取相似度最高的一对聚类中心进行聚类得到一个新的聚类中心，并更新该新的聚类中心和与该新的聚类中心相邻的聚类中心的相似度；