[发明专利]数据处理方法和服务器集群

说明书

本申请提供一种数据处理方法和服务器集群，在一个实施例中的方法可应用于区域分析系统中的第一节点，该方法包括：获取多个轨迹数据中每个轨迹数据对应的时空特征；根据该时空特征中的空间信息，对该多个轨迹数据中的每个轨迹数据进行分类，得到该多个轨迹数据中的每个轨迹数据对应的分片索引数据；对该多个轨迹数据中的每个轨迹数据的时空特征进行编码，得到时空特征编码；根据该分片索引数据以及该时空特征编码，为该多个轨迹数据生成至少一个索引文件，同一个该索引文件内的所有时空特征编码对应同一个分片索引数据；将该至少一个索引文件分配给该区域分析系统中的至少一个第二节点，以供每个该第二节点对该索引文件进行存储。

技术领域

本申请涉及大数据处理技术领域，具体而言，涉及一种数据处理方法和服务器集群。

背景技术

在大数据处理技术背景下，当需要通过活动轨迹情况分析出一些时空特征时，如何能够在短时间内得到符合特征的分析结果是一个难题。以警方的活动轨迹分析为例，当前警方在进行活动轨迹分析业务时，面对一个区县的数据量时就已经存在数据处理压力，而若是数据量再增大，例如面临市级、省级的数据量时，难以在短时间内(例如一天内、一个晚上等)得出分析结果，处理效率低。

为了提升处理速度，目前的一种做法是基于当前通用的大数据平台实现存储和计算。但目前的做法只是借用了分布式系统的框架，是仅通过增加计算节点的方式提升处理能力。

而在实际应用中，使用轨迹数据参与计算时，数据量大且处理逻辑有一定复杂性。因此，虽然在初期通过传统的分布式系统能够改善前述的效率问题，但是等到系统使用一段时间后，数据量快速增长，传统分布式系统的弊端将显现，数据处理效率较低。

发明内容

本申请实施例的目的在于提供一种数据处理方法和服务器集群，用以改善现有技术中对于大量的轨迹数据难以快速处理的问题。

第一方面，本申请实施例提供一种数据处理方法，应用于区域分析系统中的第一节点，所述方法包括：

获取多个轨迹数据中每个轨迹数据对应的时空特征；

根据所述时空特征中的空间信息，对所述多个轨迹数据中的每个轨迹数据进行分类，得到所述多个轨迹数据中的每个轨迹数据对应的分片索引数据；

对所述多个轨迹数据中的每个轨迹数据的时空特征进行编码，得到时空特征编码；

根据所述分片索引数据以及所述时空特征编码，为所述多个轨迹数据生成至少一个索引文件，同一个所述索引文件内的所有时空特征编码对应同一个分片索引数据；

将所述至少一个索引文件分配给所述区域分析系统中的至少一个第二节点，以供每个所述第二节点对所述索引文件进行存储。

在上述方法中，由于生成的索引文件是按照分片索引数据生成的，且索引文件中包括多个时空特征编码，将索引文件发送给第二节点，可以实现对于时空特征的索引压缩以及数据的本地化。通过数据压缩和分片索引的方式可以降低原始轨迹数据的大小，能够加快数据导入至内存的速度，从而有利于提升整个系统的数据分析效率。由于经过了数据压缩和分片索引的分发存储，因此相较于现有技术，即使数据量大幅增加，也不会对系统造成过大负担，能够对大量的轨迹数据进行快速存储。

在可选的实施方式中，所述时空特征还包括时间信息，所述对所述多个轨迹数据中的每个轨迹数据进行分类，得到所述多个轨迹数据中的每个轨迹数据对应的分片索引数据，包括：

对于所述多个轨迹数据中的每个轨迹数据，根据所述时空特征中的空间信息确定区域标签，以及根据所述时空特征中的时间信息确定时间标签；

基于所述区域标签和所述时间标签，生成所述多个轨迹数据中的每个轨迹数据对应的分片索引数据。

通过上述实现方式，采用轨迹数据的空间信息、时间信息分别构建索引所需的标签，从而得到分片索引数据，有利于更为快速地加载数据。