[发明专利]一种从海量数据中快速检索变化数据段的方法及系统

说明书

本发明公开了一种从海量数据中快速检索变化数据段的方法及系统，是将海量数据以一条数据为单位按顺序排序；将本条数据作为中数据段，前一条数据作为前数据段，后一条数据作为后数据段，三者联合形成一条新数据；查找所有新数据中：前数据段符合第一状态且中数据段符合第二状态的所有新数据，作为数据第一位置；中数据段符合第二状态且后数据段符合第三状态的所有新数据，作为数据第二位置。本发明使得原来需要全局搜索的作业，可以分布到多个节点上分布执行，能快速检索出数据变化的开始、结束范围及其数据，也适用于多数据项及多状态值的数据的检索。

技术领域

本发明涉及数据处理领域，尤其涉及一种从海量数据中快速检索变化数据段的方法及系统。

背景技术

物联网和传感器技术的应用，积累了大量的数据，利用这些数据之前通常需要对数据进行分析。这些数据常常是按某种顺序采样的数据，例如工业自动化中设备状态的监控数据，由传感器按时序采样生成，使用时往往需要获得状态变化的开始和结束时间。

传统的方法是按时间顺序搜索某个时间点之前或之后出现不同状态的最接近时间，这种方法需要对数据进行全局搜索，而对海量数据进行全局搜索存在速度慢、工作量大以及难以实施的问题。

发明内容

本发明目的在于提供一种从海量数据中快速检索变化数据段的方法及系统，以解决获得状态变化的开始和结束时间需对海量数据进行全局搜索工作量大的技术问题。

为实现上述目的，本发明提供了一种从海量数据中快速检索变化数据段的方法，包括以下步骤：

S1：将海量数据以一条数据为单位按顺序排序；

S2：将本条数据作为中数据段，前一条数据作为前数据段，后一条数据作为后数据段，三者联合形成一条新数据；

S3：查找所有新数据中：前数据段符合第一状态且中数据段符合第二状态的所有新数据，作为数据第一位置；中数据段符合第二状态且后数据段符合第三状态的所有新数据，作为数据第二位置。

作为本发明的方法的进一步改进：

S3还包括：

查找到前数据段符合第一状态且中数据段符合第二状态的所有新数据，按顺序编号，得到数据第一位置的所有新数据集；

查找到中数据段符合第二状态且后数据段符合第三状态的所有新数据，按顺序编号，得到数据第二位置的所有新数据集。

S3还包括：数据第一位置的所有新数据集和数据第二位置的所有新数据集，按顺序编号的规则相同；

将数据第一位置的所有新数据集以及数据第二位置的所有新数据集中具有相同编号的新数据进行连接，得到所有本条数据符合第二状态的数据连续段的第一位置、第二位置及数据。

第一状态和第三状态均为数据段为空，第二状态为数据段不为空。

数据第一位置为数据开始位置，数据第二位置为数据结束位置。

作为一个总的技术构思，本发明还提供了一种从海量数据中快速检索变化数据段的系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。

本发明具有以下有益效果：

本发明的从海量数据中快速检索变化数据段的方法，通过联合每条数据与前、后的数据，将不同数据记录之间的比较，转化为一条记录内不同数据字段之间的比较，使得原来需要全局搜索的作业，可以分布到多个节点上分布执行，快速检索出数据变化的开始、结束范围及其数据，也适用于多数据项及多状态值的数据的检索。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。