[发明专利]基于数据并行的时间序列分析方法与系统

摘要

本发明的公开了一种基于数据并行的时间序列分析方法及系统，本方法在解决时间序列数据分析问题时，不需要划分应用程序，也不需要将问题映射到分布式进程集合，根据本方法设计的应用程序将数据作为一个整体对待，运行时由计算平台自适应地创建进程，无需人为干预；本方法采用分段冗余的方式，通过计算过程中的数据冗余减少了通信量，提高了并行效率，并且对各计算节点的任务量平均分配，降低了集群资源要求，故不需要解决通信延迟大和负载不平衡的问题；根据本方法所适用的计算平台，设计出的应用程序可靠性强，即便某个进程或计算节点失效，剩余计算任务也可由其他进程或计算节点接替和完成，可以保证计算结果的正确性。

主权项

基于数据并行的时间序列分析方法，其步骤如下：a.输入分析时间序列数据所要使用的分析算法；b.在指定分析算法后，根据待分析的时间序列数据的周期特性，在分布式集群的主节点上，生成分析计算时所需要的并行参数；所述步骤b具体包括如下步骤：(b1)根据输入的时间序列数据文件，在满足能够保留与输入的原始时间序列数据一致的周期特性和小于分布式集群中单节点分析运算所能容纳的最大规模两个条件下，对该时间序列数据文件进行取样，在分布式集群的主节点上生成时间序列样本；(b2)根据给定的分析算法，对时间序列样本的整体进行分析，得到串行分析结果；(b3)对于给定的分析算法，设定不同的分段长度和冗余范围，对时间序列样本进行多次迭代分析，即通过分段、冗余、分析、去除冗余以及合成分段的操作得到多次模拟并行分析结果；(b4)比较多次模拟并行分析结果与串行分析结果之间的相似程度，将相似程度高于阈值范围的单个或多个结果对应的冗余范围作为候选项，再在候选项中选择相似程度最高的结果所对应的冗余范围作为分析计算时所需的第一并行参数；(b5)根据分析结果的相似程度，选择符合阈值范围的单个或多个分段长度作为候选值，再根据分段长度对分布式集群上运行分析算法的时空复杂度影响，在候选值中确定最优的分段长度，作为分析计算时所需的第二并行参数，c.根据输入的并行参数，在分布式集群的所有节点上，对时间序列数据进行分析计算，生成分析结果，所述步骤c具体包括如下步骤：(c1)根据并行参数，在分布式集群上对输入的原始时间序列数据进行划分和冗余，在分布式集群的各个节点上形成并行单元；(c2)利用输入的分析算法，在分布式集群上对各个并行单元进行分析运算，得到各个子序列所形成的并行单元的分析结果；(c3)根据并行参数和对应子序列划分的顺序，去除各个并行单元的分析结果中的冗余并进行拼接，生成最终的分析结果，并对其进行保存。