[发明专利]一种基于Apache Flink的分布式流体动力学计算方法

说明书

本发明公开了一种基于ApacheFlink的分布式流体动力学计算方法，包括如下步骤：数据采集：接收特定流域所产生的流体数据，使用分布式收集实时采集的流体数据；数据清洗：使用Flink平台的map算子拆分功能，将采集到的流体数据一行一行转换出来，使用Flink平台的flatmap算子拆分功能，将每条流体数据记录由一行转换成多行，使用Flink平台的keyby算子分区功能，将每条流体数据记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区。本发明通过使用使用flink框架，数据实时性处理很强，不会产生数据的延迟，保证数据的一致性，数据的吞吐量很强，即数据可以频繁的写入到flink当中且不会丢失。

技术领域

本发明涉及流体动力学技术领域，尤其涉及一种基于Apache Flink的分布式流体动力学计算方法。

背景技术

随着计算机技术及大规模并行计算技术的迅猛发展，计算流体力学已经成为一种常用的流体力学研究方法，在科学研究和工程应用领域具有非常广泛的应用。然而，流体流动现象非常复杂，求解流体流动的控制方程难度较高，流体流场细节不足以满足相关的计算要求，计算效率不高，数据处理慢，且数据容易丢失。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于Apache Flink的分布式流体动力学计算方法。

本发明提出的一种基于Apache Flink的分布式流体动力学计算方法，包括如下步骤：

S1数据采集：接收特定流域所产生的流体数据，使用分布式收集实时采集的流体数据；

S2数据清洗：使用Flink平台的map算子拆分功能，将采集到的流体数据一行一行转换出来，使用Flink平台的flatmap算子拆分功能，将每条流体数据记录由一行转换成多行，使用Flink平台的keyby算子分区功能，将每条流体数据记录按照速度值字段进行数据分区，将相同的速度值放到同一个分区，使用Flink平台的filter算子过滤功能，将分区数据过滤掉无用的数据，保留有用数据；

S3数据转换：使用Flink计算引擎解析清洗后的数据信息，并进行异步匹配对应的维度信息；

S4数据处理：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入数据信息的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到分布式存储数据库中。

优选的，所述步骤S1接收特定流域所产生的流体数据，对接收特定流域所产生的流体数据进行汇总，并进行分类存储。

优选的，所述步骤S2还包括数据分析，数据分析采用大数据分析平台，大数据分析平台包括Direct Pipeline、Apache Spark、Apache Flink和Google Cloud Dataflow。

优选的，所述大数据分析平台包括数据处理模块，数据处理模块用于生成数据加工处理程序。

优选的，所述大数据分析平台包括编译模块，编译模块集成于大数据分析平台，用于对数据加工处理程序进行编译，转换为大数据分析平台可执行的程序代码。

优选的，所述步骤S4开窗计算步骤：将各个不同的数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括多种结果。

优选的，所述步骤S4结果封装步骤：令第一计算结果接入Apache Flink进行指标计算，过滤无效数据，按照类型进行分割后，进行开窗计算，把流体数据转换为Table流数据，使用FlinkSql对数据按照多维度进行分组排序,分别产生不同的指标，形成第二计算结果并进行封装。

优选的，所述步骤S4存储到分布式存储数据库中：将结果数据写入到分布式存储数据库中。