[发明专利]基于大数据平台的大坝变形预测方法

说明书

本发明提供了一种基于大数据平台的大坝变形预测方法，包括以下步骤：针对大坝变形监测的离线历史数据和实时在线数据，采用Flume‑Kafka‑Storm分布式数据采集处理机制对数据进行采集和汇总；将数据源中的数据抽取到临时中间层，对数据进行清洗和转换，然后将清洗和转换后的数据加载至HDFS分布式文件系统；根据具体大坝变形预测需求，从影响大坝变形的特征集合中选取一组最有效的特征子集；基于大数据人工智能算法建立MapReduce或者Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测。本发明建立基于大数据人工智能算法的大坝变形预测模型，实现大数据平台下一种新的大坝变形预测方法，提高大坝变形预测效率和精度。

技术领域

本发明涉及大坝变形预测领域，尤其涉及一种基于大数据平台的大坝变形预测方法。

背景技术

大坝是调度水利资源时空分布、合理配置水资源重要的工程措施，也是防洪工程体系的关键组成部分，大多建造在水文、工程地质条件复杂环境中，且承受着巨大荷载。大坝安全监测是掌控大坝运行性态的重要手段，且为判断大坝安全与否的科学依据。对其进行实时监测，利用大量的变形观测资料，进行及时分析和处理，建立变形预测模型，分析评价大坝安全状态是确保大坝安全运行的重要手段。

大坝的变形监测工作是借助一些传统或现代的安全监测仪器，遵循一定的测量方法和测量技术规范，获取大坝安全性态的实时动态的数据资料，并进行分析处理、模型预测和安全评价的工作。由于大坝受诸多类似水压力、扬压力、温度、时间以及许多其他不确定性因素的影响，传统数学物理模型都是建立在一定假设的基础之上，即假定每次观测都相互独立，观测误差的数学期望为零且呈正太分布；大坝变形与影响特征呈现很强的非线性关系，使得大坝变形预测成为一种复杂的非线性动力系统，传统预测模型难以描述此类复杂的非线性关系，拟合效果欠佳；预测模型泛化能力和鲁棒性也较弱。

大坝变形监测数据种类多、体量大，且数据资源蕴含丰富价值，传统的理论、方法及工具已越来越难以存储和计算如此超大规模数据集，面对当前海量、异构、多源数据，大坝变形预测方法对技术处理能力提出了更高的要求，现有数据处理以单节点计算为主，缺乏并行计算处理能力；以传统离线处理为主，缺乏实时在线处理。

发明内容

本发明的目的在于提供一种基于大数据平台的大坝变形预测方法，旨在用于解决现有的大坝变形预测方法的数据处理以单节点计算为主，缺乏并行计算处理能力，以传统离线处理为主，缺乏实时在线处理的问题。

本发明是这样实现的：

本发明提供一种基于大数据平台的大坝变形预测方法，包括以下步骤：

S1，针对大坝变形监测的离线历史数据和实时在线数据，包括结构化数据、半结构化数据和非结构化数据，采用Flume-Kafka-Storm分布式数据采集处理机制对数据进行采集和汇总；

S2，将数据源中的数据抽取到临时中间层，对数据进行清洗和转换，然后将清洗和转换后的数据加载至HDFS分布式文件系统；

S3，根据具体大坝变形预测需求，从影响大坝变形的特征集合中选取一组最有效的特征子集；

S4，基于大数据人工智能算法建立MapReduce或者Spark大数据并行计算框架之上的KNN并行化算法预测模型并对大坝变形进行预测。

进一步地，所述步骤S2中对数据进行清洗和转换具体包括：对数据的解析、去重、筛选、清洗、合并、分类、转换和增强操作。

进一步地，所述步骤S2中将数据加载至HDFS分布式文件系统具体包括：对于结构化数据，以文本文件形式加载至HDFS或迁移至HBase，并设置相应的一级索引和二级索引；对于非结构化数据，以二进制的方式加载至HDFS，并将其路径存储于HBase。