[发明专利]基于大数据的水生态承载力分析方法

说明书

本发明涉及大数据技术领域，具体来说是基于大数据的水生态承载力分析方法。其主要在于重新归纳选取了水生态承载力分析所需的大数据来源,利用HDFS强大的数据存储、管理功能，解决水资源数据量的问题，利用MapReduce及Sqoop等工具，快速处理水资源数据，最后将数据存储到数据库中。然后根据生态足迹和生态承载力计算公式抽取所需要的数据，利用已有数据训练水生态承载力模型，最后将流域范围内该年的数据输入已训练好的模型中，输出生态足迹(EF)评估值，与生态承载力相比较，得出该年流域内生态承载力是否赤字或盈余。本发明通过实际案例验证了模型的准确性。

技术领域

本发明涉及大数据技术与水环境信息应用领域，具体来说是一种基于大数据的水生态承载力分析方法。

背景技术

随着全球气候变暖，经济和人民物质的提高，工业、生产生活方面的用水量增加，导致对水资源的使用加剧，导致环境污染加重，从海量监测数据中进行承载力分析变得更加有意义。水生态承载力分析：就是对水生态环境在一定的特定环境下，生态系统的自我调节与自我维持能力，以及资源与环境子系统的供给能力。为了提高生态承载力的多样性研究，提出了基于大数据的水生态承载力模型。

在科学技术、IT技术以及传感技术等现在技术的迅猛发展下，全面扩展了环境的时空尺度的监测，导致监测数据的数量种类的海量增长。将大数据技术应用其中是必然的趋势。目前生态承载力计算的难点主要在于计算比较复杂，在面对海量监测数据时，得到的结果不准确。

针对目前水生态承载力分析研究中的问题，本文提出了一种基于大数据的水生态承载力分析模型，以提高数据结果的准确性以及简化计算结果的复杂性，提高生态承载力分析计算的多样性。

发明内容

针对现有技术的不足，本发明提供一种基于大数据的水生态承载力分析模型，解决了相关水资源数据量大、水生态数据多样的特点，解决了计算水生态承载力的复杂性、数据固定化的传统思维，增加数据多样性的特点，提高了计算水生态承载力分析计算的效率。

本发明采用技术方案如下：

一种基于大数据的水生态承载力分析方法，包括以下步骤：

(1)采集监测数据存储到数据中心，进行预处理后保存至HDFS中；

(2)通过MapReduce对HDFS中的数据进行转换，生成Hive数据表；

(3)通过Sqoop工具将Hive数据表加载到MySql数据库中；

(4)利用MySql数据库中已有的数据以及Hive数据表中的监测数据进行生态承载力足迹计算；

(5)将MySql数据库中已有的数据以及Hive数据表中的监测数据作为生态承载力模型的输入，将计算所得的生态承载力足迹的值作为水生态承载力模型的输出，对水生态承载力模型进行训练；

(6)将待测区域的数据输入到训练好的水生态承载力模型中，得到生态承载力足迹的值作为生态足迹评估值；

(7)将水生态承载力模型输出的生态足迹评估值与总生态承载力值比较，得出生态赤字或盈余情况。

所述监测数据包括环境污染数据。

所述已有数据包括人类活动数据、生态数据。

步骤(2)包括以下步骤：将HDFS中的数据，通过Hive工具制定的规则编写SQL脚本，将SQL脚本翻译成MapReduce任务，提交任务给JobTracce,执行程序中的Map操作和Reduce操作映射至TaskTracer节点，进行MapRedece计算，计算后的结果生成Hive数据表。

所述水生态承载力模型的输入数据分为三个部分，包括生态压力层数据、生态承载力层数据、生态弹性力层数据；