[发明专利]一种智慧城市海量数据采集优化方法

说明书

本发明涉及到对于水利信息化设备的智能控制，并能在特定的事件中通过对数据的快速处理来达到对水利信息化的高效管理。本方法通过在前端数据采集设备中增加事件触发功能，在事件发生过程中能优先将数据发送至分布架构中特定数据仓库中，并在数据仓库设定不同的粒度级并在粒度级上划分不同的数据域，通过对雨量、水位和流量三个关键数据点的抓取，加速在事件中对海量水利数据的批量处理，实现数据存储和访问的高效率，提升整个系统深度数据分析的能力。

技术领域

本发明涉及一种计算机梳理数据处理方法，特别是一种智慧城市海量数据采集优化方法。

背景技术

随着现代计算机信息技术的高速发展，结合互联网络，水利行业在信息采集技术和手段、远程数据传输方式、信息后处理方法等方面都取得的较大的进步，并根据行业发展需求分阶段进行了水利信息化建设，并初步构建以智慧水利大数据分析为基础的综合管理平台。

伴随着水利前端采集设备越来越智能化、功能集成化程度也越来越高，但在软件方面依旧存在着分散管理、重复开发、复用率低等弊端。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种智慧城市海量数据采集优化方法。

为了解决上述技术问题，本发明公开了一种智慧城市海量水利数据采集优化方法，包括：

步骤1，对已部署的水利数据采集终端设备增加基于事件触发的功能模块；

步骤2，对水利数据采集的大数据进行分布式和集中式双架构处理；

步骤3，设定触发功能的优先级高低顺序，包括：故障告警模式、事件及时模式以及非实时性中断模式；

步骤4，功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则如否则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如是则执行步骤5；

步骤5，功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；

步骤6，在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；

步骤7，将水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；

步骤8，将步骤7中的各维度表插入到单一事件事实表和周期事实表中；

步骤9，将单一事件事实表进行数据持久操作至底层数据库，事件数据仓库内对于周期事实表中的水利数据进行处理，包括：

步骤9.1，抽取以日为时间粒度的水利基础数据并放入缓存；

步骤9.2，执行对缓存中的水利数据的查询；

步骤9.3，根据查询结果输出以降雨量、水位、流量为三个数据结果集；

步骤9.4，将降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；

步骤10，执行对所得数据结果集的数据持久化；

步骤11，执行对所得数据结果集在低粒度级的底层数据库中做更新操作；

步骤12，执行对步骤10在事件数据仓库中的事件数据分割；

步骤13，执行对步骤11在事件数据仓库中的业务数据分割；

步骤14，执行功能模块在系统因资源占用无法继续执行故障告警模式或事件及时模式，或高优先级任务退出后需要实现低优先级任务执行环境的恢复。