[发明专利]一种智慧城市海量数据采集优化方法

权利要求书

1.一种智慧城市海量水利数据采集优化方法，其特征在于，包括：

步骤1，对已部署的水利数据采集终端设备增加基于事件触发的功能模块；

步骤2，对水利数据采集的大数据进行分布式和集中式双架构处理；

步骤3，设定触发功能的优先级高低顺序，包括：故障告警模式、事件及时模式以及非实时性中断模式；

步骤4，功能模块获取设备运行状态值，功能模块对数据信号进行判断，根据判断规则，如不符合判断规则则触发故障告警模式，直接发送设备运行故障信息数据至平台数据交换库，如符合判断规则则执行步骤5；

步骤5，功能模块触发事件及时模式，执行发送水利数据到分布式架构下的事件数据仓库；

步骤6，在事件数据仓库中建水利事实数据表、时间维度表、区域维度表、设备特征维度表和水利属性维度表；

步骤7，将水利数据的原始信息按时间维度表、区域维度表、设备类型维度表和水利属性维度表分别存入各表；

步骤8，将步骤7中的各维度表插入到单一事件事实表和周期事实表中；

步骤9，将单一事件事实表进行数据持久操作至底层数据库，事件数据仓库内对于周期事实表中的水利数据进行处理，包括：

步骤9.1，抽取以日为时间粒度的水利基础数据并放入缓存；

步骤9.2，执行对缓存中的水利数据的查询；

步骤9.3，根据查询结果输出以降雨量、水位、流量为三个数据结果集；

步骤9.4，将降雨量、水位、流量的数据与设计的参数指标值进行比较，如符合参数指标值，执行步骤10，如否则执行步骤11；

步骤10，执行对所得数据结果集的数据持久化；

步骤11，执行对所得数据结果集在低粒度级的底层数据库中做更新操作；

步骤12，执行对步骤10在事件数据仓库中的事件数据分割；

步骤13，执行对步骤11在事件数据仓库中的业务数据分割；

步骤14，执行功能模块在系统因资源占用无法继续执行故障告警模式或事件及时模式，或高优先级任务退出后需要实现低优先级任务执行环境的恢复。

2.根据权利要求1所述的方法，其特征在于，步骤1中，水利数据采集终端设备的数据信号经过A/D转换器后通过时钟分配器，设定两个独立的A时钟域和B时钟域，如数据信息不延时，则以A时钟的宽度分配寄存地址；如数据信息延时，则以B时钟的宽度分配到寄存地址；设定寄存数据形成以A时钟和B时钟宽度的并按照时间先后顺序的数据循环队列，数据缓存控制器读取数据循环队列中的数据；在数据缓存控制器中以10个缓存数据为一个周期单元，且把每个单元和与其相邻的两个单元作为一个对前端设备运行状态的判断点；如果单一单元内的缓存数据信息完整度达到85％，且三个单元内的A时钟宽度数据比例不低于60％，同时B时钟宽度数据比例不高于40％，则数据缓存控制器触发事件及时功能并输出数据；否则，则数据缓存控制器触发故障告警但仍输出数据；判断缓存数据控制器中的数据量是否满，如满则中断对数据的输入触发模块的非实时性中断功能，否则继续读取数据。

3.根据权利要求1所述的方法，其特征在于，步骤2中包括：

步骤2.1，对水利大数据的分布式架构包括：对整个水利数据采集区域划分为河道区、泵站闸口区、水库堤坝区以及灌排区；对多个河道区，泵站闸口区、水库堤坝区、灌排区的构建相互独立的数据仓库；

步骤2.2，对水利大数据的集中式架构包括：基于步骤2.1已建立的分布式数据仓库来建立集中式的数据仓库。

4.根据权利要求1所述的方法，其特征在于，步骤6包括：

步骤6.1，构建水利数据单一事件事实表和周期事实表，单一事实表为水利低粒度级，周期事实表为水利事件数据的累积的高粒度级，事件数据表包含高程、水位、流量、雨量、蓄水量、蒸发量、温度以及水流速；

步骤6.2，构建水利数据的维度表，无变化维度为区域维度表和设备特征维度表；常变化维度为时间维度表和水利属性维度表。

5.根据权利要求1所述的方法，其特征在于，步骤9中，将降雨量、水位、流量的数据与设计的参数指标值进行比较，包括：

河道区、泵站闸口区、水库堤坝区、灌排区四个区域内的实时降雨量有效数据和近一小时时段降雨数值的平均值是否大于警戒的指标值，如低于就判定降雨量数据有效；

对于符合以下规则描述的降雨量、水位和流量数据结果集认定为有效数据：

在日降雨量数据值在n年平均时段降雨量的正负一个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负一个标准差范围内；在日降雨量数据值达到当月平均时段降水数值的正负两个标准差范围内之间，同一时段的有效水位数据结果集和流量数据结果集的增加或减少的幅度也在上一组数据的正负两个标准差范围内以内；在日降雨量数据值超过近8小时降雨量数值的正负三个标准差范围内，同一时段的有效水位数据结果集和流量数据结果集的增加的幅度也在上一组数据的正负三个标准差范围内。