[发明专利]一种智慧建筑管理平台中的数据处理方法

说明书

本发明公开了一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块。本发明根据数据的不同类型，结合微服务应用，提供多种的数据处理方法，实现了将各类数据读写拆分成不同的服务实现，并通过消息中间件和消息队列的方式，实现了业务场景中数据处理流程的独立规划，提升了业务体验，并满足了数据时效性的要求；通过接口实现数据交互，在接口前通过所有接口注册在公共负载均衡服务器协助实现服务的高可用，实现请求的集中管理、流控、隔离、监控；并通过采集过程的数据清洗机制，以及数据恢复机制，提高了数据的准确性和易用性。

技术领域

本发明涉及智能建筑技术领域，特别涉及一种智慧建筑管理平台中的数据处理方法。

背景技术

随着智慧建筑的快速发展，以及自动控制技术和网络通信技术的不断进步，建筑系统的规模日趋庞大和复杂，传统的集中式数据存储数据架构形式已经不能满足深入且日益丰富的建筑应用需求。

建筑内部涉及数十个系统，传统式单体架构主要基于集中式的关系性数据库实现存储，大多数将架构分为计算层和存储层，但是随着时间的推移，业务越来越多，系统逐渐变得很大，越来越难以维护和升级，数据库是唯一的准确数据源，每个应用都需要访问数据库来获取对应的数据，如果数据库发生改变或者出现问题，则将对整个系统产生影响。

发明内容

本发明的目的在于提供一种智慧建筑管理平台中的数据处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块；所述数据治理模块包括数据准确性验证模块用以对采集的数据类型应用对应的数据质量模型；所述数据中转模块从数据治理模块获取数据，并推送至数据存储、计算、应用等模块；所述数据实时计算模块根据计算配置信息，从数据中转模块获取计算源数据，并且计算后将结果分别返回至数据中转模块和推送至数据存储模块；所述数据离线计算模块根据计算配置信息，从数据库中获取计算源数据，并且计算后将结果返回至数据存储模块；所述数据存储模块包括内存数据库、时序数据库、业务数据库和日志数据库的数据存储；所述数据应用模块为平台业务数据的微服务。

作为本发明技术方案的改进，所述数据治理模块还包括数据修复模块，通过采用均值填充法、插值法、回归填补法等统计学方法对缺失数据进行填充。

作为本发明技术方案的改进，所述数据中转模块采用采用分布式的、分区的、多副本的消息队列方式，实现高效的数据抓取与转发。

作为本发明技术方案的改进，所述数据应用模块包括实时展示服务、报警服务、作业调度服务、工作流服务、模型渲染服务、规则服务、日志服务。

作为本发明技术方案的改进，所述数据应用模块从数据存储模块获取数据，并以功能服务的方式，将数据整理好并返回给数据应用模块。

作为本发明技术方案的改进，所述数据实时计算模块和数据离线计算模块为一个计算引擎服务为中心，可以为智能建筑管理平台提供优化控制逻辑、诊断报警、数据计算、联动控制、模式控制功能的应用。

作为本发明技术方案的改进，所述数据实时计算模块和数据离线计算模块通过定义的接口自动从消息对接或者数据库获取输入数据，经过相应的策略计算，再把计算结果返回到数据库中。

作为本发明技术方案的改进，所述数据存储模块对接收的实时数据或存入数据存储层的数据进行数据处理，处理完成之后根据数据结构类型分别存入。

作为本发明技术方案的改进，所述数据存储模块采用混合存储架构，支持数据异构存储、结构化、非结构化数据、时序数据混合存储，并支持异构混合存储的融合计算与分析。

本发明的技术效果和优点：