[发明专利]一种应用于城市辅助决策分析的数据处理方法及装置

说明书

一种应用于城市辅助决策分析的数据处理方法及装置，通过特征标签生成器建立数据源特征标签模型，建立数据特征全局映射表；提取数据源特征标签输入到数据特征编码生成器，依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；根据数据分析模型及数据应用场景生成数据需求特征标签并输入到数据特征编码生成器生成全局唯一的数据需求特征编码；构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；当监测到满足匹配度的特征数据源时，根据数据源对接规则触发展示更新或升级流程。降低技术和业务门槛、减少人工投入、缩短工作周期。

技术领域

本发明实施例涉及数据可视化分析处理技术领域，具体涉及一种应用于城市辅助决策分析的数据处理方法及装置。

背景技术

城市辅助决策分析应用需要融合众多政府部门和社会结构的数据进行挖掘、分析和可视化呈现，所需数据类型众多、来源不同、格式不同、数据量巨大，即便经过清洗、梳理、分类后仍然错综复杂。

目前，辅助决策分析应用的构建主要是由业务领域专家、数据分析师、数据工程师、软件工程师构成的联合团队，采用数据库工具、OLAP工具、BI工具、编程语言等技术来完成。这种基于大数据构建辅助决策分析应用的模式存在着较多的局限性：

第一、门槛高，难度大。辅助决策分析模型的构建需要在对业务有深刻理解的情况下，通过复杂的数据分析以及程序开发才能完成，这就需要相关人员或团队既深刻理解业务，又掌握数据分析开发相关技能。数据分析相关技术本身就具有较高的门槛，而要与业务相结合则会面临更大的挑战。为此，亟需通过技术方法降低数据处理和分析的技术门槛，帮助理解业务的人员可以相对比较容易地调用数据进行分析才能缓解此类问题。

第二、缺乏敏捷性，难以适应需求变化。由于数据的多源性和复杂性，而现有工作模式往往将应用场景、分析模型和数据进行了非常紧密的绑定，这造成了一旦需求发生变化或者数据源增加或者变化就需要从源头开始进行数据梳理和模型重构，这使得整个应用过程缺乏弹性，难以适应数据和数据变化。

第三、周期长，成本高。由于数据来源多、差异化大、模型构建业务门槛、技术门槛高，模型构建需要具备专业不断测试、验证、优化和迭代改进，因此整个过程周期长，成本高。

发明内容

为此，本发明实施例提供一种应用于城市辅助决策分析的数据处理方法及装置，解决了数据源接入后需要投入多种专业人才花费大量时间进行处理的问题，在降低成本的同事大幅度提升了辅助决策分析应用的敏捷性，实现在智慧城市辅助决策分析过程中可以快速接入不同来源、不同类型、不同形式的数据，并将数据与处理路径、分析模型、应用和展示场景进行高效率的匹配，大幅提升智慧城市大数据分析和应用开发的敏捷性和实用性。

为了实现上述目的，本发明实施例提供如下技术方案：一种应用于城市辅助决策分析的数据处理方法，包括以下步骤：

通过特征标签生成器建立数据源特征标签模型，对所述数据源特征标签建立数据特征全局映射表；

提取数据源特征标签输入到数据特征编码生成器，依据数据源特征标签的编码映射规则为数据源生成全局唯一的数据源特征编码；

根据数据分析模型及数据应用场景生成数据需求特征标签，将所述数据需求特征标签输入到所述数据特征编码生成器，为所述数据分析模型和数据应用场景生成全局唯一的数据需求特征编码；

构建数据接入触发器，当有数据源接入时获取数据源特征编码并检索与数据源匹配的数据需求特征编码，计算数据源与数据需求的匹配度；

预先设定数据分析模型和数据应用场景的数据源对接规则，当监测到满足匹配度的特征数据源时，根据所述数据源对接规则触发数据融合计算、模型分析和拼接，展示更新或升级流程。