[发明专利]企业运营数据的处理方法

说明书

本发明提供一种企业运营数据的处理方法，包括：数据抽取步骤，用于从多种不同系统中抽取数据；数据存储与处理步骤，用于将抽取到的数据存储到分布式存储架构搭建数据仓库中；数据挖掘与数据计算，用于对运营数据进行数据挖掘与数据计算，以获取可满足单业务分析及多业务分析需要的数据。本发明实施例的上述方案实现权限内数据从数据仓库抽取至大数据平台进行数据计算与挖掘，形成企业运营数据资产。数据集市从数据仓库与大数据平台抽取健全的数据资产，结合主数据模型支撑上层应用开发。

技术领域

本发明实施例涉及数据处理技术领域，特别涉及企业运营数据的处理方法。

背景技术

强化运营管理商业智能，已经成为全世界、各行业普遍关注、亟待提升的命题。世界领先的制造企业均通过集约化运营管理、加强运营监控、提高运营管理的商业智能等手段来提升企业核心竞争力。自1996年“商业智能”这一概念被Gartner机构提出，伴随ERP等企业事务处理过程系统在世界各大企业的深入融合应用以及大数据、数据挖掘、数据仓库、AI等先进技术日益发展成熟，运营管理商业智能在世界范围内，尤其是制造业及流通企业展现了前所未有的市场前景。包括微软、IBM、Oracle、SAP在内的著名IT厂商纷纷致力于该领域内解决方案的研究。

近年来，我国多项政策均有涉及到推进AI技术在商业领域实现落地的内容。国内各行业大型企业已经建设完备并深化推广应用ERP、CRM、PLM等核心业务系统及综合协同办公系统，以支撑企业日常生产运营工作。随着运营管理数据的爆炸式增长，市场竞争日益加剧，为发掘数据背后的价值以获得快速决策和市场反应能力，各企业纷纷投入研发力量并规划建设企业一体化运营监控体系。

由于企业运营监控系统立足于企业以往建立的ERP、财务管控、CRM、 PLM、人力资源系统、生产制造系统、综合管理系统，甚至线下手工台账流程等系统之上，需要与既建多种系统进行集成以抽取各类业务数据，并对所得数据进行统一管理与应用。将面临数据来源系统接口多样、数据类型不统一、数据冗余、数据体量庞大、同步及管理困难等问题。但是现有技术中，对于此类运营数据还没有一种很好的数据处理方案。

发明内容

针对现有技术中的缺少对海量企业运营数据进行处理方法的问题，本发明实施例提出了一种企业运营数据的处理方法，能够对海量的企业运营数据进行有效和快速的处理。

为了解决上述问题，本发明实施例提出了一种自主可控数据库分布式集群的流式数据处理方法，包括：

数据抽取步骤，用于从多种不同系统中抽取数据；

数据存储与处理步骤，用于将抽取到的数据存储到分布式存储架构搭建数据仓库中；

数据挖掘与数据计算，用于对运营数据进行数据挖掘与数据计算，以获取可满足单业务分析及多业务分析需要的数据。

其中，所述数据抽取步骤包括：

通过SmartHub从不同的企业运营系统中抽取数据；其中所述SmartHub 为支持DB、日志、API类型的数据中进行数据采集的插件，且能够对数据采集的过程进行实时的一致性检测，并对采集过程中出现的异常进行及时告警。

其中，所述企业运营系统包括以下的至少一种：ERP、财务管控、CRM、 PLM、人力资源、生产制造数据系统；其中所述数据抽取步骤用于从所述企业营业系统的数据接口或中间库进行历史数据与实时数据的抽取；还用于从没有数据接口或中间库的企业运营系统中的数据通过EXCEL表的形式进行数据导入。

其中，所述数据存储与处理步骤包括：通过基于SG-RDB-PG数据库的分布式存储架构搭建数据仓库，在数据仓库内进行企业运营数据的存储、清洗转换以及加载。

其中，所述数据存储与处理步骤包括：