[发明专利]一种敏捷商业智能数据构建方法、系统、设备、存储介质

说明书

本发明公开了一种敏捷商业智能数据构建方法、系统、设备、存储介质，属于商业智能技术领域，该方法包括：数据库生成cube文件；cube文件根据原始数据建立数据模型；根据用户访问需求进行数据输出。当用户访问设计报表时，预先加载需要使用的字段的位图索引到内存。处理分组时，通过所述位图索引，对数据进行处理，经过转换生成需要的结果；通过多线程进行分组，多线程与内存映射文件生成汇总结果。汇总结果建立成数据立方体模型。处理列表为根据计算好位图索引的值的取制定行数据。本发明示例的技术方案，不产生冗余数据，对于大表关联计算的性能得到极强的提升。

技术领域

本发明涉及商业智能技术领域，尤其涉及面向行业数据提供数据分析支持的指标管理与应用，具体地说是一种敏捷商业智能数据构建方法、系统、设备、存储介质。

背景技术

当前社会中，“数据”已经渗透到每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，但近年来才因为互联网和信息行业的发展而引起人们的广泛关注。

无论任何新的概念或者技术，如果它没有应用价值，就肯定不会被推广，但如果它具有个人都能理解的“应用价值”，就会在今天被移动互联网快速传播、无限放大。无疑“大数据”就是这样发展起来的，同时人们也从其应用价值中接受了“数据化管理、数据化运营、数据化决策“等管理理念。这也是大数据能够成为驱动经济、社会进步与发展的原因。

与此同时，企业的经营面临越来越激烈的竞争，政府的转型也面临数据服务的压力，如果部署数据分析平台还像10年前经历漫长实施过程的话，那么数据化运营将成为空谈。于是满足市场期望的“敏捷商业智能“出现了，无论用户还是厂商，都希望能够在数据平台上构建分析系统的过程变得更加迅速、简单和高效。

然而，传统的重型BI(商业智能)需要手动写sql(结构化查询语言)建立模型，不仅学习成本大，而且需要在项目开始的时候就把所有业务需求收集确立好，否则如果后期产生了新的需求，就需要重写sql，重新建模。这样也就导致了项目需求沟通调研的时间长，令商业智能项目开发变成了一项漫长的马拉松，当季需求无法被及时响应，甚至上线之后业务人员因为技术障碍用不起来。

发明内容

为了解决上述现有技术中的不足，本发明的目的在于提供一种敏捷商业智能数据构建方法、系统、设备、存储介质，该敏捷商业智能数据构建方法能够根据关联关系进行数据匹配计算，保障了底层数据模型的灵活性和可拓展性，不产生冗余数据，对于大表关联计算的性能得到极强的提升。

本发明解决其技术问题所采用的技术方案为：

一方面，提供了一种敏捷商业智能数据构建方法，包括：

数据库生成cube文件；

cube文件根据原始数据建立数据模型，其中，所述原始数据来自于基础业务系统和通用硬件协议；

根据用户访问需求进行数据输出。

进一步的，所述根据原始数据建立数据模型，包括：

原始数据通过初步加工进入消息队列；

针对数据要求的时效性不同分别进行数据建模入库。

进一步的，所述初步加工包括：

数据清洗：将原始数据进行降噪处理；

数据丰富：将原始数据中的事件和对象进行关联。

进一步的，所述针对数据要求的时效性不同分别进行数据建模入库，包括：

数据时效性要求高的建立数据模型，通过统一分析服务进行呈现，数据异步入库；