[发明专利]基于全生命周期的大数据实时建模方法及系统

说明书

本申请涉及基于全生命周期的大数据实时建模方法及系统，其中，所述大数据实时建模方法包括以下步骤：采用历史数据建立模型池；接收实时数据，验证所述模型池；在验证通过时，根据所述模型池输出所述实时数据的挖掘结果。上述实时建模方法，通过模型池及其验证，将历史数据及实时数据有机地结合起来，当验证通过即模型池适用时，根据模型池输出实时数据的挖掘结果，对全行业都适用，能够满足用户对企业级大数据进行分析和挖掘的需求，而且配置具体方案非常灵活，还能够自行根据实时数据转成历史数据的变化，保证了高度的扩展性。

技术领域

本申请涉及数据处理领域，特别是涉及基于全生命周期的大数据实时建模方法及系统。

背景技术

大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。随着云时代的来临，大数据也吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

在大数据时代，无论是社会宏观的大数据，还是公司微观的大数据，都需要数据挖掘。数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。数据挖掘已经引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等。所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。知识发现过程由以下三个阶段组成：数据准备；数据挖掘；结果表达和解释。数据挖掘可以与用户或知识库交互。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示三个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式(如可视化)将找出的规律表示出来。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。

CN104699717A提出了数据挖掘方法，所述方法包括：根据目标数据集中的记录统计每个目标对象的特征向量以构成粗糙数据集，每个所述特征向量包括其所对应的目标对象的至少一个属性数据的值；从所述粗糙数据集中筛选出所有已知的第一类目标对象所对应的特征向量，并对筛选出的特性向量执行过滤操作以获得样本；基于所述样本构建回归模型，并随之使用所构建的回归模型确定所有已知的第二类目标对象中的每个是否潜在地属于第一类目标对象。该发明所公开的数据挖掘方法能够根据目标对象的综合特征来挖掘和分类目标对象。