[发明专利]基于海量数据的大数据挖掘系统

说明书

本发明公开了一种基于海量数据的大数据挖掘系统，该系统包括：服务中间层、基础能力支持层以及业务应用层；其中，所述业务应用层作为使用者存在，属于用户层面的业务应用；所述服务中间层的作用是承上启下，是基础能力支持层与业务应用层之间的连接桥梁；所述基础能力支持层处在最底层，其能力是最基本的大数据处理和存储。本发明方案在数据量激增的时代，通过系统的海量数据存储和挖掘能力，方便用户的使用，用户只需对系统接口进行访问即可获取具体的服务，也即是说用户在应用过程中只需重点关注本身的业务逻辑即可，实现了用户更快速、准确、直观的获取所需信息。

技术领域

本发明属于数据挖掘技术领域，涉及一种基于海量数据的大数据挖掘系统。

背景技术

互联网的用户伴随互联网和信息技术的飞速发展也在快速增加，目前每天使用人数达到数十亿，用户的互联网操作行为直接导致了大量信息数据的产生。但大数据时代的到来，给人们带来丰富信息量的同时，也给人们获取有效数据带来不便。

有统计数据显示，全球数据总量每年在以ZB(1ZB＝10²¹KB)为单位增长，其中有接近9成以上的数据产生于近几年，全球的数据总量预计在2020年能达到40ZB。飞速增长的数据量带领人们直接迈入了“信息过载”的时代环境中，人们希望通过这些数据的保存和分析，对其背后隐含的价值和模式进行深入的研究和提取。但怎样从海量的数据里迅速、准确的获取所需信息是目前亟待解决的难题。

新的问题和需求必将带来新的挑战，具体体现为大数据的处理、存储以及具体的数据挖掘方法。

申请公布号为CN105933461A的发明专利申请公开了一种“大数据平台系统及其运行方法”，该发明专利所述大数据平台系统包括：应用层、服务层、功能层、平台层和采集层；采集层包括移动终端和互联网，大数据系统通过这两个渠道采集数据，通过用户在移动终端和计算机等互联网工具上的浏览记录、点评等动作搜集数据；平台层由大数据存储平台、大数据计算平台和多数据中心调度引擎构成，平台层提供了大数据分布式存储系统。该发明的系统框架完整，功能齐全，涵盖互联网上的大连数据资源，通过大数据分布式存储系统、分布式数据挖掘运行时系统和智能数据中心联合调度技术实现了对数据高效、快速的存储、计算、整合和调度，提高了大数据平台系统的处理能力，且系统能够稳定运行。

申请公布号为CN105975640A的发明专利申请公开了“一种大数据质量管理与有用数据挖掘装置”，该发明专利所述装置包括：数据质量管理模块和有用数据挖掘模块，其中质量管理模块包括初步处理子模块、数据描述子模块、数据质量评价子模块和数据质量分级管理子模块，有用数据挖掘模块包括数据预处理子模块、有用数据构建子模块、有用数据修正子模块和有用数据分层挖掘子模块。

上述专利提供的装置或系统中所含功能模块均为开发系统时一并开发的组成部分，无法实现底层数据挖掘功能对上层实际应用开发的透明性，提高了系统的复杂性，增加了开发投入与维护的成本，同时也降低了开发者的效率。

发明内容

本发明目的在于提供一种基于海量数据的大数据挖掘系统，在数据量激增的时代，通过系统的海量数据存储和挖掘能力，方便用户的使用，用户只需对系统接口进行访问即可获取具体的服务，也即是说用户在应用过程中只需重点关注本身的业务逻辑即可，实现了用户更快速、准确、直观的获取所需信息，有效地缓解了当前海量数据对用户有效信息收索工作的冲击，节约了数据挖掘方面的成本。

为解决上述技术问题，本发明采用如下的技术方案：一种基于海量数据的大数据挖掘系统，该系统包括：服务中间层、基础能力支持层以及业务应用层；其中，所述业务应用层作为使用者存在，属于用户层面的业务应用：所述服务中间层的作用是承上启下，是基础能力支持层与业务应用层之间的连接桥梁；所述基础能力支持层处在最底层，其能力是最基本的大数据处理和存储。