[发明专利]多引擎大数据平台

说明书

多引擎大数据平台，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，分析引擎用于实现不同场景的分析功能，计算引擎用于作为分析引擎的基础提供大数据的分析处理功能，本发明通过Hadoop技术，采用多引擎架构为数据来源多样化、数据类型多样化、不同行业的服务型企业提供大数据平台解决方案。

技术领域

本发明涉及大数据技术领域，具体涉及一种多引擎大数据平台。

背景技术

以移动互联网、云计算、大数据和人工智能为代表的新一轮科技创新，正在快速改变传统的生产与管理方式，对服务型企业的经营模式甚至中介功能形成全面冲击，服务型企业能否用好大数据，加快创新实现转型，决定了其未来的可持续发展能力。

传统以关系型数据仓库为基础的数据分析平台已满足不了当前业务发展的需求，服务型企业需要利用以云计算、大数据为核心的技术手段，将过去单一性的平台升级至一个多样化的生态系统，使之不仅能够满足基于数据容量大、类型多、流通快的大数据基本处理需求，能够支持大数据的采集、存储、处理和分析，而且能够满足架构在可用性、可扩展性、容错性等方面的基本准则和用原始的格式来实现数据分析的基本要求。

公布号CN104199830A的专利名称为搜索引擎优化大数据管理平台，提出了一款基于SEO（搜索引擎优化）追踪，整合网站所有流量，然后统计、分析和管理的大数据平台，通过每天抓取网站SEO（搜索引擎优化）主要指标，整合关键词排名、网站外链、网站收录和网站流量等多个维度的数据，及时通知站长影响网站表现的因素；该专利解决的问题是为需要从网络收集信息的客户提供一种新型的数据采集方法。然而，现今的服务型企业的数据来源多样化，除了从互联网抓取之外，还有能够从很多公开的数据平台和统计中心获得，因此，该方法仅适用于从互联网抓取数据的企业，不适用于需要数据来源多样化采集的企业。

公布号CN106844755A的专利提供了一种基于搜索引擎的数据资产快速检索方法，提出通过使用solr搜索引擎及mllib中的智能推荐算法实现大数据搜索引擎及推荐引擎的构建，由于solr和mllib适用于文本（如WORD、PDF）的处理，如果数据类型中包括图片、音频和视频则无法处理，因此，该方法不适用于数据类型多样化的企业。

公布号CN108038773A的专利提供了一种基于多引擎集成技术的医疗健康大数据服务方法，包括构建医疗DTP综合管理平台，医疗DTP综合管理平台包括数联引擎、互联引擎和物联引擎，数联引擎采集原料药制药商端和制药商端的订单数据，数联引擎将采集到的订单数据实时输出给医院端、零售药店端和网上药店端，互联引擎采集制药商端的运营数据、第三方物流服务商端的安全数据，互联引擎将采集到的安全数据实时输出给患者端，患者端同时也能接收到医院端的处方数据，物联引擎采集第三方物流服务商端的GIS数据和药品温湿度数据，数联引擎、互联引擎和物联引擎分别对各自采集到的数据进行挖掘分析，输出相应的结果供需求各方参考；该方法针对医院、零售药店以及网上药店企业，不适用于其他行业的企业。

Hadoop生态系统凭借其低廉的软硬件成本、强大的并行计算能力、丰富的数据采集通道、支持多种数据类型和多样化的计算查询引擎，已成为大数据技术标准和企业标配，为数据来源多样化、数据类型多样化、不同行业的服务型企业搭建大数据平台提供了解决方案。

发明内容

本发明的目的是提供多引擎大数据平台，通过Hadoop技术，采用多引擎架构为数据来源多样化、数据类型多样化、不同行业的服务型企业提供大数据平台解决方案。