[发明专利]基于大数据内容智能营销系统

说明书

本发明公开了一种基于大数据内容智能营销系统，包括引入了Event Time与WaterMark；通过Flink引擎做数据处理与预计算，整合多个应用平台的底层自有数据资产；根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；进行资源的调优，对实时数据流中的数据的元数据化；搭建中间件关联多个数据源进行实时数据混算。本发明属于计算引擎技术领域，具体是提供了一种基于常见的实时计算引擎，为解决计算数据的分布异构问题，搭建中间件，它位于平台(硬件和操作系统)和应用之间，为双方或者多方提供通用服务，具有标准的程序接口和协议的基于大数据内容智能营销系统。

技术领域

本发明属于计算引擎技术领域，具体是指一种基于大数据内容智能营销系统。

背景技术

现有技术基于用户画像识别的智能营销计算，包括数据清洗、数据计算、IDMapping、数据查询引擎；具体技术采用分析指标计算、数据聚合和输出数据、数据分析、标签管理，主要功能基于多来源与多格式数据下基于用户画像识别的智能营销计算；基于实时计算引擎解决数据处理，包括：检测是否有新的数据处理规则输入；通过实时计算引擎获取最新数据处理规则并对其进行解析；根据解析后的所述最新数据处理规则进行数据处理得到结果数据。

现有基于大数据内容智能营销系统的缺点，如下所示：

1)基于规则创建计算标签体系，数据量级较大时无法实时进行数据处理、计算引擎需耗费极高的物理资源；

2)传统的中间件设计都把注意力集中在中间件透明性上，而不用去关心分布性等问题，只是适用于特定种类的上层应用，没有与营销技术相结合，无法适应当前的移动计算环境；

3)需要有完善的数据中心，底座系统复杂且功能较重，适用的企业或客户寥寥，无法轻量级满足大部分中小型企业。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于常见的Spark、Flink实时计算引擎，流数据源主要都是用Kafka，计算平台底层集群使用YARN做资源调度，流计算的输出要覆盖线上业务所有需要的存储分析引擎，比如Elastic Search、Kafka、Hbase等等，为解决计算数据的分布异构问题，搭建中间件，它位于平台(硬件和操作系统)和应用之间，为双方或者多方提供通用服务，具有标准的程序接口和协议的基于大数据内容智能营销系统。

本发明采取的技术方案如下：本发明一种基于大数据内容智能营销系统，包括计算引擎，所述计算引擎的营销计算包括以下步骤：

步骤一：所述计算引擎包括基础中间件；

步骤二：Flink提供了Exactly-Once一致性语义，并且具有非常完善的多种窗口机制，引入了Event Time与WaterMark，提供丰富状态的状态访问；

步骤三：实时计算的能力其实可以把它总结成一个数据通道的能力，实时计算可能不会完全满足我们的实时分析的需求，可以通过Flink引擎做数据处理与预计算，最终都会落到一个对应存储分析引擎，整合多个应用平台的底层自有数据资产，或实时采集的日志、行为数据等；

步骤四：在Flink的metrics基础上，根据业务场景自定义数据处理实际延迟时间、数据解析失败量、外部服务调用耗时等指标；所有的指标通过自定义的Reporter上报到Kafka，再通过一个实时的ETL，把指标结构化后输出到ES和Druid里，避免出现数据丢失或延迟产生，进行实时告警和预处理；

步骤五：在这些底层基础之上，首要是实时任务的管理管控，包括平台上所有Flink或者Spark任务，进行资源的调优，对实时数据流中的数据的元数据化；

步骤六：搭建中间件关联多个数据源进行实时数据混算，提供跨源T+0查询，完成报表数据计算引擎，弥补报表工具本身计算能力不足，开放的计算能力分布在涉及计算的各个阶段。