[发明专利]一种数据加工方法和系统

说明书

本发明公开了一种数据加工方法和系统，涉及大数据技术领域。该方法的一具体实施方式包括：通过流处理框架的第一处理模块实时接收业务数据，对所述业务数据进行实时处理，以输出数据模型和宽表明细数据；通过流处理框架的第二处理模块实时接收业务数据，对第一预设时间窗口内的业务数据进行处理，以输出数据模型和宽表明细数据；通过批处理框架接收所述第一处理模块和/或所述第二处理模块发送的宽表明细数据，对第二预设时间窗口内的宽表明细数据进行处理，以输出数据模型和宽表明细数据。该实施方式能够解决资源利用率低、产出时效低、代码维护困难和数据一致性差等技术问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据加工方法和系统。

背景技术

在现有的数据加工过程中，根据不同的业务场景，数据的处理会分为实时数据(流系统处理增量数据)和离线数据(批系统处理全量数据)，分别满足实时和T+N的数据查看需求。如图1所示，在这两种方式下，使用的技术和语言也不同，而且往往环境独立，中间数据及数据模型也是独立的。

在实现本发明过程中，发明人发现实时数据加工和离线数据加工这两种方式存在如下问题：

底层数据模型不一致，因此应用层需要做大量的拼接逻辑，导致产出时效低，出错概率大；两套系统分别有自己的数据模型及存储层，均计算和存储了全量数据，导致成本高，资源利用率低；一个业务逻辑，两套代码，逻辑不能复用，数据一致性和质量难以保证；任务执行上，集群无法做到错峰，资源利用率较低。

发明内容

有鉴于此，本发明实施例提供一种数据加工方法和系统，以解决资源利用率低、产出时效低、代码维护困难和数据一致性差等技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据加工方法，包括：

通过流处理框架的第一处理模块实时接收业务数据，对所述业务数据进行实时处理，以输出数据模型和宽表明细数据；

通过流处理框架的第二处理模块实时接收业务数据，对第一预设时间窗口内的业务数据进行处理，以输出数据模型和宽表明细数据；

通过批处理框架接收所述第一处理模块和/或所述第二处理模块发送的宽表明细数据，对第二预设时间窗口内的宽表明细数据进行处理，以输出数据模型和宽表明细数据。

可选地，所述第一预设时间窗口小于所述第二预设时间窗口。

可选地，实时接收业务数据，对所述业务数据进行实时处理，以输出数据模型和宽表明细数据，包括：

实时接收数据源推送的业务数据，对所述业务数据进行实时清洗，以输出数据模型和宽表明细数据；或者，

实时接收数据源推送的业务数据，对所述业务数据进行实时清洗，从维表中获取维度数据，结合所述维度数据对清洗后的所述业务数据进行处理，以输出数据模型和宽表明细数据。

可选地，输出数据模型和宽表明细数据之后，还包括：

将所述宽表明细数据发送至所述流处理框架的第二处理模块和/或所述批处理框架。

可选地，实时接收业务数据，对第一预设时间窗口内的业务数据进行处理，以输出数据模型和宽表明细数据，包括：

实时接收数据源推送的业务数据，对第一预设时间窗口内的业务数据进行处理，以输出数据模型和宽表明细数据；和/或，

接收所述第一处理模块发送的宽表明细数据，对第一预设时间窗口内的宽表明细数据进行处理，以输出数据模型和宽表明细数据。

可选地，输出数据模型和宽表明细数据之后，还包括：

将所述宽表明细数据发送至所述批处理框架。