[发明专利]数据处理方法、装置和系统

说明书

本发明公开了一种数据处理方法、装置和系统，涉及计算机技术领域。该方法包括：在接收到采集客户端发送的数据上报消息后，对所述数据上报消息进行校验；在所述数据上报消息通过校验的情况下，根据所述数据上报消息获取与之对应的通道信息，并根据所述通道信息判断是否对消息中间件中的通道进行限流；在无需对所述通道进行限流的情况下，从所述数据上报消息中提取采集的终端数据，并将所述终端数据写入所述通道。通过以上步骤，实现了多终端数据的统一采集、输出，不仅提高了多终端数据采集、输出的安全性和时效性，而且降低了数据输出源的接入成本，提高了数据输出源的接入效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置和系统。

背景技术

在进行数据分析之前，首先要解决的是数据采集问题。通常情况下，需要采集的数据可大致分为以下几种：第一种，网页上的用户行为数据，这类数据的特点是数据量较大且上报地址较为分散；第二种，服务器上的实时日志数据，这类数据的特点是数据量适中且上报地址较为集中；第三种，用户自定义上传的实时数据，这类数据的特点是数据量不大，但是数据格式较为灵活。

在现有技术中，针对不同的数据存在不同的数据采集方案。针对于第一种数据，目前多采用前端代码埋点的方式进行数据采集，即开发人员采用前端代码(比如JavaScript代码)对Web页面上的控件事件进行监听，在前端代码监听到用户触发的控件事件时收集用户行为数据，并将其发送给后台服务器；针对后两种数据，目前多基于数据采集服务器提供的HTTP接口进行数据采集，即由用户将需要上报的数据封装到HTTP请求中，通过向后台服务器发送HTTP请求进行数据上报。

在实现本发明的过程中，本发明的发明人发现：现有技术中针对不同终端数据的采集方案过于分散与定制化；对于需要这些数据的数据分析师来说，则需要接入不同的数据输出源才能获取到不同终端的数据，导致接入成本高，效率低下。

发明内容

有鉴于此，本发明提供了一种数据处理方法、装置和系统，实现了多终端数据的统一采集、输出，不仅提高了多终端数据采集、输出的安全性和时效性，而且降低了数据输出源的接入成本，提高了数据输出源的接入效率。

为实现上述目的，根据本发明的第一个方面，提供了一种数据处理方法。

本发明的数据处理方法包括：在接收到采集客户端发送的数据上报消息后，对所述数据上报消息进行校验；其中，所述采集客户端有多个，用于对多个终端的数据进行采集；在所述数据上报消息通过校验的情况下，根据所述数据上报消息获取与之对应的通道信息，并根据所述通道信息判断是否对消息中间件中的通道进行限流；在无需对所述通道进行限流的情况下，从所述数据上报消息中提取采集的终端数据，并将所述终端数据写入所述通道。

可选地，所述对所述数据上报消息进行校验包括：根据所述数据上报消息携带的验证码对数据的正确性进行校验，和/或，对所述数据上报消息进行字段完整性校验，和/或，根据所述数据上报消息携带的用户信息对用户身份进行校验。

可选地，根据所述数据上报消息获取与之对应的通道信息，并根据所述通道信息判断是否对消息中间件中的通道进行限流包括：根据所述数据上报消息携带的应用标识确定与之对应的通道标识；根据所述通道标识查询出与之对应的通道信息；其中，所述通道信息包括该通道的限流标志位；若所述通道的限流标志位为第一取值，则无需对消息中间件中的通道进行限流；若所述通道的限流标志位为第二取值，则需要对消息中间件中的通道进行限流。

可选地，所述通道信息还包括：时间段、所述时间段内通道已存数据量；所述方法还包括：在将所述终端数据写入所述通道之后，根据所述终端数据的数据量对所述时间段内通道已存数据量进行更新；在更新后的通道已存数据量大于限流阈值的情况下，将所述通道的限流标志位设置为第二取值。