[发明专利]一种行为数据收集处理系统及方法

权利要求书

1.一种行为数据收集处理系统，其特征在于，包括：数据收集层、行为数据校验模块、行为数据解析模块和数据完善处理模块；

所述数据收集层用于收集接入网站网页上由用户操作生成的行为数据，并经过加密处理，得到原始行为数据；

所述行为数据校验模块用于对原始行为数据进行校验处理，过滤重复发送的行为数据和无效的行为数据，得到校验行为数据；

所述行为数据解析模块用于对所述校验行为数据进解析处理，提取数据信息得到行为解析数据；

所述数据完善处理模块用于对所述行为解析数据进行补充完善处理，得到完善行为数据。

2.如权利要求1所述的行为数据收集处理系统，其特征在于，还包括：行为数据发送模块和数据缓存层；

所述行为数据发送模块用于接收所述行为解析数据，并将所述行为解析数据发送到数据缓存层；

所述数据缓存层用于通过消息队列集群对接收到的所述行为解析数据进行缓冲处理，提升数据处理的吞吐率；

还包括：数据储存模块；所述数据储存模块用于对所述完善行为数据进行储存。

3.如权利要求1所述的行为数据收集处理系统，其特征在于，还包括：行为数据报表模块和接入管理模块；

所述行为数据报表模块用于对各网站应用进行各维度的数据聚合运算，实时响应用户的查询请求；

所述接入管理模块用于对接入的各网站应用进行管理和个性化配置。

4.如权利要求1至3中任一项所述的行为数据收集处理系统，其特征在于，所述数据收集层包括：

第一采集单元，用于在用户浏览页面加载时，初始化获取用户行为数据，并生成行为数据唯一标识，存储到变量数据结构中；

第二采集单元，用于获取客户端缓存的相关数据，存储到变量数据结构中；

第三采集单元，用于开启监听事件处理器，对各类用户行为埋点事件数据进行循环监听并存储到变量数据结构中；

字符串单元，用于将所述变量数据结构中的所有值排序后拼接在一起得到字符串，对所述字符串进行散列处理后得到签名参数并将所述签名参数存储到所述变量数据结构中；

参数拼接单元，用于对存储了签名参数后的所述变量数据结构中的所有参数值进行拼接，得到行为数据请求指令；

数据编码单元，用于对所述行为数据请求指令进行编码得到初始行为数据；

数据拼接单元，用于构建参数对象并将属性设置为行为数据收集端，将所述行为数据收集端与所述初始行为数据进行拼接，得到原始行为数据。

5.如权利要求4所述的行为数据收集处理系统，其特征在于，所述行为数据校验模块包括：

缺失过滤单元，用于对原始行为数据中的必填参数进行校验，对必填参数缺失的原始行为数据进行过滤；

配置过滤单元，用于根据应用配置的行为数据收集端匹配信息，对所述匹配信息不存在网站配置的行为数据收集端列表信息中的原始行为数据进行过滤；

无效过滤单元，用于获取请求信息中的请求唯一标识信息,根据所述唯一标识信息获取行为信息，根据获取的所述行为信息确定重复无效消息，进行过滤；

失效过滤单元，用于设置失效时间，对缓存时间超过所述失效时间的原始行为数据确定为失效消息，进行过滤；

伪造过滤单元，用于将请求参数中除签名参数外的所有参数的值进行排序后拼接成字符串,然后对字符串进行散列处理后得到散列参数，当所述散列参数与所述请求参数中的签名参数的值不一致时，则确定为伪造行为数据，进行过滤。

6.如权利要求5所述的行为数据收集处理系统，其特征在于，所述行为数据解析模块包括：

第一解析单元，用于根据网页应用配置的参数列表，对行为数据收集端上的参数变量进行解析，得到第一数据集；

第二解析单元，用于对所述行为数据请求指令中的参数进行解析，得到第二数据集；

第三解析单元，用于对所述第二数据集中的IP信息进行解析，得到含有地理信息的第三数据集；

第四解析单元，用于对所述第二数据集中的字符串信息进行解析，得到含有系统信息的第四数据集；

合并转换单元，用于将所述第一数据集、第二数据集、第三数据集和第四数据集进行合并得到第五数据集，将所述第五数据集转换成行为解析数据。