[发明专利]数据的采集方法及装置、存储介质、电子设备

权利要求书

1.一种数据的采集方法，其特征在于，包括：

监听客户端的日志文件产生的增量数据；

采用汇聚节点sink将所述增量数据传输至订阅消息系统；

接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段；

其中，监听客户端的日志文件产生的增量数据包括：在第一监听周期监听第一客户端的java语言脚本在所述日志文件中写入的第一增量数据；以及在第一监听周期监听第二客户端的python语言脚本在所述日志文件中写入的第二增量数据，其中，所述增量数据包括：所述第一增量数据，所述第二增量数据；在所述日志文件的磁盘空间中查找与所述第一监听周期匹配的目标时域空间，并将所述第一增量数据和所述第二增量数据缓存至所述目标时域空间，其中，每个时域空间对应一个监听周期，所述磁盘空间包括多个按照时序排列的时域空间；

其中，监听客户端的日志文件产生的增量数据包括：监听所述客户端的请求任务或者定时任务的触发状态，其中，所述触发状态用于表征所述请求任务或者定时任务是否被触发，以及所述请求任务或者定时任务的调用进程；若监听到所述客户端的请求任务或者定时任务被目标业务服务调用，监听所述客户端的配置文件的读写状态；若所述配置文件将所述目标业务服务产生的用户行为日志数据写入到日志文件，监听所述日志文件的增量数据；

其中，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据包括：从所述订阅消息系统中读取所述增量数据；根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据；从所述第一目标数据向所述数据库下发与目标topic匹配的第二目标数据，根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据包括：对所述增量数据进行分段处理，其中，每个单位增量的分段数据包括：topic字段、object字段、消息字段、时间字段；针对每个分段数据，读取所述object字段的第一字段内容，判断所述第一字段内容是否为空字符；若所述第一字段内容为有效字符，保留对应的第一分段数据；若所述第一字段内容为空字符，删除对应的第二分段数据；读取所述时间字段中的时间戳，并按照所述时间戳对多个所述第一分段数据进行排序，组合得到所述第一目标数据。

2.根据权利要求1所述的方法，其特征在于，采用汇聚节点sink将所述增量数据传输至订阅消息系统包括：

在数据采集请求的逻辑代码的方法脚本的切面类中埋点@Token注解，其中，所述@Token注解用于将所述客户端产生的增量数据保存至所述日志文件；

向所述客户端发送所述数据采集请求，并采用汇聚节点sink将所述日志文件中的所述增量数据传输至订阅消息系统。

3.根据权利要求1所述的方法，其特征在于，在从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据之后，所述方法还包括：

接收展示端的超文本传输协议请求，其中，所述超文本传输协议请求的通信套接字中携带显示参数和显示接口；

在所述目标数据中查询与所述显示参数和显示接口匹配的展示数据，并将所述展示数据发送至所述展示端，以使所述展示数据呈现在所述展示端。