[发明专利]数据的采集方法及装置、存储介质、电子设备

说明书

本发明公开了一种数据的采集方法及装置、存储介质、电子设备，其中，该方法包括：监听客户端的日志文件产生的增量数据；采用汇聚节点sink将所述增量数据传输至订阅消息系统；接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段。通过本发明，解决了相关技术中数据的采集率低的技术问题，同时降低了业务服务代码的冗余度。

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据的采集方法及装置、存储介质、电子设备。

背景技术

相关技术中，目前市场数据采集方案中，常见的方式是在系统代码中直接添加采集数据的逻辑代码，执行相关业务之后，继续执行采集数据的代码逻辑，将需要采集的数据保存到数据库中，根据目前有的数据采集方式，可以满足要求，能够帮助解决数据采集的问题，进而能解决现实的问题。

针对相关技术中的采集方案，存在以下问题：通过在业务代码中添加数据采集的代码方式，这样会导致对业务代码有代码入侵，采集的代码的逻辑出现问题，可能影响实际的业务操作，业务代码和采集数据的代码紧紧联系在一起，代码是高耦合，不利于业务扩展。不利于业务扩展等问题、不利于系统功能做大做强等等。以上方案都是针对当前业务服务所做的一些处理，数据的采集依赖于当前服务。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种数据的采集方法及装置、存储介质、电子设备。

根据本申请实施例的一个方面，提供了一种数据的采集方法，包括：监听客户端的日志文件产生的增量数据；采用汇聚节点sink将所述增量数据传输至订阅消息系统；接收数据库的数据拉取请求，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据，其中，所述数据拉取请求携带所述目标topic的标识字段。

进一步，监听客户端的日志文件产生的增量数据包括：监听所述客户端的请求任务或者定时任务的触发状态，其中，所述触发状态用于表征所述请求任务或者定时任务是否被触发，以及所述请求任务或者定时任务的调用进程；若监听到所述客户端的请求任务或者定时任务被目标业务服务调用，监听所述客户端的配置文件的读写状态；若所述配置文件将所述目标业务服务产生的用户行为日志数据写入到日志文件，监听所述日志文件的增量数据。

进一步，监听客户端的日志文件产生的增量数据包括：在第一监听周期监听第一客户端的java语言脚本在所述日志文件中写入的第一增量数据；以及在第一监听周期监听第二客户端的python语言脚本在所述日志文件中写入的第一增量数据，其中，所述增量数据包括：所述第一增量数据，所述第一增量数据；在所述日志文件的磁盘空间中查找与所述第一监听周期匹配的目标时域空间，并将所述第一增量数据和所述第一增量数据缓存至所述目标时域空间，其中，每个时域空间对应一个监听周期，所述磁盘空间包括多个按照时序排列的时域空间。

进一步，从所述订阅消息系统向所述数据库下发与目标topic匹配的目标数据包括：从所述订阅消息系统中读取所述增量数据；根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据；从所述第一目标数据向所述数据库下发与目标topic匹配的第二目标数据。

进一步，根据对象标识object Id从所述增量数据中筛选符合预设条件的第一目标数据包括：对所述增量数据进行分段处理，其中，每个单位增量的分段数据包括：topic字段、object字段、消息字段、时间字段；针对每个分段数据，读取所述object字段的第一字段内容，判断所述第一字段内容是否为空字符；若所述第一字段内容为有效字符，保留对应的第一分段数据；若所述第一字段内容为空字符，删除对应的第二分段数据；读取所述时间字段中的时间戳，并按照所述时间戳对多个所述第一分段数据进行排序，组合得到所述第一目标数据。