[发明专利]一种数据采集方法、装置、计算机存储介质及系统

说明书

本申请实施例公开了一种数据采集方法、装置、计算机存储介质及系统，该方法应用于用户设备，用户设备包括APScheduler模块和nanomsg模块，且APScheduler模块和nanomsg模块集成在twisted框架中，该方法包括：确定待执行的数据采集任务；在通过APScheduler模块进行数据采集任务的调度后，执行数据采集任务，得到任务执行结果；通过nanomsg模块对任务执行结果进行消息处理，并将处理后的目标数据发送至服务设备。这样，通过twisted框架将APScheduler模块和nanomsg模块集成在同一服务进程中，这时候仅需要开启单个服务即可完成数据采集任务，从而能够减少开启的服务数量，节省系统资源，并且降低系统资源的占用率，进而提升系统性能。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据采集方法、装置、计算机存储介质及系统。

背景技术

随着大数据时代的到来，对于产品和系统的部署，集群和分布式架构的方式被众多企业采用，而产品的运营维护要求需要企业对集群设备及分布式的性能进行监控和管理，以便及时发现错误进行维护，保证产品的正常运营，避免损失。

相关技术中，目前采用基于celery调度框架来对大量消息进行处理实现数据采集，这时候需要启动worker、beat、rabbitMQ等多个服务，服务管理较为繁琐，且导致系统资源的占用率高，降低了系统性能。

发明内容

本申请提供了一种数据采集方法、装置、计算机存储介质及系统，可以实现仅开启单个服务即可完成数据采集任务，从而能够减少开启的服务数量，节省系统资源，并且降低系统资源的占用率，进而提升系统性能。

本申请的技术方案是这样实现的：

第一方面，本申请实施例提供了一种数据采集方法，该方法应用于用户设备，所述用户设备包括APScheduler模块和nanomsg模块，且所述APScheduler模块和所述nanomsg模块集成在twisted框架中，所述方法包括：

确定待执行的数据采集任务；

在通过所述APScheduler模块进行所述数据采集任务的调度后，执行所述数据采集任务，得到任务执行结果；

通过所述nanomsg模块对所述任务执行结果进行消息处理，并将处理后的目标数据发送至服务设备。

在一些实施例中，所述确定待执行的数据采集任务，包括：

获取系统信息；

根据所述系统信息，确定当前运行的操作系统；

将所述操作系统对应的数据采集任务确定为待执行的数据采集任务。

在一些实施例中，在所述执行所述数据采集任务，得到任务执行结果之后，所述方法还包括：

将所述任务执行结果以预设形式序列化存储至缓存队列；

在所述缓存队列中有数据存在的情况下，通过所述nanomsg模块从所述缓存队列中直接读取所述任务执行结果。

在一些实施例中，所述方法还包括：

基于twisted框架，开启等待事件的reactor模式；

对所述APScheduler模块进行实例化操作，得到twisted框架中的第一事件；

通过预设库调用所述nanomsg模块的底层接口，并对所述nanomsg模块进行实例化，得到twisted框架中的第二事件；

基于所述第一事件和所述第二事件，使得所述APScheduler模块和所述nanomsg模块处于同一服务进程中。

在一些实施例中，所述方法还包括：