[发明专利]一种数据采集方法、装置、计算机存储介质及系统在审
申请号: | 202110546529.3 | 申请日: | 2021-05-19 |
公开(公告)号: | CN115373808A | 公开(公告)日: | 2022-11-22 |
发明(设计)人: | 左小宝 | 申请(专利权)人: | 中移(苏州)软件技术有限公司;中国移动通信集团有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50;G06F9/54 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 张静;张颖玲 |
地址: | 215163 江苏省苏州*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 采集 方法 装置 计算机 存储 介质 系统 | ||
1.一种数据采集方法,其特征在于,所述方法应用于用户设备,所述用户设备包括APScheduler模块和nanomsg模块,且所述APScheduler模块和所述nanomsg模块集成在twisted框架中,所述方法包括:
确定待执行的数据采集任务;
在通过所述APScheduler模块进行所述数据采集任务的调度后,执行所述数据采集任务,得到任务执行结果;
通过所述nanomsg模块对所述任务执行结果进行消息处理,并将处理后的目标数据发送至服务设备。
2.根据权利要求1所述的方法,其特征在于,所述确定待执行的数据采集任务,包括:
获取系统信息;
根据所述系统信息,确定当前运行的操作系统;
将所述操作系统对应的数据采集任务确定为待执行的数据采集任务。
3.根据权利要求1所述的方法,其特征在于,在所述执行所述数据采集任务,得到任务执行结果之后,所述方法还包括:
将所述任务执行结果以预设形式序列化存储至缓存队列;
在所述缓存队列中有数据存在的情况下,通过所述nanomsg模块从所述缓存队列中直接读取所述任务执行结果。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于twisted框架,开启等待事件的reactor模式;
对所述APScheduler模块进行实例化操作,得到twisted框架中的第一事件;
通过预设库调用所述nanomsg模块的底层接口,并对所述nanomsg模块进行实例化,得到twisted框架中的第二事件;
基于所述第一事件和所述第二事件,使得所述APScheduler模块和所述nanomsg模块处于同一服务进程中。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述APScheduler模块和所述nanomsg模块所属的同一服务进程停止时,检测所述数据采集任务的输入输出IO文件是否关闭;
若所述IO文件未正常关闭,则关闭所述IO文件。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
当所述nanomsg模块与所述服务设备建立通信连接时,通过所述nanomsg模块接收所述服务设备发送的任务配置信息;
从所述任务配置信息中,获取待调整任务的任务名和任务参数;
根据所述任务名和所述任务参数,对所述待调整任务进行任务调整操作;其中,所述任务调整操作包括下述中的至少一项:移除任务、新增任务、关闭任务、暂停任务和修改任务周期。
7.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
当所述nanomsg模块与所述服务设备未建立通信连接时,在通过所述nanomsg模块对所述任务执行结果进行消息处理后,将处理后的目标数据进行丢弃。
8.一种数据采集装置,其特征在于,应用于用户设备,所述用户设备包括APScheduler模块和nanomsg模块,且所述APScheduler模块和所述nanomsg模块集成在twisted框架中;所述数据采集装置包括确定单元、执行单元和发送单元,其中,
所述确定单元,配置为确定待执行的数据采集任务;
所述执行单元,配置为在通过所述APScheduler模块进行所述数据采集任务的调度后,执行所述数据采集任务,得到任务执行结果;
所述发送单元,配置为通过所述nanomsg模块对所述任务执行结果进行消息处理,并将处理后的目标数据发送至服务设备。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据采集方法。
10.一种数据采集系统,其特征在于,所述数据采集系统至少包括用户设备,所述用户设备包括存储器和处理器,其中,
所述存储器,用于存储能够在所述处理器上运行的计算机程序;
所述处理器,用于在运行所述计算机程序时,执行如权利要求1至7任一项所述的数据采集方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中移(苏州)软件技术有限公司;中国移动通信集团有限公司,未经中移(苏州)软件技术有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110546529.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置