[发明专利]数据获取方法、数据获取设备和计算机可读存储介质

权利要求书

1.一种数据获取方法，包括：

主控模块确定与当前进程相关的目标网络设备列表；

所述主控模块根据预设配置向一个或多个数据抓取模块定期通知所述目标网络设备列表中的目标网络设备；

所述一个或多个数据抓取模块根据所述目标网络设备的地址向所述目标网络设备发送数据抓取请求；

所述一个或多个数据抓取模块接收所述目标网络设备发回的数据抓取响应，所述数据抓取响应包括所要获取的原始数据；以及

所述一个或多个数据抓取模块向一个或多个数据处理模块发送所获取的原始数据，以由所述一个或多个数据处理模块进行处理。

2.根据权利要求1所述的方法，还包括：

所述一个或多个数据处理模块根据接收到的所述原始数据，计算本次抓取时间周期内的数据增量，并向数据库代理发送从所述一个或多个数据抓取模块获取的原始数据、所述一个或多个数据处理模块计算出的数据增量、以及抓取状态信息。

3.根据权利要求2所述的方法，还包括：

所述数据库代理将所述原始数据存储在热数据库中；

数据压缩模块从所述热数据库复制表结构，清除索引后建立到冷数据库中；以及

所述数据压缩模块从所述热数据库复制表数据，进行业务压缩后写入到所述冷数据库中。

4.根据权利要求3所述的方法，还包括：

所述热数据库基于分表机制实现对所述原始数据执行分布式存储，其中，对于时序性强的数据，执行基于时间线分表的分布式存储。

5.根据权利要求4所述的方法，其中，所述热数据库中存储的数据仅以滚表的形式仅保留预定时间段。

6.根据权利要求4所述的方法，其中，所述热数据库分为主库和从库，所述主库仅进行写入操作，且所述从库进行查询操作。

7.根据权利要求1所述的方法，还包括：

所述主控模块根据预设配置选择并初始化所述一个或多个数据抓取模块和所述一个或多个数据处理模块，并在所述主控模块与所述一个或多个数据抓取模块之间以及所述一个或多个数据抓取模块与所述一个或多个数据处理模块之间建立用于数据传输的数据传输管道。

8.根据权利要求1所述的方法，其中，所述一个或多个数据抓取模块以共享任务池的方式工作，所述一个或多个数据抓取模块中的每个数据抓取模块在完成其当前任务之后，立即从所述共享任务池中获取下一任务。

9.一种数据获取设备，包括主控模块、一个或多个数据抓取模块以及一个或多个数据处理模块，其中

所述主控模块用于确定与当前进程相关的目标网络设备列表，以及根据预设配置向所述一个或多个数据抓取模块定期通知所述目标网络设备列表中的目标网络设备；

所述一个或多个数据抓取模块用于根据所述目标网络设备的地址向所述目标网络设备发送数据抓取请求，并接收所述目标网络设备发回的数据抓取响应，所述数据抓取响应包括所要获取的原始数据，以及向所述一个或多个数据处理模块发送所获取的原始数据；以及

所述一个或多个数据处理模块用于对从所述一个或多个数据抓取模块接收到的数据进行处理。

10.根据权利要求9所述的数据获取设备，其中，所述数据获取设备还包括数据库，所述数据库包括数据库代理，数据压缩模块、热数据库和冷数据库，

所述一个或多个数据处理模块还用于根据接收到的所述原始数据，计算本次抓取时间周期内的数据增量，并向所述数据库代理发送从所述一个或多个数据抓取模块获取的原始数据、所述一个或多个数据处理模块计算出的数据增量、以及抓取状态信息；

所述数据库代理用于将所述原始数据存储在热数据库中；

所述数据压缩模块从所述热数据库复制表结构，清除索引后建立到所述冷数据库中；以及

所述数据压缩模块从所述热数据库复制表数据，进行业务压缩后写入到所述冷数据库中。