[发明专利]一种分布式数据抽取方法、装置、计算机设备及存储介质

权利要求书

1.一种分布式数据抽取方法，其特征在于，包括：

至少两个独立的数据抽取模块获取至少两个数据源的数据，其中，所述数据抽取模块与对应的数据源相匹配；

所述数据抽取模块将所述数据转换为预设格式，并对所述数据设置数据标识，形成采集数据；

所述数据抽取模块将所述采集数据发送至数据接收端；

所述数据接收端接收所述采集数据，并根据所述数据标识将所述采集数据存储至预设存储位置。

2.根据权利要求1所述的方法，其特征在于，所述数据接收端接收所述采集数据，并根据所述数据标识将所述采集数据存储至预设存储位置，包括：

所述数据接收端接收所述采集数据，并获取所述采集数据的接收时间，根据所述接收时间将所述采集数据预存储于存储队列中；

所述数据接收端识别各采集数据的数据标识，根据所述存储队列中采集数据的存储顺序和所述数据标识将所述采集数据存储至预设存储位置。

3.根据权利要求2所述的方法，其特征在于，所述数据接收端在接收所述采集数据之后，还包括：

所述数据接收端根据所述采集数据的采集时间和数据类型，判断所述采集数据是否存在数据重复；

若是，则将重复的采集数据删除。

4.根据权利要求1或2所述的方法，其特征在于，所述数据接收端在接收所述采集数据之后，还包括：

所述数据接收端检测所述采集数据的格式是否符合预设格式；

若否，则删除所述采集数据，并向对应的数据抽取模块发送格式异常提示信息。

5.根据权利要求1或2所述的方法，其特征在于，所述数据接收端在接收所述采集数据之后，还包括：

所述数据接收端根据所述采集数据的数据类型确定数据标准范围；

所述数据接收端若检测到所述采集数据在所述数据标准范围外，则删除所述采集数据，并生成数据异常提示信息。

6.一种分布式数据抽取装置，其特征在于，包括：

至少两个独立的数据抽取模块，用于获取至少两个数据源的数据，其中，所述数据抽取模块与对应的数据源相匹配，将所述数据转换为预设格式，并对数据设置数据标识，形成采集数据，将所述采集数据发送至数据接收端；

所述数据接收端，用于接收所述采集数据，并根据所述数据标识将所述采集数据存储至预设存储位置。

7.根据权利要求6所述的装置，其特征在于，所述数据接收端包括预存储单元和存储单元；其中，

所述预存储单元，用于接收所述采集数据，并获取所述采集数据的接收时间，根据所述接收时间将所述采集数据预存储于存储队列中；

所述存储单元，用于识别各采集数据的数据标识，根据所述存储队列中采集数据的存储顺序和所述数据标识将所述采集数据存储至预设存储位置。

8.根据权利要求7所述的装置，其特征在于，所述数据接收端还包括排重单元，其中，

所述排重单元，用于在接收所述采集数据之后，根据所述采集数据的采集时间和数据类型，判断所述采集数据是否存在数据重复，若是，则将重复的采集数据删除。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。