[发明专利]一种数据采集器故障恢复后的工作控制方法

说明书

本发明提供了一种数据采集器故障恢复后的工作控制方法，控制中心发现一个新数据采集器登录，则选举出一个在正常工作的资源分配数据采集器进行资源分配；通过对应的数据库查询目前正常工作的数据采集器及正在采集的数据源，抽取数据源分配给所述新数据采集器，在对应数据库中更新数据采集器和数据源的对应关系；被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集。本发明方案能够在不需要停止或者重启任意一台机器的情况下，实现数据源分配到所有的数据采集器上。

技术领域

本发明涉及一种数据采集器故障恢复后的工作控制方法，特别是涉及一种适用于拉取型数据采集器的采集器故障恢复后的工作控制方法。

背景技术

目前拉取型数据采集器（拉取型数据采集器是指数据采集器主动向数据源拉取数据，拉取方式可以是访问数据源的数据库或者通过其他通讯方式拉取数据。）故障恢复后或者发生的故障无法解决而需要新增加数据采集器，需要停止或者重启任意一台机器来实现数据源分配到所有的数据采集器上，即数据采集器的水平扩展。

发明内容

本发明要解决的技术问题是提供一种数据采集器故障恢复后的工作控制方法，该方法能够在不需要停止或者重启任意一台机器，就可以实现数据源分配到所有的数据采集器上；

本发明第二个要解决的技术问题是在保证数据采集器故障恢复后，或者需要新增加数据采集器时，将数据采集器的数据源的采集工作自动均衡分配到所有数据采集器上的自动均衡方法；

本发明第三个要解决的技术问题是提供一种便于故障问题原因排查的方法。

本发明采用的技术方案如下：一种数据采集器故障恢复后的工作控制方法，具体方法为：如果控制中心发现一个没有分配数据源的新数据采集器登录，则选举出处于在线状态的其他一个数据采集器，作为进行数据源分配处理的资源分配数据采集器；

控制中心下发资源分配通知给所述资源分配数据采集器；所述资源分配数据采集器收到资源分配任务通知后，通过对应的数据库查询目前正常工作的数据采集器及正在采集的数据源，抽取数据源分配给所述新数据采集器，在对应数据库中更新数据采集器和数据源的对应关系，并向控制中心汇报资源分配完毕，将资源分配方式报告给控制中心；

被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；所述新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集。

数据采集器与控制中心建立TCP长连接，建立连接后，并登录到控制中心，登录时上传采集器的ID和采集器的组ID并向控制中心汇报与该采集器链接的所有数据源ID。

选举资源分配数据采集器时，只要按照设定的选举规则，从在线正常工作状态的数据采集器中能唯一选举出一个数据采集器，作为资源分配数据采集器即可。

由于数据源的分配工作只是更新所述其所对应的数据库中数据采集器和数据源的对应关系，因此，还需要分配完成后，一方面，被抽取了数据源的数据采集器定时监测数据库中是否有需要断开的数据源，如果有，则断开数据源；另一方面，所述新数据采集器定时监测数据库中是否有需要新分配的数据源，如果有，启动数据采集线程进行数据采集，建立与被分配的数据源之间的链接，完成数据源采集工作。

本发明方案能够在不需要停止或者重启任意一台机器的基础上，就可以实现数据源分配到所有的数据采集器上。

所述方法还包括：建立数据采集器组，数据采集器登录控制中心时上传该数据采集器所在的组ID，实现数据采集器的分组管理。

所述方法还包括：建立数据采集器组时，对于同一业务类型的数据源，其数据采集器建立在同一组，使得分组责任明确。