[发明专利]一种面向网络的分布式通用数据采集方法和系统在审
| 申请号： | 201810572779.2 | 申请日： | 2018-06-06 |
| 公开（公告）号： | CN109088908A | 公开（公告）日： | 2018-12-25 |
| 发明（设计）人： | 钟刚 | 申请（专利权）人： | 武汉酷犬数据科技有限公司 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08;H04L12/24 |
| 代理公司： | 北京一格知识产权代理事务所(普通合伙) 11316 | 代理人： | 赵永伟 |
| 地址： | 430000 湖北省武汉市*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明特别涉及一种面向网络的分布式通用数据采集方法，包括以下步骤：服务器节点通过竞争机制在redis缓存中注册为管理节点；管理节点将有效采集任务以队列形式置入redis的等待采集队列中，并以第一预设频率对等待采集队列进行更新；各个采集节点获取采集任务，并在采集完成后，将采集任务放入已完成采集队列，且标记新一轮采集时间。当管理节点故障时，采集节点可通过自适应的异常检测自动选举出新的管理节点。同时系统需要扩容时，可以新增采集节点，并自动加入采集集群后从等待采集队列获取采集任务开始采集，不需要集群重启，不仅提高了数据采集的速度和效率，而且具有较高的健壮性、可扩展性和可管理性，扩大了数据采集方法的应用范围。 | ||
| 搜索关键词： | 采集 管理节点 采集节点 队列 通用数据采集 数据采集 集群 缓存 服务器节点 队列获取 队列形式 竞争机制 可管理性 可扩展性 异常检测 预设频率 健壮性 自适应 放入 扩容 置入 重启 网络 更新 选举 应用 | ||
【主权项】：
1.一种面向网络的分布式通用数据采集方法，其特征在于，包括以下步骤：步骤1，系统启动时，命令集群中的服务器节点通过竞争机制在redis缓存中注册为管理节点；步骤2，管理节点扫描数据库中定义的所有有效采集任务，将扫描结果以队列形式置入redis的等待采集队列中，并以第一预设频率对所述等待采集队列进行更新；步骤3，各个采集节点从所述等待采集队列的头部获取采集任务，并在采集完成后，将所述采集任务放入已完成采集队列，且根据所述采集任务的采集周期标记新一轮采集时间，所述采集节点为集群中除管理节点以外的其他服务器节点。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于武汉酷犬数据科技有限公司，未经武汉酷犬数据科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810572779.2/，转载请声明来源钻瓜专利网。
- 上一篇：文件传递方法及其设备
- 下一篇：一种基于商户类型的服务灰度发布方法及设备
