[发明专利]一种社交媒体数据的获取方法及系统

摘要

本申请提供了一种社交媒体数据的获取方法及系统，包括：由主控节点获取待执行主任务，并对待执行主任务分别进行拆分、聚类以及聚合处理，生成目标子任务；主控节点将目标子任务放到任务池中，并标注任务状态；由从属节点中的虚拟采集节点从任务池中抓取执行优先级最高的目标子任务，以及申请执行任务所必要的资源，并将获取结果返回给主控节点；由主控节点对获取结果进行存取及可视化。这样，本申请通过对任务进行包括拆分、聚类及聚合在内的降维、优化处理，优化了任务执行过程，降低了执行任务的数量，通过虚拟采集节点自主抓取任务，使得主控节点无需提前配置及获取虚拟采集节点的数量及状态，从而可以有效的提高数据获取速度和效率。