[发明专利]一种多源异构电网信息采集系统

说明书

本发明提供一种多源异构电网信息采集系统，包括需求索引子系统、关联子系统、分布子系统、顺序子系统、采集子系统、文档采集库、音频采集库、视频采集库；通过对不同格式的数据进行分类收集，根据不同特征要求设置分类方法，提高了整个系统的可靠性，通过对信息采集任务的不同情况的区分，通过不同的子系统选取对应的爬虫逻辑，以更高效、更精确为目标，完成信息采集，使电力信息的跨平台、多类型、多格式、分布离散导致的采集难点进行攻克。

技术领域

本发明涉及电网资讯收集技术领域，尤其涉及一种多源异构电网信息采集系统。

背景技术

互联网型企业在发展过程中，要强化先进信息、通信、控制技术应用、全面建设信息支撑体系、价值创造体系之间的网络互连互通，构建泛在互联、高效互动、智能开放的电网规划资讯。时刻关注相关热点新闻、政策法规，把握发展方向。互联网企业的发展业务知识涉及面广，业务流程复杂，随着各类信息化系统建设的不断深入，数据汇聚不断丰富，企业需要准确判断国际竞争形势，把握发展方向。在抓取网络资讯的过程中，采用一种网络爬虫的技术，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

现有的技术中随着互联网的普及，各种信息资源铺天盖地而来，信息呈现了数据量大，数据格式不统一，信息密度和可靠性较低等问题，而电力分析相关信息需要的目标数据多样，所以这样就给采集造成了非常大的困难。

发明内容

针对现有技术存在的不足，本发明目的是提供一种多源异构电网信息采集系统，能够快速准确的收集到电网所需的外网和内网的资讯，以解决现有的电网资讯获取的针对性不足、效率低下且获取的信息杂乱无序的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种多源异构电网信息采集系统，包括需求索引子系统、关联子系统、分布子系统、顺序子系统、采集子系统、文档采集库、音频采集库、视频采集库；

所述需求索引子系统包括特征提取模块以及采集划分模块；所述特征提取模块配置有特征提取策略，所述特征提取策略用于从采集任务清单中提取任务特征以生成采集子任务，所述采集划分模块量化采集子任务中的任务特征以生成任务采集值，当任务采集值落入预设的第一采集范围时，将采集子任务分配至关联子系统，当任务采集值落入预设的第二采集范围时，将采集子任务分配至分布子系统，当任务采集值落入预设的第三采集范围时，将采集子任务分配至顺序子系统；

所述采集子系统包括文档采集模块、音频采集模块和视频采集模块，所述文档采集模块配置文档采集策略，所述采集子系统通过文档采集策略筛选文档采集库内的文档信息以生成目标采集文档；所述音频采集模块配置音频采集策略，所述采集子系统通过音频采集策略筛选音频采集库内的音频信息以生成目标采集音频；所述视频采集模块配置视频采集策略，所述采集子系统通过视频采集策略筛选视频采集库内的视频信息以生成目标采集视频；

所述关联子系统包括文档关联模块、音频关联模块以及视频关联模块；所述文档关联模块从外部网络获取文档信息至所述文档采集库，并获取采集子系统输出的目标采集文档以生成文档扩展特征；所述音频关联采集模块以扩展文档特征为依据从外部网络获取音频信息至所述音频采集库，并获取采集子系统输出的目标采集音频以生成音频扩展特征；所述视频采集模块以拓展音频特征为依据从外部网络获取视频信息至所述视频采集库；

所述分布子系统包括文档分布模块、音频分布模块以及视频分布模块；所述文档分布模块提取任务特征中的采集地址，所述文档分布模块根据采集地址从外部网络获取文档信息至所述文档采集库，所述音频分布模块提取任务特征中的音频标签，所述音频分布模块根据音频标签从外部网络获取音频信息至音频采集库，所述视频分布模块提取任务特征中的视频偏好，并根据视频偏好登录对应的视频账户，并采集视频账户获取的视频信息输入至视频采集库；