[发明专利]复杂网络的关系图谱挖掘分析平台、方法及存储介质

说明书

本发明公开了一种大规模复杂网络的关系图谱挖掘分析平台、方法及计算机可读存储介质，为了解决当前复杂网络深度挖掘遇到多源异构数据融合问题等带来的大规模应用分析困难的问题，本发明从复杂网络体系角度出发解决大规模网络的分析挖掘问题，构造了“研图”关系网络挖掘分析平台，同时针对已有的业务方面，本发明提供了实际的网络关键节点检索、多源数据融合、网络关键节点和隐藏节点挖掘等复杂网络的实际应用分析与展示。

技术领域

本发明涉及计算机技术领域，特别是涉及一种大规模复杂网络的关系图谱挖掘分析平台、方法及计算机可读存储介质。

背景技术

随着互联网时代的快速发展，各类复杂网络层出不穷，通过搭建一个完整的复杂网络挖掘平台，构造一个从底层数据获取、网络拓扑结构的构建、网络信息挖掘以及结果应用展示，对实际真实业务的模拟重现、潜在功能分析以及未来业务策略的订制具有重大的作用。同时，复杂网络是各类实际应用场景数据大规模的叠加，复杂网络成体系的挖掘比互联网时代单一的推荐系统具有更大的价值。

当前复杂网络研究大多数利用微信、QQ等客户端类聊天软件的联系，微博、网络bbs、新闻媒体的评论信息和互动交流，以及购物类网站的购物关联和评论信息构建通用的网络格式数据。目前复杂网络研究平台大多数基于开源类软件cytoscape、gephi、networkx、pajek和graphX等，或者在其基础之上构建挖掘平台。当前的开源类复杂网络分析软件包含各类组件支撑，支持大多种类的静态网络的导入，对网络进行基本的节点度、网络分布情况等统计分析以及深度的网络结构的挖掘，同时支撑网络自身的展示和网络挖掘出来结果的展示分析，整个网络分析方案以及挖掘的结果可以保存以便后续再次进行分析。

目前的复杂网络系统的深度分析大多基于X86单服务器进行网络挖掘和分析，并行方式主要解决部分简单的统计分析和应用展示和发布。现有复杂网络分析系统对服务器硬件资源要求较高，尤其是cpu和内存资源占用较多，系统I/O的并发吞吐实时交换数据量较大、交换非常频繁，后台任务调度要求非常高。

发明内容

本发明提供了一种大规模复杂网络的关系图谱挖掘分析平台、方法及计算机可读存储介质，以解决现有技术中复杂网络系统的深度分析困难的问题。

一方面，本发明提供了一种大规模复杂网络的关系图谱挖掘分析平台，包括：

多数据源接入模块，用于采用分布式并行处理方法，在空间上将大规模网络进行分区，各个分区块对应不同的任务，分散在不同的服务器上并行化处理并整合；

网络专题库的构建模块，用于对分散在各个服务器的数据源临时数据以及主服务器上的汇集数据进行专题库的构建，临时数据信息直接在各个服务器上进行专题库构建，主服务器上的汇集数据进行分片分散到各个服务器上进行分片，并行化构建各个专题库，最后对分片结果进行整合；

构造模块，用于构造标签，构造网络的拓扑结构或者构造融合的网络拓扑结构；

网络挖掘与分析，用于对在逻辑上可拆分的任务进行分片，将任务分配到不同的服务器进行分布式计算并进行结果的整合；对在逻辑上不可拆分业务，使用资源较为强大的服务器或者graphchi磁盘交换技术进行单任务处理；对于耗费巨大硬件资源的计算任务，采用gpu进行加速，以快速挖掘网络的有效信息。

可选地，所述多数据源接入模块还用于，对一些脏数据进行清洗工作和特征提取，创建为可复用的数据源接入模板。

可选地，所述网络专题库的构建模块进一步地包括：

标签信息的构造模块，用于对于未知标签，通过主动学习、对抗学习技术挖掘复杂网络中隐含的标签信息；

网络拓扑结构的构造模块，用于对于不需要进行多网络融合的场景，利用节点的相似度或者直接链接快速构造网络的拓扑结构，对于需要多网络融合的场景，可以利用加权相似度等技术构造融合的网络拓扑结构。