[发明专利]一种数据驱动的网络敏感信息挖掘与预警平台

权利要求书

1.一种数据驱动的网络敏感信息挖掘与预警平台，其特征是：包括自下而上的数据层、应用层和用户层，其中：

数据层，具体包括采集层和存储层，所述采集层对获取的网页进行数据爬取，构建哈希表保存已经访问过的统一资源定位符，并利用布隆过滤器进行地址判重；所述存储层接收过去重后的数据，并利用分布式消息系统将预处理后的数据源分发，对数据流中的数据节点本身状态进行描述，数据节点通过心跳协议定期向控制节点汇报其状态信息，控制节点根据状态信息作为存储策略来选择数据节点是否合适的依据，根据设定的阈值与数据节点的状态信息来确定是否选择这个数据节点，对选择的数据进行优化存储；

所述应用层，被配置为对存储的数据进行k-means文本聚类，对数据进行分类，基于Apriori算法进行层次搜索、逐层遍历以提取频繁特征，对提取的特征信息进行模糊匹配，筛选出与预先设定的敏感信息相似度小于设定阈值的数据；所述应用层在社会媒体数据话题聚类的基础上，基于命名实体识别观点持有者，计算持有者观点相悖度，在预设阈值的基础上进行预警；所述应用层在社会媒体数据话题聚类和观点持有者识别的基础上，检测用户的同一性；

所述用户层，被配置为接收应用层的处理结构，进行相应的预警提示；

所述应用层，首先，以各类网络犯罪为对象，定义上下文图谱，采用面向主题的定向采集方法按照抓取数据与上下文图谱主题相关度划分层级结构，聚焦具有代表性的观点建立社会立场；其次，在社会媒体数据话题聚类的基础上，基于命名实体识别观点持有者并在特征抽取的基础上提取观点，通过潜在语义方法分析文本相似性，建立持有者观点与社会立场间的主题相关性；再次，在同一主题下，向量化观点及社会立场，利用小波变换伸缩平移运算聚焦持有者观点及社会立场中的低频突变观点词汇的变化规律；最后通过计算评价观点相悖度，在预设阈值的基础上进行预警；

所述应用层在社会媒体数据话题聚类的基础上，抽取关键词、标题词、指示词特征识别话题主题，利用LSA方法将话题主题映射为以各类网络犯罪为分类基准的元主题描述用户兴趣；其次，在观点持有者识别的基础上，抽取主观词、倾向词特征提取用户观点，利用Apriori算法挖掘用户表述规则表征用户观点；再次，基于组织关系挖掘并构建用户社交网，描述用户社交特征；最后，为异见持有者构建包含兴趣、观点和社交特征的用户配置文件，通过用户配置文件相似性计算检测用户的同一性。

2.如权利要求1所述的一种数据驱动的网络敏感信息挖掘与预警平台，其特征是：所述采集层通过构建分布式实时采集系统完成多来源多通道的大数据采集与抓取，数据来源包括互联网社交网络、在线论坛、微博客、内容分享社区主流网络平台，构建基于Markov逻辑网的数据抽取模型，对数据节点属性进行推理和语义标注。

3.如权利要求1所述的一种数据驱动的网络敏感信息挖掘与预警平台，其特征是：构建多个哈希表，每个哈希表通过一个哈希函数将一个网页映射成一个位阵列中的一个点，利用布隆过滤器查看每个哈希表，只要查看对应的点是不是 1 就能够确定对应的集合中是否包含该网页。

4.如权利要求3所述的一种数据驱动的网络敏感信息挖掘与预警平台，其特征是：

对页面的实体属性抽取，利用视觉分割算法VISP将结果页面进行区域分割并构建对应的Vision树，将结果页面分为：

（a）内部页面，包含同一页面内各元素及其关系；

（b）详细页面，包含了具体实体的详细信息，通过内部页面的超链接访问；

（c）同类页面，为同一站点下由相同模板生成，其包含实体具有一定的结构、位置和外观相似性；

利用了Markov逻辑网对分类关系进行建模以实现特征的有效合并，通过对三类特征的集成，计算出所有最大谓词，完成对实体属性的推理抽取。

5.如权利要求1所述的一种数据驱动的网络敏感信息挖掘与预警平台，其特征是：所述存储层包括基于Kafka和Memcached缓存的分布式消息中间件，构建数据源和数据分析处理平台之间的桥梁。