[发明专利]新闻聚合与智能实体关联的方法

权利要求书

1.一种新闻聚合与智能实体关联的方法，其特征在于，包括：

对所配置的RSS新闻源进行轮询爬取，获取所述RSS新闻源的新闻列表，并遍历所述新闻列表中的每条新闻生成对应的新闻三元组；

对所述新闻列表中的新闻进行哈希值去重，采用爬虫爬取去重后的新闻网页；

利用支持向量机对所述新闻网页进行分类识别，以提取新闻正文；

采用Stanford NLP自然语言处理框架对所述新闻正文进行分词、断句、词性标注、命名实体识别的自然语言处理，将非结构化文本流转化为具有实体标签的词串，以提取人物名称和地理名称；

在Wikidata知识图谱中搜索与所述词串中的人物名称和地理名称对应的实体，实现所述人物名称和所述地理名称与Wikidata中所述实体的关联，具体包括：

在Wikidata中利用HTTP API接口向Wikidata提取人物名称和地理名称对应的实体，并通过该实体的上位词进行消歧；

在所述人物名称和人物实体之间、所述地理名称和地理实体之间分别建立名称-实体的映射关系，实现所述人物名称和所述地理名称与Wikidata中对应实体的关联，其中，带有经纬信息的实体也作为地理实体；将所述新闻网页对应的新闻六元组存储入文档型数据库中；

在接收到用户对所述实体的搜索指令时，列出所述新闻网页，并通过地图展示对应的地理名称所关联的Wikidata中地点信息、通过卡片展示所述Wikidata中对应的人物名称资料，

其中，所述新闻三元组包括标题、时间和URL，所述新闻六元组包括标题、时间、URL、正文、人物实体和地理实体。

2.根据权利要求1所述的新闻聚合与智能实体关联的方法，其特征在于，所述对所述新闻列表中的新闻进行哈希值去重，采用爬虫爬取去重后的新闻网页具体包括：

计算所述新闻列表中的每条新闻对应的URL计算哈希值，查询本地爬取列表的哈希表中是否存在相同哈希值；

若本地爬取列表中不存在，则查询所述文档型数据库中是否存在该新闻，若所述文档型数据库和所述本地爬取列表中均不存在该新闻，则将该新闻插入爬取队列中进行爬取，否则处理下一条新闻。

3.根据权利要求1所述的新闻聚合与智能实体关联的方法，其特征在于，所述利用支持向量机对所述新闻网页进行分类识别，以提取新闻正文具体包括：

向该新闻的URL请求HTML格式的新闻网页，并通过网页降噪规则去除页面噪声；

利用支持向量机对去除噪声后的页面元素进行0-1分类识别，并提取新闻正文。

4.根据权利要求1所述的新闻聚合与智能实体关联的方法，其特征在于，在将所述新闻网页对应的新闻六元组存储入文档型数据库的过程中，将所述新闻网页的原始正文和转化出的具有实体标签的词串同样存入所述文档型数据库。

5.根据权利要求1所述的新闻聚合与智能实体关联的方法，其特征在于，所述地图为世界地图或局部地区地图，所述人物名称资料包括人物照片、人物姓名和人物简介。

6.根据权利要求1所述的新闻聚合与智能实体关联的方法，其特征在于，所述对新闻源的轮询爬取间隔为5分钟。

7.根据权利要求1所述的新闻聚合与智能实体关联的方法，其特征在于，在接收到用户对所述实体的搜索指令时，根据时间由新到旧的列出所述新闻网页。

8.根据权利要求1所述的新闻聚合与智能实体关联的方法，其特征在于，所述知识图谱为维基知识图谱Wikidata，所述文档型数据库选择MongoDB。