[发明专利]一种基于模糊匹配的新闻主体名称提取方法

说明书

本发明涉及一种基于模糊匹配的新闻主体名称提取方法，其包括：采集大量的领域新闻；对采集到的新闻进行人工标注，筛选出与领域相关具有新闻主体的新闻；使用分词工具对新闻进行分词；使用词嵌入工具在全量的新闻数据上做训练，得到词嵌入矩阵，从而将每一篇新闻表示为一个词嵌入向量；使用主体列表构建知识图谱；将知识图谱中每个节点的主体名称分词后做各种拆分组合，然后将拆分组合的结果用词嵌入向量表示；计算词嵌入相似度，取所有主体中与新闻词嵌入向量相似度得分最高的主体名称作为该新闻提取的主体名称。本发明能够有效地克服基于精确匹配对非标准化主体简称识别的缺陷，此外，本发明还能够适应更多的场景，匹配准确度更高。

技术领域

本发明涉及数据处理领域，尤其涉及一种基于模糊匹配的新闻主体名称提取方法。

背景技术

随着互联网的发展，信息的累积速度早已超过个人所能处理的范畴。在不同的垂直领域中，大量的新闻使得舆情分析成为可能，对原始新闻文本的新闻主体提取是该任务必不可少的步骤。在已有大量主体名称列表的前提下，如何从新闻中自动地提取主体名称，将一篇新闻对应到一个新闻主体，减少人工标注的工作量，兼顾准确度和效率，是实现舆情分析的重要部分。

对于不同的垂直领域，从新闻中提取主体名称，现有的主流方法是将新闻文本分词后的每个词在已有的主体名称表中匹配，若在主体列表中出现过，就标记该词为新闻侯选主体，然后通过一些启发式信息(例如词频、TF-IDF等)对新闻侯选主体进一步筛选，选择得分最高的主体名称作为新闻对应的主体。以财经新闻为例，通过精确匹配得到三个侯选的企业主体“腾讯”、“阿里巴巴”、“百度”，然后分别计算这三个词的TF-IDF值，选择TF-IDF值最大的作为该新闻对应的主体。但该方法存在一些问题。首先，新闻中会经常出现对主体名称的非标准化简称，精确匹配效果堪忧，人工扩展主体列表工作量太大，例如腾讯被称作企鹅、鹅厂等。其次，在构建主体列表时，不能有相同的主体简称，否则会出现匹配冲突，但大量的主体列表中难免不会出现类似或者完全一致的主体简称。

综上所述，现有技术方案为：将新闻文本进行分词，对分词处理后的每个词做精确匹配，判断该词是否出现在主体名称表中，如果出现，则作为新闻侯选主体，然后通过一些启发式信息对侯选主体进一步筛选，选择得分最高的作为新闻对应的主体。该方案存在以下不足：对于非标准化的主体简称，精确匹配效果堪忧；此外，主体列表中不能有相同的主体名称，当某些主体具有相同的简称时，会出现匹配冲突的情况。

发明内容

针对现有技术之不足，本发明提出了一种基于模糊匹配的新闻主体名称提取方法，其包括以下步骤：

步骤1：采集大量的领域新闻，所述领域新闻的新闻内容尽可能多样，以覆盖不同的相关新闻网站；

步骤2：对采集到的新闻进行人工标注，筛选出与领域相关具有新闻主体的新闻；

步骤3：使用分词工具对新闻进行分词，向分词工具中导入主体列表，以提升分词效果；

步骤4：使用词嵌入工具在全量的新闻数据上做训练，得到词嵌入矩阵，从而将每一篇新闻表示为一个词嵌入向量；

步骤5：使用主体列表构建知识图谱，所述知识图谱的每个节点代表一个主体名称或主体简称，将主体-主体、主体-简称联系起来，其中主体简称隶属于主体名称；

步骤6：将知识图谱中每个节点的主体名称分词后做各种拆分组合，然后将拆分组合的结果用词嵌入向量表示；

步骤7：计算词嵌入相似度，将第i篇新闻的词嵌入向量T_i与第j个主体的第k个组合方式E_jk做相似度计算，C_i为与第i篇新闻最相关的主体名称：

取所有主体中与新闻词嵌入向量相似度得分最高的主体名称作为该新闻提取的主体名称。