[发明专利]一种话题提取方法、装置、终端设备及存储介质

说明书

本申请适用于信息技术领域，提供了一种话题提取方法、装置、终端设备及存储介质，所述方法包括：获取待处理的文本数据；确定所述文本数据中每个词语的词性信息；基于所述每个词语的词性信息，生成所述文本数据的依存句法分析列表，所述依存句法分析列表包括所述文本数据中多个词语对之间的词性依存关系；根据所述多个词语对之间的词性依存关系，确定候选词；从所述依存句法分析列表中提取与所述候选词相匹配的目标词，并将所述候选词与所述目标词组合为与所述文本数据相对应的话题。采用上述方法可以提高提取出的话题的准确性，使话题事件更通顺，语法结构更完整。

技术领域

本申请属于信息技术领域，特别是涉及一种话题提取方法、装置、终端设备及存储介质。

背景技术

随着互联网和社交媒体的快速发展，网络上舆情信息的数量呈爆炸性增长。对于一些具有高度传播性和敏感性的舆情信息，可以通过提取其文本主体信息形成相应的话题。目前，主流媒体或网站都有针对实时热点话题的展示。例如，将“全国携号转网正式启动，运营商恐打价格战”提取为“携号转网启动”；将“增值税法公开征求意见，拟设五年过渡期”提取为“增值税法征求意见”等话题内容。但是，文本的正文和标题往往较长，一般无法直接表述舆情事件。因此，如何从文本中提取话题越来越成为了研究的热点。

主流的文本话题提取算法大致可以分为抽取式和生成式两大类。抽取式顾名思义，从舆情文本数据中抽取部分有代表性的信息用于组成文本话题。这些代表性的信息来自于文本本身，可以是字或者词或者短语。抽取式的关键技术包括重要信息评估、冗余信息的过滤、碎片化信息的聚合和多源信息的组织等。抽取式一般采用无监督的机器学习方法，这类方法只考虑位置信息和关键词的贡献，无法完整的地理解文本的语法和语义。提取出的主语谓语等虽然都来自于文本本身，但是对应关系难以保证正确。

和抽取式不同，生成式的文本话题提取算法采用有监督的深度学习方法，提取出的话题内容可以根据文本整体的语义理解，结合训练数据中的历史特征得到。所生成的话题中的文字不一定来自于原文本，因此存在语法错误较多，难以保证语句通顺的问题。

发明内容

有鉴于此，本申请实施例提供了一种话题提取方法、装置、终端设备及存储介质，以解决现有技术中采用抽取式或生成时进行话题提取时，所提取出的话题存在语法错误或语句不通顺的问题。

本申请实施例的第一方面提供了一种话题提取方法，包括：

获取待处理的文本数据；

确定所述文本数据中每个词语的词性信息；

基于所述每个词语的词性信息，生成所述文本数据的依存句法分析列表，所述依存句法分析列表包括所述文本数据中多个词语对之间的词性依存关系；

根据所述多个词语对之间的词性依存关系，确定候选词；

从所述依存句法分析列表中提取与所述候选词相匹配的目标词，并将所述候选词与所述目标词组合为与所述文本数据相对应的话题。

本申请实施例的第二方面提供了一种话题提取装置，包括：

文本数据获取模块，用于获取待处理的文本数据；

词性信息确定模块，用于确定所述文本数据中每个词语的词性信息；

依存句法分析列表生成模块，用于基于所述每个词语的词性信息，生成所述文本数据的依存句法分析列表，所述依存句法分析列表包括所述文本数据中多个词语对之间的词性依存关系；

候选词确定模块，用于根据所述多个词语对之间的词性依存关系，确定候选词；

目标词提取模块，用于从所述依存句法分析列表中提取与所述候选词相匹配的目标词；

话题组合模块，用于将所述候选词与所述目标词组合为与所述文本数据相对应的话题。