[发明专利]一种目标内容的抽取方法及相关设备

说明书

本发明实施例公开了一种目标内容的抽取方法及相关设备，包括：首先获取训练文本；接着确定训练文本的训练信息；其次根据训练信息，确定多个段落中每个段落的精彩片段；再根据训练信息和精彩片段对第一待训练模型进行训练得到摘要粗提模型；然后根据摘要粗提模型，确定第二待训练模型的训练数据以训练摘要精排模型；最后，根据摘要粗提模型和摘要精排模型确定待处理文本的目标内容。采用本发明实施例，可以实现针对书籍或长文本的精彩内容的自动抽取。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种目标内容的抽取方法及相关设备。

背景技术

随着互联网技术的迅速发展，人们每天接收到海量的信息。为了迅速的从海量信息中获取所需信息，摘要/精彩内容抽取方法成为热点研究技术。目前，已经投入使用的摘要/精彩内容抽取方法包括：(1)工业界最常用的无监督的TextRank算法，该算法本质上是一种基于图的排序算法。(2)经典的有监督抽取式摘要算法，如SummaRuNNer模型，该模型的主要思想是将抽取式摘要任务形式化为对句子做序列化标注。然而，一方面，以TextRank算法为代表的无监督算法只能考虑到句子间浅层的语义信息，产生的摘要无法避免句子间信息冗余的问题，且不能充分利用一些的外部特征(如读者行为特征)。另一方面，以SummaRuNNer模型为代表的有监督摘要模型没有充分利用到预训练的信息，且无法保证生成的摘要是相互关联的片段。第三方面，上述两类方法不仅无法直接利用文本的类型信息，而且无法直接迁移到书籍等长文本的精彩内容抽取任务上。

发明内容

本发明提供一种目标内容的抽取方法及相关设备，可以实现针对书籍或长文本的精彩内容的自动抽取。

第一方面，本发明实施例提供了一种目标内容的抽取方法，包括：

获取第一训练文本，所述第一训练文本为文本长度超过预设阈值的长文本；

确定所述第一训练文本的训练信息，所述训练信息包括所述第一训练文本中的多个段落、所述第一训练文本的类型信息以及所述第一训练文本的读者的行为特征；

根据所述行为特征，确定所述多个段落中每个段落的精彩片段；

将所述类型信息、所述多个段落和所述精彩片段输入第一待训练模型进行训练，得到摘要粗提模型；

根据所述摘要粗提模型，确定待处理文本的目标内容。

其中，所述根据所述摘要粗提模型，确定待处理文本的目标内容包括：

根据所述摘要粗提模型，确定第二待训练模型的训练数据；

将所述训练数据输入第二待训练模型进行训练，得到摘要精排模型；

根据所述摘要粗提模型和所述摘要精排模型，确定所述目标内容。

其中，所述根据所述摘要粗提模型和所述摘要精排模型，确定所述目标内容包括：

将所述待处理文本输入所述摘要粗提模型，得到多个候选精彩片段；

根据所述摘要精排模型，确定所述多个候选精彩片段中每个候选精彩片段的精彩程度排名；

根据所述精彩程度排名，确定所述多个候选精彩片段中的目标精彩片段，所述目标内容包括所述目标精彩片段。

其中，所述行为特征包括读者评论数或读者划线数；

所述根据所述摘要粗提模型，确定第二待训练模型的训练数据包括：

获取第二训练文本，所述第二训练文本为文本长度超过所述预设阈值的长文本；

根据所述摘要粗提模型，确定所述第二训练文本中的多个精彩片段

将所述多个精彩片段进行两两组合得到所述训练数据；