[发明专利]生成式文本摘要系统和方法

说明书

生成式文本摘要系统和方法。公开了一种生成式自动文本摘要系统和方法，其可以采用搜索和重新排名策略来改进摘要任务的性能。该系统和方法可以采用变换器神经模型来辅助摘要任务。变换器神经模型可以被训练以学习人类抽象，并且然后可以可操作来生成抽象式摘要。在生成多个摘要假设的情况下，可以采用最佳优先搜索算法和重新排名算法来选择最佳候选摘要作为输出摘要的一部分。

技术领域

本公开涉及生成式文本摘要系统和方法。

背景技术

文本摘要策略倾向于采用机器学习算法来生成较大文本的简明摘要。例如，文本摘要可以用于为较长的新闻文章或可能长达数十至数百页的文本文章生成较短的段落摘要。所采用的机器学习需要筛选冗余或不重要的信息，并生成准确传达较大文本含义的摘要。

发明内容

公开了一种用于生成式文本摘要模型的系统和方法。该模型可以接收输入文本数据集，并为将被选择以包含在文本摘要中的一个或多个候选单词扩大搜索空间。该模型可以包括使用最佳优先搜索算法（best-first search algorithm）在搜索空间内对一个或多个候选单词进行排名。该模型还可以使用软界限单词奖励（soft-bound word-reward，SBWR）算法对将包括在文本摘要中的一个或多个候选单词进行重新排名。设想，当文本摘要超过预测长度阈值时，SBWR算法可以对一个或多个候选单词应用递减的奖励值。当文本摘要在预测长度阈值以下时，SBWR算法还可以将增加的奖励值应用于一个或多个候选单词。当文本摘要等于预测长度阈值时，SBWR算法可以进一步选择一个或多个候选单词。

该模型可以使用sigmoid函数进一步使递减的奖励值和增加的奖励值平滑。可以使用被训练来选择将被包括在文本摘要中的一个或多个候选单词的值来对递减的奖励值和增加的奖励值进行缩放。此外，当输入文本数据集超过预定义的长度阈值时，可以对一个或多个候选单词进行重新排名。

可以计算BP标准化，以对不满足预测长度阈值的一个或多个候选单词应用惩罚。可以通过将简短惩罚的对数值与长度标准化评分函数相加来计算BP标准化。此外，简短惩罚可以被设计成使得生成式文本摘要模型不从输入文本数据集产生短的翻译。简短惩罚还可以包括将简短惩罚减少到零的复制率值。

还可以使用包括编码器机器学习算法和解码器机器学习算法的变换器神经模型来训练生成式文本摘要模型。在训练序列期间，输入文本数据集可以被输入到编码器机器学习算法；并且目标摘要文本数据集可以被输入到解码器机器学习算法。变换器神经模型还可以使用一个或多个源标记来确定用于一个或多个目标摘要标记的概率值。

附图说明

图1是采用生成式文本摘要神经模型的示例性系统。

图2是采用生成式文本摘要神经模型的示例性流程图。

图3是用于实现最佳优先搜索策略的示例性源代码部分。

图4是用于训练生成式文本摘要神经模型的变换器神经模型的示例性实施例。

具体实施方式

本文描述了本公开的实施例。然而，将理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种形式和替代形式。各图不一定是按比例的；一些特征可以被放大或最小化以示出特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅作为教导本领域技术人员以各种方式采用实施例的代表性基础。如本领域普通技术人员将理解的，参考任何一个附图图示和描述的各种特征可以与一个或多个其他图中图示的特征相组合，以产生没有明确图示或描述的实施例。图示特征的组合为典型应用提供了代表性实施例。然而，与本公开的教导一致的特征的各种组合和修改对于特定的应用或实现可以是期望的。